間違ってシステム破壊して地獄を見た話。【ごめんなさい】

アイキャッチ画像

こんばんは。最近アニメを見る時間すらもったいないと思ってる系オタクです。

話は変わりますが本日の12時頃から18時頃までこのサイトにアクセスできなくなる障害が発生しておりました。重ねてお詫び申し上げます。m(_ _)m

復旧までの6時間、私は青ざめながら格闘したので日記っていう形で残しておきます。

地獄の発端

今回、なぜ問題が起きたのかを正直にお伝えします。

Python3.7をソースコンパイルしてインストールしたのですがMakeエラーが。そこで間違ってapt(パッケージマネージャーね)を使って消した。その際、apt autoremoveを「無心で」してしまった。

ですがautoremoveした中にネットワーク関連のパッケージも入っていた。

そんな事も知らず結果反映のために再起動。←ハイ死亡。

具体的な症状

再起動したため、SSHを含むすべてのネットワークが不通に。

リモートホストとしてLinuxを使っていたのでSSH接続はシステムの命綱なんです。

ですがネットワーク系統が全不通。

SSHは拒否られる。

もちろんネットワーク系が逝ったのでApache Webサーバーも稼働できない。

↑これがサイトが落ちた原因です。

そこでとりあえず保管しているファイルだけは救出しようと思いConoHa標準のSFTPを使おうとしたら遮断。そりゃそうだよね。ネットワーク逝ってんだもん（泣）

どうしよう、さぁどうしよう。

幸い、ConoHaVPSにはローカル接続経由の管理コンソールがDashboardで使える。一応コマンドラインで操作を。

GitHub経由でバックアップしようとかLaravelの簡易サーバー機能でダウンロードしようとか馬鹿げた案もあったんですけどSSH系統の不備でなくネットワークが完全に終わってることを「ping」で確認。

ping 182.22.59.229（←YahooのIPアドレス）

って打ってもUnreached Server.みたいなこと言われてアァ…終わった。。。

おそらくネットワークドライバ関連だろうと思い解決策を探そうとするもConoHaのハードウェア関連についてもわからないから打つ手なし。

VPS再構築すればいいんだけど再構築したらこのサイトも消える！

そしていろいろサーバーについて調べ上げてたらようやく解決への兆しが。

解決法

以下の通りクソめんどいです。。。

ネットワーク系が逝ったので標準機能の追加ディスクをマウントして～を行いました。

超大変なんですけどデータを復旧できるなら致し方がないです。

追加ディスク（3.5円/時間）を購入し、障害が起きたVPSに連結。

ディスクをマウントしてファイル移行。

もちろんデータベースやApacheのバーチャルホスト設定もオールバックアップしてから旧VPSとの連結解除し独立させる。

そして、新たにSFTP接続用のVPSを契約（もう解除済み）し、さっきの追加ディスクを連結。

SFTPを使ってダウンロード。

tar.gzに圧縮して1.49GBでした。おおいなぁ…

そしてサーバー再構築。

私の好きなUbuntuです。

ちゃんと起動できました。（当たり前）

SFTPも稼働しているのでリストアしまくる。

日本語対応をして、

Apacheも復活！

そして、18時頃完全復活。

伝えたいこと

apt autoremove を信用するな！

これです。ちゃんとautoremoveの内容を確認しましょう！！！！！

市井

著者 市井
オタク総研媒体統括 兼 合同会社サブカル通信社執行役社長。専門領域はアニメ、テクノロジー（ガジェット）、プログラミング、コンテンツビジネス。PRプランニングやIP調達なども担当しています。新作アニメ、海外スマホ、東南アジア好き。