【Linux】あるLinuxサーバが突如として動作しなくなった話

研究
OLYMPUS PEN E-PL9 (c)Maya
この記事は約1分で読めます。

この記事は1年前の記事です。当時の情報、理解に基づいておりますのでご留意ください

昔話なんです

これ書いてて思い出しました。黒いよ。

【Linux】LINUXのbashで流したコマンドの一覧を取得する&削除する
はじめにぶっちゃけ今更ググるのか?シリーズ。bashで死ぬ程試行したコマンドのログをひっくり返したくなった為、history コマンドをググる。検索なお検索したい際は$ history | ...

現象発生

かつて出向先があるシステム(社会的影響力とか半端なくてプログラマ1人月で面倒見てちゃいけなかった規模の製品)を運営していた頃、朝飯も喰う前から「システムが動かない!」と電話が。

ひとまず出向先に向かいコンソールをsshすると、確かにapache動いてない

何故?と思い、freeコマンドを叩いてみたら解決

ログファイルが溜まりに溜まってディスク容量が0になり、新たにログが蓄積できず動きませんでした、と

仕方ないのでひとまず一旦リブート。
/var/log配下ら辺のアーカイブ的なファイルを削除。
その上でもういっぺんリブート。apache起動。事なきを得た。

当時なりに猛省した

結局のところサーバが閉域網内なので、手立てとしてはやっぱり出てこないとならなかったんですが、運営後半になってやっとMuninを入れました。

Munin Monitoring
Munin is a networked resource monitoring tool that can help analyze resource trends and what just happened to kill our performance? problems. It is designed to ...

意外にこういうことあります。サーバの容量管理はきちんとやろう!w

コメント

タイトルとURLをコピーしました