昨晩からの障害について

昨晩の http://hatena.g.hatena.ne.jp/hatenagroup/20070720/1184930426 でお知らせいたしました障害と同様の障害が、昨晩深夜 0:20 ころより発生しました。現在は復旧しております。以下、詳細についてご報告いたします。

0:20 より障害が発生。頻繁にはてなグループへ接続しづらい状態となりました。
データベースがハングアップする現象が見られたため、目視監視しながら応急処置し、原因の調査を行いました。
ハードウェア故障の疑いがあったため、1:20 よりメンテナンスを行い、データベースのハードウェアを交換しました。
2:00 に一時復旧いたしましたが、現象は解消されておりませんでした。
その後、データベースのデータの破損などを疑いデータの再構築等を行うも改善されませんでした。
データ再構築途中にデータが更新されるとデータが破損する可能性がございましたので、不定期にはてなグループをメンテナンス状態とし、その間サービスを一時停止しました。
3:30 頃にはてなグループのソフトウェア側の問題ということが分かりました。ユーザー情報を更新する処理にロジックミスがあり、データベースにロックをかけたまま開放できない状態となっておりました。
該当プログラムを修正し、4:20 頃復旧いたしました。

ご利用のみなさまには大変ご迷惑をおかけし、申し訳ございませんでした。再発防止に努めてまいります。