GNUのレポジトリ・サーバー、クラッシュ 31
ストーリー by hylom
RAIDを信じるな 部門より
RAIDを信じるな 部門より
flutist 曰く、
GPLソフトウェア開発のレポジトリを提供している savannah.gnu.org が先週 (5/28木)、RAID不調によりダウンした。翌金曜日には何事もなかったかのように復帰できたが、その日のうちにまたRAIDが原因でダウン。復旧を試みたところ、結局システムを再インストールせざるを得なくなり、また不調のRAIDからバックアップしていたデータも不完全で、CVS/SVN/Git/Hgの各種レポジトリは４月末のバックアップ・テープか、各プロジェクト管理者の手元のデータから復旧することになったそうだ。savannah側では５月分は失われてしまった、とのこと。そういうわけでCVSもSubversionもgitもサービスが止まっていたが、ついさっき全面復旧した (いきさつは管理者のメール参照)。
ここでお世話になっているプロジェクトは3069件。その中にはもちろんgccやglibcも含まれている。また、たとえば Lilypond は自前サーバーもあるおかげでクラッシュ後も開発版を公開できているが、GSL なんかは直撃を食らった格好だ。
emacsのCVS HEAD (スコア:2, 興味深い)
emacsを毎日のように更新していたのですが、ある日唐突にCVSレポジトリに繋がらなくなり、困ってました。
で、いろんな方法を模索して、gitを使ってみると、ソースは持ってこれるのに、なぜかそれがかなり古い
日付のものだったり（これが4月分からの復旧？）して、何が起こっているのかわからない状況でした。
サーバのほうが壊れてたのか。
Your 金銭的 potential. Our passion - Micro$oft
Tsukitomo（月友）
レポジトリのコピー (スコア:2, 興味深い)
FreeBSDだとCVSup [cvsup.org]を使ってマスターのレポジトリに同期させたローカルレポジトリを持つことができるので, たとえマスターレポジトリが飛んでも混乱はあるにせよ, それほど深刻なことにはならないのかと思います. こうしたレポジトリ同期サービスをやっているプロジェクトって少ないのでしょうかね?
Re: (スコア:0)
だからgitを使えとあれほどいったのに・・・ ＃hgとかでも可
Re: (スコア:0)
Re:レポジトリのコピー (スコア:2, 参考になる)
逆説的には, ツールがどんなに優れていても運用を含めて十分な考慮がなされていなければシステムとしては意味が無い, というのが今回の教訓でしょうか.
Re: (スコア:0)
> いまだに原始的なCVS使ってるプロジェクトはたしかに少ないでしょうね
FreeBSDはとっくに Subversion に移行済ですが?
CVSも使えるだけ。
Re: (スコア:0)
Re: (スコア:0)
「分散型と中央集中型のどっちのバージョン管理システムが優れているか」なんてのは、「emacsとvi」とか「GNOMEとKDE」と一緒で、宗教論争にしかならないから止めとけ。
とりあえずFreeBSDに関して言えば、SubversionのWebインターフェースよりもCVSWeb(確かかなりカスタムしていたはず)の方が見やすかった。
分散型と中央集中型 (スコア:2)
サーバが壊れたら、それでおしまい
と言う致命的な欠点がある。もはや、中央集中型を使う利点は、
まったくない
あるとすれば、レガシーに固執している人達の自己満足と怠慢だね。
Re: (スコア:0)
> サーバが壊れたら、それでおしまい
分散型だって壊れたらおしまいじゃん
馬鹿じゃねーの？
Re: (スコア:0)
今も CVSweb インタフェースは残ってますので過去形にしなくても。
というか、そういう需要があるから残してるのではないかと。CVSup も AnonCVS もそうですが。
結局失われたのは一日分だけ (スコア:2, 参考になる)
5月27日のバックアップが正常だったことが判明したので。
http://lists.gnu.org/archive/html/savannah-users/2009-06/msg00027.html [gnu.org]
１ヶ月無かったことに (スコア:1, おもしろおかしい)
バックアップは複数取るようにしてますが、１ヶ月無かった事になる事態に遭遇したらきっと真っ白になるでしょう。
#もしそうなったら自分探しの旅にでも出ますかね
#旅に出ます。探さないでください。
#
#でも最近はGPSとかで特定される人もいるんでしょうね…
Re: (スコア:0)
>#でも最近はGPSとかで特定される人もいるんでしょうね…
携帯電話端末がGPS受信機付きだったとしても、
携帯電話端末自体のの電源を切っておけばいいでしょう。自分から位置情報を通告しなければいいんです。
GPSの仕組みを勘違いしていませんか？
Re: (スコア:0)
GNUでもその位の運用なのか… (スコア:1, 興味深い)
うちの会社のシステム運営がいい加減でも、気が向いた時にしかバックアップ
とらなくても、仕方ないよねぇ…（笑）。すみません。定期バックアップの
スケジュールを立てます。
（ストールマンが怒って、GNU RAIDとか作ったりしないかな？（笑））
Re: (スコア:0)
GNU RAIDを使った場合、ディスクの中身も要求があればオープンしなくてはならないのですね。
Re:GNUでもその位の運用なのか… (スコア:2)
GPLっぽく、ディスクの中身を入手した人に対して要求があれば公開する、ということですね?
RAIDの信頼性 (スコア:1)
つい先日もNTTデータのブログサービスでHDD障害が発生 [srad.jp]したりと，RAIDを組んでいるにもかかわらず復旧できないといったことが多くみられますが，
RAIDの信頼性（ストライピングを除いて）はいったいどれくらいなものなのでしょうか？
RAID構成なら復旧できて当たり前なので，こういう「事件」だけが表に出てくるのかもしれませんが…．
Re:RAIDの信頼性 (スコア:3, 参考になる)
個人的な経験の範囲では、RAID 5 は大きくなるとヤバい感じがします。
たとえば 24 個の HDD で組んだ RAID 5 で、HDD が全部同じロットだったばあい、24 個中の 1 個がコケて交換、リビルドしてる間に、残りの 23 個のうちのどれかが死亡、そして RAID 全体が死亡という泣けてくる事態は容易に想像がつきます。ていうか実体験です。へたってきたディスクが 23 個もあって、リビルドみたいな高負荷がかかれば、まぁ 1 個くらい死んでも不思議はない、と思います。
いろんなカラミで RAID 5 にせざるを得なかったのですが、素直にミラーリングとかにしとけばよかったです。
Re: (スコア:0)
ミラーリングってRAID1って意味じゃなくて、差分バックアップを定期的に
取り続けるって意味ですよね？
RAID1ってマスターのファイルがごっそり削除されたら、ミラーの方も一緒
に消えちゃうんじゃないか？と前から心配だったんで…
Re: (スコア:0)
心配も何も、それはそもそもRAIDで何とかなる話ではありません。
RAIDはあくまでハードウェアエラーに対応できるだけの機構です。
Re:RAIDの信頼性 (スコア:2, 参考になる)
個人でWin2k、シリコンイメージ（ソフトRAID5のやつ）使ってます。
250GB×4の構成で750GB、こんな程度で良かったら参考までに。
１年ぐらい利用していて、ある日、起動時にユーティリティでエラーが上がるようになりました。
なにぶん、個人利用なので常に代わりを用意しているわけではなかったのですが、
・何回かの起動に１度、特定のHDDのエラーが起きる。
・HDDアクセス頻度が普段と違う。
・RAID5は２台壊れたらもうダメぽ。
なので、速攻で買って交換しました。
おかげでエラーも出なくなり、そのHDDが壊れてることが立証できました。
ただ、ユーティリティの助けがあったものの、決定打はHDDアクセス頻度であって、
ある程度の経験が無ければやはりデータを飛ばしていたと思います。
もしサーバ室内のサーバだったら多分気づかなかったでしょう。
RAID5を運用するのだったら、ユーティリティの重要性が高いと思います。
それと、出来る限りミラーリングで・・・かな。
Re:RAIDの信頼性 (スコア:1, 興味深い)
レアケースかもしれませんが、こんなことがありました。
RAID 1 で一方の HDD に障害発生 -> RAID コントローラのバグ(故障?) でアラート上がらず -> 気付かずに運用 -> もう一方も障害発生。
RAID コントローラに問題があったら正直どうしようもないですね。
バックアップが取れていたから良かった様なものの。
バックアップ・ウィンドウとコストの関係でバックアップせず RAID のみ、みたいなシステムもありそう。
絶対運用担当になりたくない・・・。
これを機会にサボっていたsubversionのレポジトリをバックアップ (スコア:1)
これを機会に、数ヶ月サボっていたsourceforge.netのsubversionのレポジトリの
バックアップをここ [sourceforge.net]に書いてある方法を参考にして
と取りました。ディレクトリを新しく作っているのはインクリメンタルにバックアップ
してだいじょうぶなのか不安だからです。いまのところコミッタがぼく一人なので、
バックアップ中にコミットが入るおそれはありません。
また、Subversionリポジトリのバックアップ方法いろいろ [hatena.ne.jp]にあるとおり
この方法は「バックアップデータの可搬性に乏しい（アーキテクチャ依存）」そうです。
実際、ぼくの手元のマシンは、Intelではなく、PowerPC（上のDebian GNU/Linux）です。
バックアップデータをローカルでレポジトリとして使えるかどうか試したことがないの
で不安です。
あと、たまに SourceForge, Inc. (LNUX) の株価もチェックして、会社が大丈夫なこと
を確認しています。
みなさんはどんなふうにレポジトリのバックアップを取っていますか？
love && peace && free_software
t-nissie
ねえ、プロジェクトホスティングサイトはどこがいい？ (スコア:0)
とりあえずSavannahはもうだめぽ。クラッカーにやられちゃった [srad.jp]前歴もあるし。SavaneはホスティングソフトウェアのSavaneも含めて使えないな。
Re:ねえ、プロジェクトホスティングサイトはどこがいい？ (スコア:3, 参考になる)
使い方にもよるでしょうが、無難に一通りの機能がそろっているSouceForge.JP、多機能な（かつ難解な）SouceForge.net、gitで個人リポジトリを使いたいならgitHub、bazaar使うならLaunchPad、シンプルなのがいいならGoogle Codeというところでしょうか。
まだある(Re:ねえ、プロジェクトホスティングサイトはどこがいい？) (スコア:3, 参考になる)
ほかにも
Microsoftが後援 CodePlex [codeplex.com]
福岡の人が多い codecheck.in [codecheck.in]
設定ファイルなど code repos [coderepos.org]
PHPなら openpear [openpear.org]
があります
Re: (スコア:0)
オープンソースではなく、非公開で使える所はあるのかな？
Re:ねえ、プロジェクトホスティングサイトはどこがいい？ (スコア:1)
GitHubは有料プランであれば非公開レポジトリを作れるらしいです。
http://github.com/plans [github.com]
Re:ねえ、プロジェクトホスティングサイトはどこがいい？ (スコア:1)
http://bitbucket.org/plans/ [bitbucket.org]
freeでも1つだけprivateを持てます。