夜行録 - 酔歩.net
Calendar
Mon | Tue | Wed | Thu | Fri | Sat | Sun |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 | 29 |
30 | 31 |
Thursday, 05.07.12
分散ファイルシステム!2題
こっちに貼ろうと思って放置されてた件
STF分散オブジェクトストレージ - Perl Advent Calendar Japan 2011 Hacker Track"STFは分散オブジェクトストレージです。Perlメインの似たようなシステムとしてはMogileFSが有名ですが、STFは後発のメリットを生かしてPSGI互換にしたり、使用するプロトコルを基本的にHTTPというオープンで枯れた技術を採用したりとメンテナンス・運用の利便性があがっていると考えています。 歴史 STFは元々ApacheモジュールといくつかのPerlワーカーで書かれていましたが、ひょんなことから自分がPSGIに移行させてそれ以降面倒を見ています。基本的にはすでに動作していたCベースのコードがあったのでそれをふむふむと読んでガリガリポーティングしました。 結果、アプリ部分はPerlになり拡張・修正しやすくなり、それ以外はApache(or nginx)、MySQL、Q4M (or TheSchwartz)、Memcached等のミドルウェアを駆使して動作する現在の形になりました。 この改良版は2011年中盤くらいに本番適用され、ロケタッチやライブドアブログ宇の画像アップロード等に使われています。2011年末の時点でオブジェクト数4億個、13億エンティティ、70TB程度のデータを管理しています。データ転送量もピーク時に400Mbpsを特になんの問題なくさばいています。 なお、PSGI移行以前のSTFについてはこちらの資料が詳しいです。実装が変わっていますが、やっていることはかわりません。"
って、perlってまだ生きてたんだつーか
そして、奇しくもlivedoorと楽天
ニュース - 楽天、自社開発の分散ファイルシステム「LeoFS」をOSSとして公開:ITpro" 楽天は2012年7月4日、自社開発した分散ファイルシステム「LeoFS」を、オープンソースソフトウエア(OSS)として公開した。「Amazon S3」互換のAPI(アプリケーション・プログラミング・インタフェース)を備えたオブジェクトストレージを構築するためのソフトであり、複数台のPCサーバーをピア・ツー・ピア(P2P)構成にすることで、数ペタバイトの容量を実現できる。楽天の技術開発部門である楽天技術研究所が開発した。 楽天は2011年夏に、Webサイトで使用するデジタル写真のストレージとして「ARIA」を自社開発し、実際のサービスで運用を開始している。今回開発したLeoFSは、このARIAの後継バージョンである。Web用写真に多い数十?数百Kバイトのファイルを高速に読み書きできるように、キャッシュアルゴリズムなどを工夫した。 LeoFSは、データを保存するストレージクラスターがP2P構成であり、ストレージクラスターを管理するノードが複数台存在する構成となっているため、可用性は高い。プログラミング言語には関数型言語の「Erlang」を主に採用。全体の98%をErlangで、残りの2%で主にキャッシュに関わる部分を「C」で開発している。 "
あーらん!あーらん!
クラウドと、dropboxなんぞのおかげで、分散FSすっかり耳にしなくなったなー。grid filesystemどこ行ったのかなー。みんなhadoopですかそーですか