夜行録 - 酔歩.net

日暮れて道遠し さらに夜道を行く もって夜行録と名付く

分散ファイルシステム!2題

こっちに貼ろうと思って放置されてた件

"STFは分散オブジェクトストレージです。Perlメインの似たようなシステムとしてはMogileFSが有名ですが、STFは後発のメリットを生かしてPSGI互換にしたり、使用するプロトコルを基本的にHTTPというオープンで枯れた技術を採用したりとメンテナンス・運用の利便性があがっていると考えています。 歴史 STFは元々ApacheモジュールといくつかのPerlワーカーで書かれていましたが、ひょんなことから自分がPSGIに移行させてそれ以降面倒を見ています。基本的にはすでに動作していたCベースのコードがあったのでそれをふむふむと読んでガリガリポーティングしました。 結果、アプリ部分はPerlになり拡張・修正しやすくなり、それ以外はApache(or nginx)、MySQL、Q4M (or TheSchwartz)、Memcached等のミドルウェアを駆使して動作する現在の形になりました。 この改良版は2011年中盤くらいに本番適用され、ロケタッチやライブドアブログ宇の画像アップロード等に使われています。2011年末の時点でオブジェクト数4億個、13億エンティティ、70TB程度のデータを管理しています。データ転送量もピーク時に400Mbpsを特になんの問題なくさばいています。 なお、PSGI移行以前のSTFについてはこちらの資料が詳しいです。実装が変わっていますが、やっていることはかわりません。"
STF分散オブジェクトストレージ - Perl Advent Calendar Japan 2011 Hacker Track

って、perlってまだ生きてたんだつーか

そして、奇しくもlivedoorと楽天

" 楽天は2012年7月4日、自社開発した分散ファイルシステム「LeoFS」を、オープンソースソフトウエア(OSS)として公開した。「Amazon S3」互換のAPI(アプリケーション・プログラミング・インタフェース)を備えたオブジェクトストレージを構築するためのソフトであり、複数台のPCサーバーをピア・ツー・ピア(P2P)構成にすることで、数ペタバイトの容量を実現できる。楽天の技術開発部門である楽天技術研究所が開発した。  楽天は2011年夏に、Webサイトで使用するデジタル写真のストレージとして「ARIA」を自社開発し、実際のサービスで運用を開始している。今回開発したLeoFSは、このARIAの後継バージョンである。Web用写真に多い数十?数百Kバイトのファイルを高速に読み書きできるように、キャッシュアルゴリズムなどを工夫した。  LeoFSは、データを保存するストレージクラスターがP2P構成であり、ストレージクラスターを管理するノードが複数台存在する構成となっているため、可用性は高い。プログラミング言語には関数型言語の「Erlang」を主に採用。全体の98%をErlangで、残りの2%で主にキャッシュに関わる部分を「C」で開発している。 "
ニュース - 楽天、自社開発の分散ファイルシステム「LeoFS」をOSSとして公開:ITpro

あーらん!あーらん!

クラウドと、dropboxなんぞのおかげで、分散FSすっかり耳にしなくなったなー。grid filesystemどこ行ったのかなー。みんなhadoopですかそーですか

2012年07月05日 (Thu) - 23:19:02 - ファイルサーバ - 1994x - permalink
Karma points: 3. Do you like this article? [yes/no]