夜行録 - 酔歩.net

こっちに貼ろうと思って放置されてた件

"STFは分散オブジェクトストレージです。Perlメインの似たようなシステムとしてはMogileFSが有名ですが、STFは後発のメリットを生かしてPSGI互換にしたり、使用するプロトコルを基本的にHTTPというオープンで枯れた技術を採用したりとメンテナンス・運用の利便性があがっていると考えています。 歴史 STFは元々ApacheモジュールといくつかのPerlワーカーで書かれていましたが、ひょんなことから自分がPSGIに移行させてそれ以降面倒を見ています。基本的にはすでに動作していたCベースのコードがあったのでそれをふむふむと読んでガリガリポーティングしました。 結果、アプリ部分はPerlになり拡張・修正しやすくなり、それ以外はApache(or nginx)、MySQL、Q4M (or TheSchwartz)、Memcached等のミドルウェアを駆使して動作する現在の形になりました。 この改良版は2011年中盤くらいに本番適用され、ロケタッチやライブドアブログ宇の画像アップロード等に使われています。2011年末の時点でオブジェクト数4億個、13億エンティティ、70TB程度のデータを管理しています。データ転送量もピーク時に400Mbpsを特になんの問題なくさばいています。 なお、PSGI移行以前のSTFについてはこちらの資料が詳しいです。実装が変わっていますが、やっていることはかわりません。"

って、perlってまだ生きてたんだつーか

そして、奇しくもlivedoorと楽天

"　楽天は2012年7月4日、自社開発した分散ファイルシステム「LeoFS」を、オープンソースソフトウエア（OSS）として公開した。「Amazon S3」互換のAPI（アプリケーション・プログラミング・インタフェース）を備えたオブジェクトストレージを構築するためのソフトであり、複数台のPCサーバーをピア・ツー・ピア（P2P）構成にすることで、数ペタバイトの容量を実現できる。楽天の技術開発部門である楽天技術研究所が開発した。 　楽天は2011年夏に、Webサイトで使用するデジタル写真のストレージとして「ARIA」を自社開発し、実際のサービスで運用を開始している。今回開発したLeoFSは、このARIAの後継バージョンである。Web用写真に多い数十?数百Kバイトのファイルを高速に読み書きできるように、キャッシュアルゴリズムなどを工夫した。 　LeoFSは、データを保存するストレージクラスターがP2P構成であり、ストレージクラスターを管理するノードが複数台存在する構成となっているため、可用性は高い。プログラミング言語には関数型言語の「Erlang」を主に採用。全体の98％をErlangで、残りの2％で主にキャッシュに関わる部分を「C」で開発している。 "

あーらん！あーらん！

クラウドと、dropboxなんぞのおかげで、分散FSすっかり耳にしなくなったなー。grid filesystemどこ行ったのかなー。みんなhadoopですかそーですか