夜行録 - 酔歩.net

最近、会社のサーバが busy なので、手近な計算機で計算していたが、いずれにせよ1次データは大きすぎて邪魔だし回線も細いので、解析後のデータだけ手元に持ってきて、さらにフォーマット変換したり報告書にまとめたりしてるが、ディレクトリ構成だけは合わせてあるけどファイル自体は複数のサーバやPCに分散しだしてしまっている。いかにもダサい

昔はそれに対する答えとして、 AFS などの分散ファイルシステムでなんとかなってくれるだろうと期待していたけれど、今の状況だと AFS でも coda でも解決にはならなそう。 AFS だとストレージは分散するしファイルシステムは unified だけど、1ディレクトリを複数サイトで share するというのには向いてない。今欲しいのは、ファイル単位でどこかに置かれていながらディレクトリではそれを集約している、いうなれば union mount されてるようなヤツだな。

もちろん書き込まれたファイルはローカルサイトに落ちてくれて、よそのファイルを読んだらキャッシュされて、ディレクトリエントリだけ常時最新を保持してればいいんじゃないかと。

分散fs なんてもう作る人いないだろうなぁ…。