夜行録 - 酔歩.net

数年前からずっと手を出してみたくっていた hadoop をやって手元で実行。
(手をつけるのが)遅い、遅すぎる…。

ちゃんと分散でやらなきゃ面白くなかろうということで、だがしかし、そんなに計算機の手持ちもなかったので、NameNode, JobTracker 1台、DataNode 1台で一瞬動かした(ウェブに書いてあることそのまま真似しただけ)。

というか、うち1台の方に、 kvm 入れさせて、 guest 3台 host 1台で疑似 4node cluster にさせてはあったんだが、なにせ若者の課題でやらせたものだったので、手順書もなんにも残ってなかったので動いたという報告は受けていたが、使えないままだったという…。

自分で、完全分散で hadoop 動かしてみてだいたいやり方判ったので、 kvm 環境も調査。 virsh で起動すればちゃんと動く hadoop 環境が維持されていることまで確認したので今日はもう終わり。さて、プログラム書くか。

しかし hadoop の話探すと、 wordcount の例題ばっかりなのはどうしたものか…

2年前に買った hadoop の本、会社に置いてたら誰かに持ってかれちゃったな…。まだ1章しか読んでなかったのに……。というか、2版になってるし…。