夜行録 - 酔歩.net

日暮れて道遠し さらに夜道を行く もって夜行録と名付く

sparkが面白い

話題になってから半年遅れくらいだが、やっと時間が取れて試してみた。

python のフロントエンドがあるわけだが、これをむしろ spark のフロントエンドではなく python に対して spark の RDD が追加されたものと考えると大変使いやすくてよい。

もともと python で分散処理させようと思ったら multiprocssing あたりで明示的に書いてやらないとだめだったところが、 見かけ上一つのオブジェクトである RDD に処理を割り当てて実行すれば、勝手に裏で分散処理される。
しかもノード間でも分散できる、と考えると python で上手くできてなかったところをきれいに埋めてるように見える。

R も分散処理苦手だった気がするけど、 python + RDD でデータ解析環境とすると今時点では最強なんじゃないだろうか?

  1. hadoopのクラスライブラリは必要だが、hadoop自体は動いている必要はない
  2. yarnに投げなくても、sshが通れば自前でクラスタ構築できる(standalone mode)
  3. 1ノードでも、コアの数で分散処理ができる
  4. iPython とも連携できる
2016年01月31日 (Sun) - 22:36:30 - その他雑記 - 950x - permalink
Karma points: 1. Do you like this article? [yes/no]