ひしだまの変更履歴

ひしだまHPの更新履歴。
主にTRPGリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。

Spark saveAsTextFile(Windows)

2011-07-26 22:46:26 | PG(Scala)

Windows上で動かしたSparksaveAsTextFile()が使えなかった件、解決。

saveAsTextFile()を呼び出すと、(Sparkはファイル入出力にHDFSのAPIを使用しているので、その内部で)chmodを呼び出す。
Windowsにはchmodなんて無いから落ちる。

そこで、Cygwinのchmodを呼び出すようにしてやればよい
(以前、HadoopのMapReduceを直接Eclipseから呼び出すようにするときにやった方法なのに、うっかり忘れてたorz)

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする