Windows上で動かしたSparkでsaveAsTextFile()が使えなかった件、解決。
saveAsTextFile()を呼び出すと、(Sparkはファイル入出力にHDFSのAPIを使用しているので、その内部で)chmodを呼び出す。
Windowsにはchmodなんて無いから落ちる。
そこで、Cygwinのchmodを呼び出すようにしてやればよい。
(以前、HadoopのMapReduceを直接Eclipseから呼び出すようにするときにやった方法なのに、うっかり忘れてたorz)
Windows上で動かしたSparkでsaveAsTextFile()が使えなかった件、解決。
saveAsTextFile()を呼び出すと、(Sparkはファイル入出力にHDFSのAPIを使用しているので、その内部で)chmodを呼び出す。
Windowsにはchmodなんて無いから落ちる。
そこで、Cygwinのchmodを呼び出すようにしてやればよい。
(以前、HadoopのMapReduceを直接Eclipseから呼び出すようにするときにやった方法なのに、うっかり忘れてたorz)