ひしだまの変更履歴

ひしだまＨＰの更新履歴。
主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。

Spark saveAsTextFile（Windows）

2011-07-26 22:46:26 | PG（Scala）

Windows上で動かしたSparkでsaveAsTextFile()が使えなかった件、解決。

saveAsTextFile()を呼び出すと、（Sparkはファイル入出力にHDFSのAPIを使用しているので、その内部で）chmodを呼び出す。
Windowsにはchmodなんて無いから落ちる。

そこで、Cygwinのchmodを呼び出すようにしてやればよい。
（以前、HadoopのMapReduceを直接Eclipseから呼び出すようにするときにやった方法なのに、うっかり忘れてたorz）


コメント    この記事についてブログを書く
 
 
 
 
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする
« HadoopでWordCount（Scala） | トップ | 第三回Asakusaソースコードリ... »
最新の画像［もっと見る］

コメントを投稿

「PG（Scala）」カテゴリの最新記事

プロフィール

自己紹介
自分のホームページの変更履歴を書くのに、ブログがちょうどいいかなーと思って登録しました。
TRPGリプレイの元ネタ集とかプログラミング技術メモ・自作ソフトやゲーム・音楽その他興味あることなど～。

カレンダー

2025年1月
日 月 火 水 木 金 土
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31

バックナンバー

ブックマーク

goo
最初はgoo
  • RSS2.0