ひしだまの変更履歴

ひしだまHPの更新履歴。
主にTRPGリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。

Hadoop擬似分散環境(Windows)

2010-03-27 18:46:33 | PG(Java)

Hadoopの擬似分散環境をWindowsで構築してみたら、はまったはまった(苦笑)

Hadoopの擬似分散環境なんて誰でも試しているから楽勝だろうと思ってたけど、みんなUNIXでやっていて、Windows+Cygwinではあまりやらないのかも。
と言っても、ネットで検索すると、同じような障害が出ている人も結構いるか。(日本のみならず、英語や中国語が見受けられる)

hadoop dfs -putでエラーが発生した場合にWebインターフェースを起動すると直ったって話もあるようだが、自分の環境ではそんな簡単な解決方法ではなかった^^;
あ、解決策自体はえらく単純だったけどね。調査は大変だったけどね…(嘆)

しかもputがようやく出来たのでもう大丈夫、と思ったら、WordCountを実行するときにも別の例外が…。
mapred.system.dirを指定しないといけないのはWindows環境固有の問題、
mapred.child.tmpを指定しなければならないのはWindows+Cygwin環境固有の問題だな。
原因を見ると、Cygwinって高機能なんだなぁと思う(苦笑)


コメント (1)    この記事についてブログを書く
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする
« jpsで表示されたりされなかっ... | トップ | Graphvizでフロー描画 »
最新の画像もっと見る

1 コメント

コメント日が  古い順  |   新しい順
Unknown (shot)
2010-03-29 14:35:11
僕も当初Windowsでやって、ドはまりしたので
それからLinuxまたはMacでしかやらなくなりました。
返信する

コメントを投稿

PG(Java)」カテゴリの最新記事