ひしだまの変更履歴

ひしだまHPの更新履歴。
主にTRPGリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。

Hadoop擬似分散環境(Windows)

2010-03-27 18:46:33 | PG(Java)

Hadoopの擬似分散環境をWindowsで構築してみたら、はまったはまった(苦笑)

Hadoopの擬似分散環境なんて誰でも試しているから楽勝だろうと思ってたけど、みんなUNIXでやっていて、Windows+Cygwinではあまりやらないのかも。
と言っても、ネットで検索すると、同じような障害が出ている人も結構いるか。(日本のみならず、英語や中国語が見受けられる)

hadoop dfs -putでエラーが発生した場合にWebインターフェースを起動すると直ったって話もあるようだが、自分の環境ではそんな簡単な解決方法ではなかった^^;
あ、解決策自体はえらく単純だったけどね。調査は大変だったけどね…(嘆)

しかもputがようやく出来たのでもう大丈夫、と思ったら、WordCountを実行するときにも別の例外が…。
mapred.system.dirを指定しないといけないのはWindows環境固有の問題、
mapred.child.tmpを指定しなければならないのはWindows+Cygwin環境固有の問題だな。
原因を見ると、Cygwinって高機能なんだなぁと思う(苦笑)

コメント (1)
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

jpsで表示されたりされなかったり

2010-03-25 23:59:10 | PG(Java)

jpsでJavaアプリ(のプロセスID)一覧が表示されるんだけど、表示されないものもあって不思議だった。

jpsって、意外と原始的な仕組みだったんだな(苦笑)
環境変数TMP(やTEMP)の下にプロセス情報のファイルを置いてるなんて思わなかったよ。

Tomcatがjpsで表示されないって話を聞いたことがあったような無かったような気がしないでもないが、TomcatだったらTMPの場所も独自に指定してそうだから、影響があっても不思議じゃないなぁ。

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする