Hadoopでちょっとデータコピーっぽい事をしたくて、せっかく在るからTeraSortを使ってみようという事になり、スタンドアローンモード(単独環境)で動かしてみたんだけど、何故かエラー。
別にTeraSortを使うのが目的だったわけではないので原因追求はせず、自前でコピー処理を作ったのだが。
そもそも、TeraSortがスタンドアローンモードで動かないとか、聞いたこと無いし。
今日は強風で交通機関が麻痺しそうだから早く帰ってきたので、せっかくなので原因追求してみた。
で、単独環境や擬似分散環境でデバッグ実行しつつ変数の中を見ていると、どうやらHadoopの分散キャッシュのファイルを上手く受け渡せていない模様。何かコーディングが間違っているのだろうか。
(TeraSortは大規模データをソートする目的のものだから、完全分散環境で動かすのが当然で、単独環境で動かす事は想定してないのかもしれないけどさ^^;)
AsakusaFWも分散キャッシュを使っているみたいだし、分散キャッシュのコーディング方法を一度勉強した方がいいのかも…。
※コメント投稿者のブログIDはブログ作成者のみに通知されます