ひしだまの変更履歴

ひしだまHPの更新履歴。
主にTRPGリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。

HiveでWordCount

2011-08-09 23:34:36 | PG(分散処理)

WindowsにインストールしたApache HiveWordCountを作ってみた。

Windows固有の苦労は例によってスクリプトの実行方法やパスにまつわる部分なので、出来上がったWordCount(HiveQL)自体はUNIXでも同じく動かせるだろう。
最終的には1つのHiveQL文になったので、(分かってしまえば)非常に簡単。

やはりちょっとした調査(対話型の操作)にはHiveは便利そうだ。


あと、Windowsへのインストールの設定方法をちょっと修正。
HADOOP_HOMEをコンフィグ上で指定する方法が分からなかったのでフルパスで記述していたが、「${hadoop.home.dir}」で指定できた。

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする