ひしだまの変更履歴

ひしだまHPの更新履歴。
主にTRPGリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。

CascadingでHBaseアクセス

2010-04-30 23:59:39 | PG(Java)

Hadoop Cascadingによる第2目標、HBase操作に到達。

CascadingそのものにはHBase用のクラスは入っていなくて、コミュニティーによって提供されているライブラリーという扱いになっている模様。
したがって現時点の最新版であるHBase0.20には対応していない(らしい)ので多少の改造が必要だったり、HBaseに格納できるのが文字列だけだったりと制限がある。
まぁでもこれをベースに改造していけばいいので、0から作るよりもいいから、それだけでも有り難い。

バージョンに関して言えば、そもそもCascading自体もHadoop0.20の新クラスには対応していないしなぁ。
(そもそもHadoop0.20の新クラス自体もまだ未完成らしいのだが)

それでも、データをフィールドで扱うCascadingと、テーブルの項目(family:qualifier)を持つHBaseは、相性がいい。
エクスポート処理なんて、コーディングがすごくシンプルで、びっくりしちゃった(笑)

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする