ひしだまの変更履歴

ひしだまHPの更新履歴。
主にTRPGリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。

SequenceFile直接読み書き

2011-08-13 15:01:26 | PG(分散処理)

Hadoop APIを使ってシーケンスファイルを直接読み書きするのを試した。
(自分のHadoop本体に関する最後の更新日が2010年8月だから、ほぼ一年ぶりの更新か。ちょっと意外。まぁ勉強の対象がHBaseとかScalaに移ったからなぁ…と思ったらHBaseも最終更新が2010年8月か^^;)

要するにHiveのSerDeで作ったシーケンスファイルの中身を確認する為に読み込んでみたかったということだが。
まずは書き込みでキーをNullWritableにしたもんだから、Hiveのファイルを読み込もうとしてBytesWritableだったのに気付いてちょっとあせった^^;

しかしどういうクラスを扱うか決め打ちしていいなら、非常にシンプルに扱えるなぁ。


コメント    この記事についてブログを書く
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする
« HiveのSerDe | トップ | Hiveのmetastore_dbとderby.l... »
最新の画像もっと見る

コメントを投稿

PG(分散処理)」カテゴリの最新記事