PigのStorage（LoadFunc/StoreFunc）

Pigで独自のファイルを読み書きするStorageクラスを作ってみた。

題材はHiveのSerDeと同じく、WordCountのWritableをデータに持つシーケンスファイルの読み書き。

HiveのSerDeはデータの読み書きの実装方法がけっこう独自な感じだったが、PigのStoreFunc・LoadFuncは素のHadoopのOutputFormat・InputFormatがそのまま出てきている感じ。MapReduceを直に書いたことがある人だったら理解は早そう。

Pigのユーザー定義関数

Pigでユーザー定義関数を作ってみた。

UDF用のクラスを継承して専用のメソッドをオーバーライドする、正統なJavaプログラムだなぁｗ
場合によってはデータ型を返すメソッドをオーバーライドする必要がある辺り、Hiveの方が裏で頑張ってくれる感じ。

PigでWordCount

Hiveの次は順当にPigに進みましたよ(笑)

PigはローカルモードならWindowsでも全く問題なく動くのが助かる。

WordCountを試してみたが、ステップ数なら最強（最少）では。

Pigは独自文法だから（覚えるのが面倒そうなので）後回しにしてきたんだけど、実は関数型言語に似ていて非常に分かりやすい。
ついWordCountでScalaと比較してしまったｗ
たぶん結合とかはScalaには無い文法だけど、基本的な抽出や変換はほんとScala（というかたぶん関数型言語一般のコレクション操作）とそっくり。
Scalaの勉強をしていて良かったよ(笑)