Sqoopがどういう風にSQLを実行しているのか興味があったので、ちょっと見てみた。
まずはソースのダウンロードだけど、普通にCDH3のダウンロードサイトからダウンロードする。
Hadoopのソースだとyumでダウンロードできるんだけど…まぁ、Sqoopのソースはそこまで需要無い気もするから、仕方ないかw
で、とりあえずexportに関する部分を見てみたんだけど、びっくり!
HDFS上のファイルを読み込む部分と、DBへINSERTする部分が別スレッドになってる!
まさかそんな作りになっているとは思わなかった。けっこう凝ってるんだなぁ。
※コメント投稿者のブログIDはブログ作成者のみに通知されます