SqoopでPostgreSQLとのデータ転送を試してみた。
MySQLで試して上手くいっているんだから大丈夫だろう…と思いきや、exportで落ちた(汗)
落ちた原因は、PostgreSQLのバージョンが古かった所為。
Sqoopのexportでは、「insert into テーブル values(…), (…), (…)」という様に、insert文で値の組を複数記述したものを使っている。
PostgreSQL8.1はこの構文に対応していない為、エラーになる。
PostgreSQL8.2以降やMySQLは対応しているので大丈夫。
つーか、PostgreSQL8のマイナーバージョン違いでそんな大きな違いがあると思ってなかったよorz
CentOSのyum install postgresql-serverだと8.1が入るから、そのまま使っていたらこのざま…。8.4をインストールするのにyum install postgresql84-serverって、分かり易いっちゃ分かり易いけどさぁ＾＾；
超久しぶりにPostgreSQLのメモを更新。PostgreSQL8.4をCentOSにインストールする方法。
（今までのインストール方法はPostgreSQL7.2が対象だったので、専用のページを作ってそちらに移した）
どれくらい久しぶりかって、最終更新が2003年だったから9年ぶりだよ！！
2003年と言えば、自分がJavaを始めた年でもある。
つまり、Java+PostgreSQLのシステムの担当になったからなんだけど(笑)
（しかもこれが自分が経験したナンバー1のデスマーチで(爆)）
Struts1は出ていたような気がするが、Eclipse2はまだ出ていなかったはず。本当にテキストエディターでJavaのソースを書いてたからなぁ…。
いやぁ、Eclipseの生産性はすごいわ。
Apache Sqoopをちょっとだけ触ってみた。
コマンドラインの基本的なオプションだけでもけっこうある。
おかげでCSVファイルとして扱う為の基本的な機能は充実している。
また、SequenceFileとしても扱うことが出来るのはさすが。
本当は分散環境で並列してデータ転送してみないと本来の動作の検証にはならない訳だが、とりあえずはここまででいいやｗ
