Hadoopアドベントカレンダー2012 #hadoopAC12jpの1日目です。
アドベントカレンダーはクリスマスにちなんだ催しですが、クリスマスなんざ知ったこっちゃねーぜ!という自分にとっては12月は年末ですので、少し早いですが今年のHadoop関連の話題を振り返ってみたいと思います。
Cloudera(CDH)
Clouderaは以前から活動しているイメージがあったのですっかり失念していましたが、日本の株式会社としてスタートしたのは今年の4月からだそうです。
CDH3は順調にバージョンを上げて、現在の最新はCDH3u5。Hadoop2系のCDH4もちゃんと出て、今はCDH4.1.2が最新かな?
HDFSのHA(High Availability)も改良されているようです。
最近ではImpalaが発表されて、Hiveと同じようなSQL(HiveQL)でHiveより速いと、話題沸騰でしたね。まだベータ版ですが、CDH5でサポート対象に含まれる予定らしいです。将来的には、Sqoop等と同じようにApache Impalaになるかも?
参考:CDH関連のツイート
MapR
MapR関連で一番驚いたのは、AWS(Amazon Web Services)のEMRでMapRが使えるようになった事ですね! EMRを使える人であれば、簡単にMapRを試すことが出来るようになりました。
MapRのバージョン体系はよく分からなくなってしまったんですが(汗)、MapR2.1やM7というのが出たようですね。
Hadoop1(0.20)系という事は変わっていないようですが、やはり一部ですごく独自路線です。HBaseのコンパクション不要とかリージョンサーバー・HBaseマスターが不要とか、どういう事でしょうね?!
あと、一部のソースが公開されたという話も驚きでした。(すみません見てませんがorz)
参考:MapR関連のツイート
Hortonworks
YahooのHadoop部隊がスピンアウトして作られたというHortonworksですが、何をしているのかよく分かりませんね…。
と思っていたら、なんとWindows用Hadoopを開発していたようです。MicrosoftからHDInsightという名前で、プレビュー版が公開されました。
WindowsでHadoopクラスターを組む気はしないんですが^^;、開発環境としてはWindowsは根強いと思うので、Windows版Hadoopには期待しています。
Apache Hadoop
中核のApache Hadoopですが、最近はHortonworks以上に動向を意識していませんでした(爆)
いつの間にやらバージョンが1.1.0・0.23.4・2.0.2まで上がっていました^^;(2系はいまだにアルファ版ですけど)
HDInsightプレビュー版はHadoop1.1がベースでした。
Apache HadoopのWindows対応のissueは解決バージョンが(以前は1.1だったのが)1.2に延びているそうなので、HDInsightとは関係なく、Hadoop1.2でWindows対応するのかもしれません。
以上、簡単ですが、自分が注目した点でした。
「なんか違うんじゃね?」とか「これが抜けてるじゃねーか」というような事がありましたら、(別の日のアドベントカレンダーででも)指摘していただけると有り難いです(笑)
では、良いお年を~。(まだ早いかw)