ひしだまの変更履歴

ひしだまHPの更新履歴。
主にTRPGリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。

Hadoopヒストリー2012

2012-12-01 00:18:38 | PG(分散処理)

Hadoopアドベントカレンダー2012 #hadoopAC12jpの1日目です。

アドベントカレンダーはクリスマスにちなんだ催しですが、クリスマスなんざ知ったこっちゃねーぜ!という自分にとっては12月は年末ですので、少し早いですが今年のHadoop関連の話題を振り返ってみたいと思います。


Cloudera(CDH)

Clouderaは以前から活動しているイメージがあったのですっかり失念していましたが、日本の株式会社としてスタートしたのは今年の4月からだそうです。

CDH3は順調にバージョンを上げて、現在の最新はCDH3u5。Hadoop2系のCDH4もちゃんと出て、今はCDH4.1.2が最新かな?
HDFSのHA(High Availability)も改良されているようです。 

最近ではImpalaが発表されて、Hiveと同じようなSQL(HiveQL)でHiveより速いと、話題沸騰でしたね。まだベータ版ですが、CDH5でサポート対象に含まれる予定らしいです。将来的には、Sqoop等と同じようにApache Impalaになるかも?

参考:CDH関連のツイート


MapR

MapR関連で一番驚いたのは、AWS(Amazon Web Services)のEMRでMapRが使えるようになった事ですね! EMRを使える人であれば、簡単にMapRを試すことが出来るようになりました。

MapRのバージョン体系はよく分からなくなってしまったんですが(汗)、MapR2.1やM7というのが出たようですね。
Hadoop1(0.20)系という事は変わっていないようですが、やはり一部ですごく独自路線です。HBaseのコンパクション不要とかリージョンサーバー・HBaseマスターが不要とか、どういう事でしょうね?! 

あと、一部のソースが公開されたという話も驚きでした。(すみません見てませんがorz)

参考:MapR関連のツイート


Hortonworks

YahooのHadoop部隊がスピンアウトして作られたというHortonworksですが、何をしているのかよく分かりませんね…。
と思っていたら、なんとWindows用Hadoopを開発していたようです。MicrosoftからHDInsightという名前で、プレビュー版が公開されました。

WindowsでHadoopクラスターを組む気はしないんですが^^;、開発環境としてはWindowsは根強いと思うので、Windows版Hadoopには期待しています。


Apache Hadoop

中核のApache Hadoopですが、最近はHortonworks以上に動向を意識していませんでした(爆)
いつの間にやらバージョンが1.1.0・0.23.4・2.0.2まで上がっていました^^;(2系はいまだにアルファ版ですけど)

HDInsightプレビュー版はHadoop1.1がベースでした。
Apache HadoopのWindows対応のissueは解決バージョンが(以前は1.1だったのが)1.2に延びているそうなので、HDInsightとは関係なく、Hadoop1.2でWindows対応するのかもしれません。


以上、簡単ですが、自分が注目した点でした。
「なんか違うんじゃね?」とか「これが抜けてるじゃねーか」というような事がありましたら、(別の日のアドベントカレンダーででも)指摘していただけると有り難いです(笑)

では、良いお年を~。(まだ早いかw)