クラウド・オンプレミス連携等に使うETLのオープンソース－GUIからJavaソースを自動生成

OSC2011　Tokyo　Springの「世界初のオープンソースETL Talend Open Studio」で聞いてきた話。

---

■オープンソースETL

ETL＝Extract Transform Loading
　データを抽出、変換、登録するもので、データウェアハウスの父インモンが使い始めた言葉。
　当初は、DWH構築用だったが、今は、データ移行、バッチ処理、クラウド・オンプロミス連携、
　　名寄せ等、さまざまな用途に使う。

オープンソースのETL：Talend（タレンド） Open Studio
　他のETLに比べた、オープンソースのメリット
　　　導入コストが安い
　　　拡張性

　導入事例
　　　マブチモーター

---

■Talend（タレンド） Open Studio

（ダウンロードサイトは、ホームページからいける）

・Eclipseのプラグインとして実現しているので、立ち上がるとEclipse

・GUIで、入力、出力を指定
　　　DBは、oracle,MySQL,DB2,Access・・・いろいろ
　　　Salesforceなどとも連携できる

・それらのテーブル、項目を指定し、関連付ける
　　　GUIで行う
　　　細かい指定は、Javaで書ける

・実行する
　　　実は、GUIで指定した内容から、Javaのソースコードを自動生成して実行してる
　　　バッチで走らす場合、このソース、jar？等をZIPで書き出す機能があるので、それを使う

---

■特徴など

・Javaのコードジェネレーター
・標準、オープンのテクノロジ
・多機能、柔軟
　　：

＜処理性能に関する製品比較＞
PowerCenterに次ぎ２位
（３位は、大きく離れて、某社製品）

---

■説明してなかったけど、シートにはあった話

・Salesforce.com用コンポーネント
　　クラウド間連携、クラウド⇔オンプレミス間連携

・Hadoop対応（Cloudera)
　　現行：Hive ELT&SQLパターン、Sqoop

---

書き漏れてる部分もある。
間違いがあったらごめん。

Tomcat7の新機能

OSC2011　Tokyo　Springの「Tomcat7の紹介」で聞いてきた話。
以下、内容

---

■Tomcat7

　・Servlet３．０
　・JSP2.2
　・EL2.2

を実装

---

■Servlet３．０の新機能

・サーブレットを簡単に！
　　→アノテーションを使ってサーブレットを作る。
　　　　　従来　：継承して、web.xmlに記述
　　　　　３．０：アノテーションを書くだけでOK
　　　このほかの指定（Filterなど）も、アノテーションでできるものいろいろ・・・


・プラグイン、モジュール化、拡張性
　　３つの方式
　　　　・Webフラグメントサポート：web.xmlをモジュール化
　　　　　　　web-fragment.xmlをjarごとに

　　　　・プログラマティック・コンフィグレーション
　　　　　　　サーブレットやフィルタなどをプログラムできる。

　　　　・JSPのモジュール化
　　　　　　　Jarでひとまとめにできる


・非同期
　　重たい処理を非同期で処理できる
　　　→従来、サーブレット内でスレッドを立てることは非推奨だった。
　　　　今回、その仕様をきめて、出来るようにしたということ
　　　　→APIがいっぱい

・セキュリティ
　　　プログラミックログイン
　　　セッショントラッキング

---

■Tomcatの新機能

・パラレルデプロイメント
　　もし、セッション中にバージョンが切り替わると、従来だと、古いバージョン
　　のセッションは、バージョンが切り替わった時点で動かなくなるが、
　　今回の機能は、実行中に切り替えても大丈夫（古いバージョンのセッションが
　　きたら、古いバージョンが動く・・・らしい？？）


・メモリリーク予防と防止


・エイリアスサポート：apacheのエイリアスとおなじ

・ライフサイクルアーキテクチャの変更

・マネージャーWebapp　
　　CSRF防止フィルター

・コネクタ実装を再実装
　　　：
　　などなど

---

書き漏れてる部分もある。
間違いがあったらごめん。