Asakusa Framework Advent Calendar 2014の15日目です。
AsakusaFW0.7.1でスモールジョブ実行エンジンが使えるようになりました。
これで、入力データが小さい場合にバッチの実行が高速化することは以前に紹介しました。
フロー(JobFlowやFlowPart)のテストも、スモールジョブ実行エンジンを使うことで高速化します。大抵の場合、テストに使用するデータは小さいので。
が、その他にも重要な事があります。
それは、スモールジョブ実行エンジンを使うことで、Windowsでもフローのテストが出来るということです!
今まで、フローのテストを実行するにはHadoop(スタンドアローンモード)が必要でした。
Windowsでは、Hadoop0.20の頃はCygwinを使って実行することも出来たのですが、AsakusaFWのテストを実行する環境を作るのは非常に面倒でした。
スモールジョブ実行エンジンはHadoopを使わない通常のJavaプログラムなので、Hadoop無しでも実行できます。テスト用に実行できる環境を作る手順も、とても簡単です。
最近のHadoopは、Windowsでも実行できるようにスクリプト類はcmdファイルを用意したりしている割に、実行に必要なwinutils.exeやDLLが同梱されていません。issue(HADOOP-10051)は上がっているのでHadoopの新バージョンが出る度に見ていたのですが、対応される気配もありません。
が、スモールジョブ実行エンジンのおかげで、もう要りませーん。
ExcelはLibreOfficeより本家Windows版の方が使いやすいので、テストデータを記述するExcelファイルをWindows上で修正してそのままテストを実行できるのは嬉しいです(笑)
※コメント投稿者のブログIDはブログ作成者のみに通知されます