ひしだまの変更履歴

ひしだまHPの更新履歴。
主にTRPGリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。

Retzを試してみた

2016-09-18 07:51:15 | PG(分散処理)

Asakusa FrameworkでM3BPを使うAsakusa on M3BPが使えるようになってから、バッチがすごく速くなった(笑)
(どれくらい速くなったのかは、Scala関西Summit 2016で言及するつもり…Scalaじゃないけど(爆))

で、今使っているM3BPマシンはCPUが数十コア・メモリーが数百GBあるんだけど、ほとんどのバッチは100GBもメモリーを使わないので、1台のM3BPマシン上で複数のバッチを同時に(並列で)実行したい。
一部のバッチはM3BPマシンの半分くらいのメモリーを使用するが、2並列なら問題ない。
しかし一律2並列にすると、ほとんどのバッチは最低でも4並列くらいいけるのに勿体ない。
また、今はM3BPマシンが1台だけだけど、複数台になったら、空いているマシンを探してそこでバッチを実行するような仕組みがあると嬉しい。

というわけで、そういった制御をしてくれるのがRetz。ジョブをキューイングして実行するツール。
クラスター(複数サーバー)のリソースを管理し、ジョブ実行に必要なリソースが空いているマシン上でジョブを実行してくれる。(リソース管理にはApache Mesosを使っている)
(リソースに関するジョブスケジューリングと呼べるかもしれないが、普通ジョブスケジューラーと言ったらジョブを時刻起動させるツールというイメージなので、それとは違う) 

今はまだRetzのバージョンは0.0.x、つまり0.1にもなっていないのでまだまだ変わっていくと思うけど、現時点でのインストール方法使い方をまとめてみた。
Retz自身はAsakusaバッチ専用というわけではないので汎用的に使えるはずだけど、自分としてはAsakusaバッチで使う想定。 


コメント    この記事についてブログを書く
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする
« Spark or SerializationUtils... | トップ | Scala関西Summit 2016でAsaku... »
最新の画像もっと見る

コメントを投稿

PG(分散処理)」カテゴリの最新記事