ひしだまの変更履歴

ひしだまHPの更新履歴。
主にTRPGリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。

asakusa run

2020-12-24 22:54:23 | PG(分散処理)

Asakusa Framework Advent Calendar 2020の24日目です。

Asakusa CLI(asakusaコマンド)のサブコマンドにrunというものがあります。
これは、バッチを実行するサブコマンドです。

asakusa run バッチID -A 引数=値

run以外のサブコマンドは情報表示用ですが、runはバッチを実行するので、かなり毛色が違いますね。

バッチを実行するには従来からYAESSというシェルがあり、asakusa runという手段が出来ても、本番環境でのバッチの実行はYAESSで行うべきということは変わっていないようです。

ではasakusa runは何に使うかというと、テスト環境でバッチを実行したい場合、特にWindows環境で実行したい場合に使用します。
YAESSはシェルなのでLinux上でしか使えませんが、asakusaコマンドはLinux用のシェルとWindows用のcmdファイルが提供されているので、Windows上でもバッチを実行できるのです。

とは言っても、M3BPSparkはWindows上では動かせないので、ピュアJavaの実行環境であるVanillaで実行することになると思います。

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

asakusa generate ddl

2020-12-23 12:18:09 | PG(分散処理)

Asakusa Framework Advent Calendar 2020の23日目です。

Asakusa CLI(asakusaコマンド)のサブコマンドにgenerate ddlというものがあります。
これは、バッチが使用しているデータモデル(Direct I/O HiveのDMDL)からApache HiveのDDLを生成するものらしいです。

asakusa generate ddl hive バッチID

個人的にはHiveはあまり好きでないんですが(なんでもかんでもSQLで扱おうとするな!)、Hiveのメタストアは意外と使われているみたいなんですよね(AWSとか)。

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

asakusa generate dot

2020-12-22 17:23:06 | PG(分散処理)

Asakusa Framework Advent Calendar 2020の22日目です。

Asakusa CLI(asakusaコマンド)のサブコマンドにgenerate dotというものがあります。
これは、バッチに含まれる演算子(Operator)が実行される順序の図(グラフ)を生成するものです。

asakusa generate dot operator バッチID -o 出力先ファイル

これでdotファイルが作られるので、Graphvizに渡すと図が表示されます。

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

asakusa list plan

2020-12-21 00:00:00 | PG(分散処理)

Asakusa Framework Advent Calendar 2020の21日目です。

Asakusa CLI(asakusaコマンド)のサブコマンドにlist planというものがあります。
これは、バッチの実行計画、すなわちバッチ内に含まれる演算子(Operatorのメソッド)が実行される順序の情報を表示するものです。

asakusa list plan バッチID

ここで表示されるvertex IDは、例えばM3BPの実行ログに出力されたりします。

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

asakusa list directio

2020-12-20 22:10:12 | PG(分散処理)

Asakusa Framework Advent Calendar 2020の20日目です。

Asakusa CLI(asakusaコマンド)のサブコマンドにlist directioというものがあります。
これは、バッチ内に含まれるDirect I/OのImporter/Exporterのパスを表示するものです。

asakusa list directio input バッチID
asakusa list directio output バッチID

入出力を区別せずに同時に出してくれるオプションがあるといいんですけどね。

また、directioと同様に、WindGateのパス(テーブル名?)を表示するlist windgateサブコマンドもあります。

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする