ひしだまの変更履歴

ひしだまHPの更新履歴。
主にTRPGリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。

AsakusaFW0.7.6 confluent+MasterJoin

2015-12-07 00:58:37 | PG(分散処理)

Asakusa Framework Advent Calendar 2015の7日目です。

2015/12/2にAsakusa Framework0.7.6がリリースされていました。→リリースノート
0.7.5が出てから間もないのに次がリリースされたのは、大きめのバグ修正だからですかね。

Importerに指定したデータサイズがTINYのデータを直接MasterJoin系演算子のマスター側に使うと、通常のMasterJoinではなく、効率の良いSideDataJoinが使われます。
ここで、TINYのデータと他のデータをconfluentしてからMasterJoin系演算子のマスター側に使うと、TINYのデータしか使われない(SideDataJoinに誤認される)というバグがあったようです。
けっこうクリティカルなような、でも今まで発覚しなかったということはそういう使われ方はしてこなかったのかな…?

ちなみにSpark版は大丈夫なようです。

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする