ひしだまの変更履歴

ひしだまHPの更新履歴。
主にTRPGリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。

embulk-parser-poi_excel 0.1.6 セルのキャッシュ値の取得

2017-01-28 17:04:05 | PG(分散処理)

きっかけは、Embulkで新しくExcelファイルを読もうと思ったら、プラグインが固まった(ように見えた)こと。
(超どうでもいいが、「きっかけは」って書くと、LINDBERGのLITTLE WINGが頭の中で始まるw)

トレースログを埋め込んで(自分で作ったプラグインだから、何とでもなるw)見てみたら、セルの数式の計算でやたらと時間がかかっている。1セル7分。おいおい(汗)
SUMIFのような関数で列全体とかが指定されていると、1行目~1,048,576行目までの全てを探しに行く実装になっているようだorz 関数がネストしているような“神エクセル”だと、そりゃ遅いわ…。
(POIでは実データの有る最大行数は取れるんだから、それを考慮してくれればいいのに(苦笑))

まぁPOIの実装は置いといて、Excelでファイルを開いたときは値が表示されているので、これが取れればいいのになぁと思って試しにPOIで値を取得するメソッドを呼んでみたら、取れたし!
後はその値がどの型(数値か文字列か)が分かる方法があれば…と思ってCellクラスを眺めてみたら、ばっちりgetCachedFormulaResultTypeというメソッドがあった!これは知らなかった。。
計算の結果がキャッシュされていないExcelファイルではどうしようもないだろうけど、とりあえず今回の目的にはこれでOK。

という訳で、embulk-parser-poi_excelプラグインに、キャッシュされている値を取得できるようにするオプションを追加した。

ついでに、シート名の指定でワイルドカードを使えるように修正。 

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

Embulk xlsxファイルプレビューの注意

2017-01-27 23:55:06 | PG(分散処理)

Embulkembulk-parser-poi_excelプラグイン)で新しくxlsxファイルを読み込もうとしたら、例外が発生
エラーメッセージがEOFExceptionでend of ZLIB input streamとのことだったので、最初はxlsxファイルが大きすぎたのかと思った。

で、別途Apache POIのサンプルを作ってそのxlsxファイルを読み込んでみたら例外が発生した。
inflate ratio(圧縮率?)のチェックに引っかかったらしい。
ただ、これをチェックする閾値は設定できるので、問題解決!

と思ったのだが、よく見るとエラーメッセージが全然違う(汗)

WorkbookFactory.createメソッドでxlsxファイルを読み込むのだが、引数がFileのメソッドとInputStreamのメソッドでは挙動が違うらしい…。
Embulkのxlsxファイルを読み込むプラグインではInputStreamを使う方式なのだが、ratioのエラーになるのはFileを使う方式だけで、InputStreamを使う方式だとエラーにならなかった。
Embulkでも、previewだとエラーになるが、同じファイルをrunで読み込むとエラーにならない。

ということは、EmbulkとPOIの相性の問題と思われる。
プレビューだから、ファイルの全データを読み込んでいないのではないかと思う。
しかしxlsxファイルはzip圧縮されている形式なので、先頭データだけでは解凍できない^^;

まぁプレビューだけの問題だから、注意喚起だけでいいかな~。

(追記)他のプラグインでも同様の問題が起きているらしい。previewだと32kBしか読まないそうで。
previewでも全データを読むように修正されるなら、この問題も解決しそう。

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

2016秋アニメについて一言

2017-01-22 14:07:50 | Weblog

2016年10~12月期のアニメの感想。

私事だが、この期から録画機器を導入したので、好きな時間に見られるようになったのが大きいw
(これで、「『Re:ゼロから始める異世界生活』を見る為に朝4:00まで起きていた」なんてことは無くなるのだ…!)
特にPM8:00台はテレビでろくなものがやっていないので(ニュースは19:00や21:00だし)、その時間帯に見るのがちょうどいい。
実際に見るのはだいたい1~2週間遅れになってしまうけど、「次回はどうなってるんだろう!」と思ったときに、他のアニメを飛ばして次回を見るということが出来て、良かったw

  • 終末のイゼッタ
    • 始まる前のCMを見て一番期待していたアニメ。期待通り良かった。
    • 使える魔法が物を動かすだけなので、戦闘機は槍(ランス)で落とせるけど、戦車の装甲は貫けない。代わりに戦車そのものをひっくり返す。というアイデアが良かった。
    • 大国から狙われる小国ということで(よくある)絶望的状況だったけど、(意外と早く)陥落してびっくり。
    • 最後、イゼッタの表情は映されなかったけど、ちゃんと生きてるのか不安だ…。
  • オカルティック・ナイン
    • 主要な登場人物が9人だからナインなのかと思ったけど、そういう訳では無かった。
    • 人数が多いしテンポが早いので最初はびっくりしたけど、慣れてくるとなかなか良い感じにw
    • 最後には謎や人物の関連が明かされてけっこうすっきりしたけど、残った謎はゲームに持ち越し?(買おうか悩むw 『シュタインズゲート・ゼロ』や『うたわれるもの』はアニメを見てゲームを買ったが面白かったし)
  • ViVid Strike!
    • 途中ちょっと重かったけど、ええ話やったわ~>< 「どうしたらお前を救ってやれるんや」
  • ブレイブウィッチーズ
    • 面白かった。(ハッピーエンドに終わるだろうと)安心して見ていられるのが良いw
  • 装神少女まとい
    • 仲間が協力していく話は好き。装神少女ゆまちんのオープニングが良かった。ああいう遊び大好きw
  • フリップフラッパーズ
    • なんと言えばいいのかよく分からん(幻想的な?)雰囲気で良かった。
  • ステラのまほう
    • (前期の『NEW GAME』に続いて、)ほのぼのゲーム製作ネタ。面白かった。
  • ろんぐらいだぁす!
    • ほのぼの自転車もの。良かった。
    • 赤信号で止まってたシーンに驚天動地。左右から車が来そうに無い交差点で、現実のロードレーサーが(ママチャリも)赤信号で止まってることなんて、年に2~3回しか見かけないぞ。僕が赤信号で止まってるのに、抜かして行くからな奴ら。
  • ジョジョの奇妙な冒険 ダイヤモンドは砕けない
    • ジョジョの中でほぼ唯一原作の連載を読んでいたやつ。(康一のファンなので、もっと活躍してほしかった←無茶言うなw)
  • SHOW BY ROCK!!#
    • 各話は悪くない(面白い方だ)と思う。
  • 魔法少女育成計画
    • ほのぼのした話かと思っていたら、殺し合いとは(苦笑)
  • Lostorage incited WIXOSS
    • これも何人か消えたりして重い話だったが、最後はまだ救われた…のかなぁ?
  • ブブキ・ブランキ 星の巨人
    • 『幼年期の終わり』みたいな話につながるとは!
    • 最終話、ああいうのやるの珍しいね。
  • レガリア
    • 普通。(本来前期に放映予定だったのが延びて今期に入ったが、おかげで他のアニメより先に終わった。同時に放送しているとピークが同じになるので、ずれるのはそれはそれで面白かった)
  • 文豪ストレイドッグス
    • 主人公が決意するシーンや活躍するシーンは格好良くて好き。だが、なんで文豪を表に推す必要があるのか…?
  • TRICKSTER -江戸川乱歩「少年探偵団」より-
    • 小林や花岡がどうなるのか気になる。けど、なんで江戸川乱歩(少年探偵団)を表に推す必要があるのか?
  • WWW.WORKING!!
    • 面白いw
  • 斉木楠雄のΨ難
    • 喋るテンポが良かった。原作の週刊ジャンプの方では読み飛ばしているんだが(爆)、アニメで楠雄の喋りやツッコミを聞いていると心地よいw 声優ってほんとすごい。
  • ナンバカ
    • 技を駆使して色々な牢から脱獄するという話かと思ったら、ぜんぜん違った。面白い方だとは思うけど。
  • 灼熱の卓球娘
    • 予想に反して面白かった。熱い!w(スポーツものだと、リアル指向かとんでも指向になることが多いけど、これはちょうど良いバランス)
  • ALL OUT!!
    • 男ばかりで萌えキャラが一切出てこないラグビーアニメ(リアル指向・スポ根に近い)だが、見ていると引き込まれていつの間にか時間が経っているという、不思議なアニメ。
  • DAYS
    • サッカーアニメ。主人公は嫌いじゃないが、(仲間とかに)恵まれすぎなんだよなー。
  • 競女
    • あかんアニメw 原作は知ってたけど、よくアニメ化したなこれw Fateのギルガメッシュの宝具っぽい演出とか、超うけたw
  • 刀剣乱舞-花丸-
    • 『艦これ』と同様に有名なゲームが元なので一応見ていたが、男向けじゃないねこれ。楽しそうな雰囲気ではあった。
  • Bloodivores
    • 設定を盛っている割に謎を解明させるストーリーが進まず戦闘ばっかりで、いまいち…。
  • アイドルメモリーズ
    • アニメは前半15分だけで後半15分は声優がクイズか何かやってたけど、前半しか見なかった。
  • ソードアートオンライン(再放送)
    • 途中から、「ああこれ見たことある」ってなった(自爆魔法が全く役に立たなかった辺り。なんてかわいそうな><)。昔見たときは途中からだったので状況が分からなかったけど、そういうことだったんだなぁ。
  • MONSTER
    • 前期もやってて来期も続く。引き続き注視。

どのアニメも、音楽は良かったな~。聞いているだけで盛り上がってくるw

あと、この期は終わるのが12月なので、最後にクリスマス特番をやっているものがいくつかあったけど。
声優はすごいと思うし尊敬するけど、声優が出てくるバラエティー番組にはあまり食指が動かない。
『装神少女まとい』は総集編をやってて、そういうのの方が面白かった。


さて、2016年の感想を書き終わったので、ようやく2017年のアニメを見始められるw
しかし今期はやたら多くて、録画予約が上限を超えた(爆)
仕方が無いので、再放送のものは(見たことなくても)泣く泣くカットorz

アニメーターの給料が安くて大量に作らないと食っていけないといった事情はあるらしいけど、待遇を良くして正常化してもらいたい。 

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

2016年の(自分の)ゲーム事情

2017-01-17 22:35:32 | ゲーム

2016年のゲームの振り返り。

まず、ドラクエ10は継続して遊んでいる。
今はver3.4で、うっかりクリアしてしまった。今までのパターンだとボスが強すぎて、バージョンアップでレベル上限が開放されたりスキルが強くなってからようやくクリアできるという感じだったのだが。
それと、レベルも現時点(96)でカンスト。特訓はまだ終わってないけど、特訓が上がっても冒険日誌には記録が残らないんだよね~。

2016年の初期は『ドラクエビルダーズ』をやってたのかな?
ストーリーがドラクエ1関連ということで始めたんだけど、フリービルドの方も意外とハマってしまった(笑)

その後、やるゲームが無かったので『ソードアートオンライン ホロウ・フラグメント』を始めたんだけど、ゲームバランスがいまいち…。スキルの使い方がよく分からなくて単調な割にマップ広いし。未クリア。

8月に入って『イース8』。
面白かったよ。まぁ、イース4より後は、そのときは面白いんだけど、けっこう記憶に残ってないんだけどね…。

あと、『うたわれるもの二人の白皇』。前作やってたから、期待して待ってた。けど、発売日を一週間勘違いしてて、買おうと思ったら売り切れの店ばかりでなかなか買えなかったんだけどねorz
メインストーリーは期待通り面白くてクリアしたけど、その後のおまけが強すぎて、クリアできる気がしない…。 

今やっている最中なのがFF15。
今年ドラクエ11が出るのでPS4を買ったから、ついでにやり始めた。まだ序盤なんだけど、確かに噂どおり、メインストーリーの唐突さはなんだかなー^^;
サブクエストが自由に出来るのは良いと思うんだけど。

コメント
  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする