(読了 4分)ローカルマシン版の動画生成AIについて
これまでローカル環境での生成AI画像は
Stable Diffusion webui のautomatic1111版が代表的でしたが、
仮想環境のPinokio + Cogstudioを使えば
最新有料級にそれほど遜色ない見た目レベルの動画が作れるみたいです。
AnimateDiffよりは綺麗。
インストールはautomatic1111よりもずっと簡単で
まずPinokioをインストールし
それからcogstudioをインストール。
やり方は以下のサイトに書いてあります。
手動gitがいらないので、楽ちん。
詳しいインストール方法
macやLinuxでも行けるのがスゴイですね。
インストール時、
私の場合、最初のダイアログでwindowsセキュリティか何かの問いが出てきたので
拒否。二回目のターミナルの更新か何かは許可。
それでちゃんと動作しました。
ダウンロード時間は1時間もかからずにかなり早くてびっくり。
最適化されてきたのでしょうか。
さっそくデフォルトのまま生成してみましたが、
text2videoは、初期のStableDiffusionを思い出すレベルの劣悪さで
16分くらいの初回起動でこれか……とがっかりしたのですが、
画像参照させるimg2videoのほうは
予想以上の出来映えの良さです。
ノイズも無い。
ただ、動画の動きに関しては物足りず
Runwayなど他のweb有料サイトに大きく負けます。
破綻もあるし、
gif画像の大きさも360×240ピクセルとかなりちっちゃい。
問題は、モーションモジュールらしきものが16G以上×2個あるようで、
その初期ダウンロード(自動)も含め
img2videoの初回起動でRTX3060の12Gだと
約81分かかりました。
専用メモリ使用量は7.9Gで上限が固定されているようで
8Gのグラボでも動く可能性はありますが、
その場合は6秒の動画作成一本に2時間以上は覚悟したほうがいいでしょう。
2回目以降の生成時間(RTX3060/12G)
img2video
1step 40秒 × 50step + 初期処理90秒+まとめ処理200秒?
= 約39分 (;´Д`)
5090ブラックウェルの新しいPCを買うしかないのか……
googleコラボだと18禁は危ういんですよね。
現場からは以上です!