OpenAI の動画生成 AI Sora

OpenAI が動画生成 AI を発表した。

まだ公開されたサービスではなく
研究開発段階だが、
文章や画像、動画を入力して、
１分程度の非常に
リアルな動画を生成できるという。

上記のサイトに
いろいろな生成例が示されている。

画像、文章の次は動画、となるのは自然で、
いろいろな組織が動画生成 AI を
研究しているが、長さも含めて、
生成された動画の品質が
圧倒的に高いという印象だ。

同時に公開された
テクニカルレポートによると、

ベースとなっている技術は
2022/12 に arXiv に発表された
Diffusion Transformer らしい。

Transformer で動画をパッチ化して
学習、生成するので、
同じ潜在空間から、
いろいろなサイズ、
アスペクト比、長さの動画を
生成できるとしている。

物理的制約を事前知識として
使わなくても、大量のデータで
学習することで、物理的な法則が
自然に獲得されているということで、
メンタルイメージのように、
世界をシミュレーションするのにも
使えるかもしれない。

その一方で、ガラスが割れる様子や
物を食べる様子など、まだ生成の精度や
一貫性が低いものもあるようだ。

現在は、サービスの公開に向けて、
生成の精度を上げるとともに、
安全面についての検討を進めているという。