Perfume X Docomoの、なにがすごいのか？（やっぱりライゾマ）

ここ

実行せよ。実現せよ。FUTURE-EXPERIMENT.JP
https://www.nttdocomo.co.jp/special_contents/future_experiment/index.html

リアルタイムで見れなかったあ～
で、「何が凄いの！」といっている人がいるようなので、
ちょっと解説してみる。

---

■まず、１万キロ離れると、光の速度で行っても遅れるという事実を認識しよう！

　このため、単純に１万キロ離れたところの画像を合成しても、
　みんなばらばらになる。

　そこで、時間を合わせる技術（時刻同期）が必要になる。Ethernetだと、下参照

車載 Ethernet ネットワークにおける時刻同期
AUTOSAR、IEEE、TSN の中で、いかにバランスをとるか？
https://vector.com/portal/medien/cmc/press/Vector/Ethernet_Timesync_Automobil-Elektronik_201608_PressArticle_JP.pdf

　で、この時刻同期を取った場合、１箇所でも画像が遅れれば、その画像は飛ばして
表示されることになる。

　今回の、Perfumeの画像には、全フレームそろっているように見える。
　それだけ、通信回線が安定しているということ。
　一般の通信回線だと、HDでも５Mbpsは必要になる。
　４Kだと３０MBps～

　しかし、この転送速度を出すだけでは、この画像を作れないのだ！

---

■画像処理をめちゃくちゃ早く行わなければならない！！

　画像処理に時間がかかっていると、画像がとまってしまう。

　つまり、圧倒的に早い速度で送り、表示までの間の時間差をつくり、
　その時間差の間で、処理を完了させるか、

　数コマづつ、定期的に遅れさせて、そのコマ数の時間で処理させる
　　この場合、処理時間を均一にして終わらせなければならない。

　いずれにせよ、短時間で、安定的に、画像の抽出・合成が出来ないといけない。

　たぶん、あらかじめ「ストーリーは出来ていて」それで合成している
　とはいえ、転送してきたデータを、解凍して（たぶん、まさかRAWでは送らないだろう）
　それを画像処理して切り出して、合成して１コマ分をつくるのに、
　これだけの速さで行うって言うのは、

　　かりにFPGAやGPUを使ったとしても
　　すごい、処理スピードなわけ（技術なわけ）・・・
　　そして、画像処理は完全自動化していないといけない

　なので、圧倒的に速い転送スピードか、ものすごい安定した通信が
　求められる。５Gは、両方満たしているんでしょうね。　

---

■なぜ、Perfume？→裏方に、ライゾマティックスなのだ

　これを実現するには、あらかじめ「ストーリーは出来ていて」という
　状況だと思う。ということは、ストーリーどおりに正確に踊ってくれない
　と、これは実現できない。

　やっぱりこれには、紅白で安定した実績のあるPerfumeさんなんでしょう・・・

　っていうか、ここまでのことをやれるのは、ライゾマさんでしょうと思ったら

https://twitter.com/rhizomatiks/status/928289233839591424

　演出・システム開発、ライゾマさんなのね、やっぱり！（＾＾；）

---

■でも、限界も・・・

　一部、隠れてしまうところがあった。

　さすがに、短時間で切り抜き、溶け込ませるのには、現在の技術では
　限界があるということだろう。

　これには、人工知能をつかって、背景を載せかえるような技術が必要になる。

　それは、

　　先生、せんせい、それは(adobe)Sensei

※「それを求めるなら、ライゾマでなく、チームラボです。AIだから」という意見は無視します。

【あわせて読みたい】
世界が注目！現代アートの新四皇！？チームラボ、ライゾマ、タクラム、ザ・ユージーン アート×テクノロジ
https://matome.naver.jp/odai/2149753218143150701

AIを作っている人と使っている人で意識の差があることを発見！

詳しくは、あとで書き直す。
とりあえず、忘れないうちにメモ。

ＡＩを作っている人は、
　ＡＩのテスト、品質保証
　　→単体テストは昔のＣ０，Ｃ１のようなホワイトボックスで品質保証。
　データによる予測の変動
などを気にしている。たぶん、自動運転などへの応用を意識してる人だと思う。

でも、今ＡＩを使っている人の多くは、自動運転などではなく、
画像認識だと思う。これらの人たちは、ＡＰＩとして使う。
　ＡＰＩのテストは、JUnit等のユニットテストを、外からデータをいれて行う。
　　　→つまり、ブラックボックステスト。
　ブラックボックスなので、ＡＰＩ利用者は、それがＭＬのプログラムか、
　ルールベースかは関係なく扱う。

　むしろテストより、見積もりが立たないことのほうが問題だと思う。