「YoYo」を検証してみた

 

youtubeを観ていたら

『YoYo』という動画生成AIの広告が流れて来たので

試しに検証してみました。

https://www.yoyo.art/ja-JP

 

 

ロゴを光らせるみたいな事が簡単に出来れば色々利用出来そうだなと思い

昔描いた笑い男風のゴーストロゴを基に動画生成をおこなってみましたが…

プロンプトが良くなかったのか、

なんだかブラックホールみたいになってしまいましたね。。。

 

 

他にも、以前描いた Black Knightさん も動かしてみました。

会話させようと思ったところ、一応、口パクはしてくれますね。

素材として使うにはちょっと厳しいかもしれませんが。。。

 

あとは、まあ、無理かなと思いつつ

寺田テラ風の Black Knightさん に踊らせるのに挑戦してみましたが、

まあ、

そうですよね。という感じの結果ですね。

 

総評としては、

まあ、実践投入まではいかないまでも、

遊ぶだけなら十分楽しめるかなと思います。

画像生成AIとしては特出して凄いという感じではありませんでしたね。

生成速度も普通くらいです。

まあ「Stable Diffusionより、ずっとはやい!!」と成らないのは

ヨヨとしては、むしろ良心的な部類なのかも知れませんね。＾ｖ＾

 

あとは、静止画像も生成出来るみたいでしたので

Black Knightさん も生成されるのか？と試してみましたが

 

 

 (Black Knight:1.5)プロンプトで生成してみたところ

普通の黒騎士が生成されました。

 

他にも masterpiece, girl 等のプロンプトも加えてみましたが

 

 

Black Knightさん っぽい女の子は生成されませんでした。

マスピ顔には成るのですけどね。

そもそも学習元がそもそも違うのでしょうか？

……謎は深まるばかりですね。

 

 

 

Saber と Ereshkigal プロンプトは

ちゃんとFateが生成されるのですけどね…

……謎は深まるばかりですね。

 

 

 

ちなみに、

『YoYo』は、中国のLuying Technology社が提供するサービスで

この会社は去年設立された、AI技術の新興企業みたいですね。

 

折角、youtube広告を出すなら、

サービス名と社名を合わせた方が宣伝効果がありそうな気がするのですけど

中国にはそういった文化は無いのですかね？

 

「Latent Couple」で二人のキャラを並べてみる

前回、「LoRA学習」でレイ姉さんを生成出来る様になりましたが、
やはり、これを実践的に使うのだとしたら
漫画に使用する事になるでしょう。

ですが、これ、
非常に大変な問題があるのですよね・・・


漫画の場合、二人以上のキャラが会話しないといけない訳ですが、
普通に生成すると、二人とも同じキャラになってしまうのですよ…




Black Knightさんと並べられないかと、色々試してみましたが、
どうしても、レイ姉さんにしかならないのですよね…







それで、色々と調べてみたのですが、
「Latent Couple」を使用してみると、複数人数を別々の設定で描画出来るそうです。



それで試しに使ってみたら…






ちゃんと並んで出力されました！・・・感動ですね。











・・・なんか、

きもち、よそよそしい感じなものばかり出力されているのは、気のせいですかね？



もう、仲良くして下さいよー。

もし、Black Knightさんが「俺の嫁」なら、
二人は親子関係になるのですからね。


とか、思っていたら↓コレが出力されて、ちょっと笑ってしまいました。



連れ子と、再婚嫁の仲が悪い問題は、AI時代になっても変わらないのですね。。。
（Black Knightさんとは再婚ですらないですが・・・＾＾；）




せっかくなので、ハグさせてみました。
絡みもいけるの凄いですね。。。







親子で海水浴も楽しめました。



――夏がはじまる







あとは、他にも誰かと並べられないかなと思い、
「俺の嫁！」というくらい敬愛する高津カリノ先生（想像図）と
誠に恐縮ながら並べさせて頂きました。



やっぱり、なんだか、よそよそしい感じに・・・
もしかして、レイ姉さん、かなりの人見知りなのですかね？
（私の娘なら仕方ないか・・・）


もう、仲良くして下さいよー。

もし、高津カリノ先生が「俺の嫁」なら、
二人は親子関係になるのですからね。


「おまえ、嫁、何人居るんだよ！」とか思われそうですが、
まあ、端的に言ってしまうと「一人も居ない」がファイナルアンサーです。。。orz



例のごとくハグもさせてみましたが・・・




なんだろう・・・
すごく・・・レイ姉さんにマウントを取られている感じに・・・


・・・べっ、別に羨ましいとかじゃないんだからねっ！
そんな感じで、勘違いなどしないで頂ければ幸いです。。。




≫外伝・レイブラ即興探訪記









俺の嫁がこんなにもカワイイ

「LoRA学習」を検証してみた

前回、「ControlNet」の「canny」を使用すれば
線画の色塗りをAIに任せる事が出来るのではないかと検証してみましたが、
もう、いっそ、全部をAIに任せられないかと、調べてみましたが、

どうやら「LoRA学習」(Low-Rank Adaptation)というものを使えば、
簡単に自分の絵を機械学習させる事が出来るみたいですね。


という訳で、今回「LoRA学習」を検証してみたのですが、
RTX以前のグラボでは、厳しいらしく
「Google Colaboratory」で学習出来る以下のものを使わせて頂きました。
https://github.com/Linaqruf/kohya-trainer


とりあえず、私の描いた四コマ漫画に登場するオリジナルキャラの
「レイ姉さん」を学習させてみました。
レイカ!?レイカ‗01



漫画から切り出したり、書き下ろしたりして
計30枚用意して食べさせてみたのですが・・・





ちゃんと「レイ姉さん」ですね。
思った以上に、それらしいものが生成されました。



ウェイトが「1」だと強すぎるみたいで、
「0.4～0.5」くらいが丁度良い感じで綺麗なものが生成されるみたいです。



・・・これ、オリジナルよりも上手くないか？（＾ｖ＾；
困りますね・・・


ウェイトが、低すぎると「anything」が出てくるので注意ですかね。




あとは、
とりあえずメガネをかけさせてみました。
教師素材の中にメガネの画像なんて一枚も無いのに、ちゃんとかけてくれるのですね。
しかも、画風も合わせてくれるので、これは震えます。。。




髪型を変えるのもいけます。




表情違いもいけます。




服装違いもいけます。




ウェディングドレスまで・・・




俺の娘が、お嫁にいってしまう・・・




まあ、でも、ここまで色々出来るなら・・・
・・・癖ゼンカイなヤツも生成出来るんじゃね！？




という訳で、腹筋も割ってみました。














あとは、
「Black Knightさん」を混ぜる事も出来ました。





なんだか、アメコミ風なイメージに成りましたね。。。




そんな感じで、やりたい放題、出力しておりましたが、

ふとした瞬間に、汚いものでも見るかの様な目の画像が生成されて、
なんだか、申し訳ない気持ちになってきました・・・




どうして思春期の娘は父親の事をあんなにも嫌ってくるのでしょうか？
・・・AIって本当に自我無いのですかね・・・？



≫Next

「ControlNet」の「canny」を検証してみた

前回、StableDiffusionの「upscaler」を検証してみましたが、
これは、画像生成だけで無く、既存の絵の編集なんかにも使えるのではないか？
そう思い、色々と調べてみたところ

同じく拡張機能である「ControlNet」の「canny」を使用すれば
線画に色塗りをしてくれるみたいでしたのでそれの検証をしてみました。




とりあえず、
Black Knightさんの線画を描いてみたのでコレで試してみようと思います。






ちなみに、自分で色塗りをしたら以下の様な感じです。





「Black Knight」プロンプトで出力してみたら、
ちゃんとBlack Knightさんに成って出力されました。なかなか感動的ですね。




肩が露出している解釈になるものもありましたが、これはこれでアリな気がしますね。




背景に星空を指定してみると、若干崩れるかなという印象になりました。
Black Knightさんの顔も心なしか戸惑っている様にも見えるという…




私好みの黒髪赤目を指定すると、ちゃんと指定通りに成りました。
髪や目が何処なのか解っているのですね。これはインテリジェンス！




ついでに、
腹筋も割ってみましたが、元のラインに引っ張られた感じになってしまいました。
無茶な指定は、あまりしない方が良いかもしれませんね。




あとは「Black Knight」プロンプト無しで出力してみたら、ホワイトナイトさんになりました。
心なしか綺麗に出力された印象ですかね。
Black Knightさんの召喚は、それだけで歪む原因なのでしょうか？




ちなみに、ホワイトナイトさんの、髪、目、鎧、剣を以下の様に指定したところ、
Red hair, green eyes, gold armor, blue sword
どうしても「剣」だけは認識してくれませんでした。

持ち物の認識は苦手なのですかね。。。



まあ、でも、ここまで出来るのであれば、
配色テストとか、使える場面はいくらでもありそうですね。









≫Next

「StableDiffusion」の「upscaler」を検証してみた

前回、StableDiffusionの「Sampler」を検証してみた感じ
違いがあんまり良く解らない感じでしたが、
もっと、手っ取り早くクオリティが上がる方法は無いものとかと調べてみたところ、
拡張機能の「upscaler」が良い感じでした。


解像度は下げる事は出来ても、上げるのは無理というのが常識でしたが、
AI画像生成の世界では、簡単にやってのけてくれるのですね。

以下のものを試してみたのですが…
multidiffusion-upscaler-for-automatic111


以前に出力した、Black Knighさんの腹筋で試してみたところ、こんな感じになりました。



顔の解像度が凄く高くなったイメージですかね。
腹筋の溝の深さもより強調されたかなと思います。


ここまで、修正が入るのであれば、
もし、初期に出力した崩壊Black Knighさんに使ったら
何処まで直して貰えるのか気に成りましたので、試しに掛けてみたところ
↓こんな感じになりました。



ここまで顔が崩れていても、ちゃんと認識してくれるのですね。
体の方は、流石に難しいみたいですが、
それでもなんとなくやりたい事は解る感じにはなりましたかね。


ここまで高性能であれば・・・これ、自分で描いたものでも使えるのでは？
そう思って、昔描いたドット絵に適用してみた感じ以下の様になりました。



この精度でしたら、
うまくプロンプト等で誘導出来れば十分使えるレベルになりそうですね。


ちなみに、今回、拡張機能を使ってみた訳ですが、
その際のインストールの仕様が、凄い楽で驚きました。

「Extensions 」にURLを張り付けるだけ・・・こんなに簡単で良いのでしょうか？



一昔前は、ダウンロードしたデータを解凍して、必要な場所に展開して…
みたいな事を色々やらないといけないイメージでしたが、
今は、これ程までにユーザビリティが発展しているのですね。



≫Next

「StableDiffusion」の「Sampler」を検証してみた

ナンプラーではないですよ。
サンプラーですよ。


・・・・


さて、前回、StableDiffusionにおいて
ずっとデフォルト設定で使っていたVAEをちゃんと入れて、鮮やかな画像を出せる様になりました。

しかし、
実は他にもデフォルト設定のままで使っていたものがあったので、
そちらも検証してみたいと思います。

なんでも、モデルには推奨する「Sampler」なるものがある様で、
「anything-v4.0」だと、
「DPM++ 2M Karras」・「DPM++ 2S a Karras」が使用されておりました。


試しに、Black Knighさんで試してみた感じですと、以下の様になりました。

Sampler: Euler a



Sampler: DPM++ 2M Karras



Sampler: DPM++ 2S a Karras



Sampler: DDIM



まあ、正直、そんな変わらないかなという感じですかね。
シード値によっては、ガラリと変わる事もあるみたいですが
とりあえずは、処理速度で決めるくらいでも良いかなと思います。


「Sampler」の詳細は↓こちらで詳しく解説してくれておりました。
https://bookyakuno.com/aiart-sampler/



あとは、
Black Knighさんは、よく顔がフレーム外になってしまう事があるのですが
別の「Sampler」に変えるとレイアウトが変わってご尊顔を拝見できる事もあります。


Sampler: Euler a



Sampler: DPM++ 2S a





ちなみに、「Sampler」とはなんぞやというと、
AIの画像生成は、人間が白い紙に絵を描くのとは逆で
ノイズばかりの絵から、不要なノイズを取り除く事を数回繰り返す事で生成するそうなのですが
このノイズを取り除く事をサンプリングといって、これの方法が「Sampler」だそうです。
（間違っていたら御免なさい）



ステップ数というのがノイズを取り除く処理を何回行ったかという事で、
処理を重ねるほど、ハッキリした画像が生成されていきます。




あと、関係ないですが・・・


「anything-v4.0」のサンプルプロンプトに「:3」があったのですが、
サン？三ってなんだ？「1girl」なので、3なんて全然関係無いよなぁ・・・と思っておりましたが、
どうやら、これ、猫口の顔文字だったみたいです。


試しに、Black Knighさんで試してみると、ちゃんと('ω')の顔になりましたね。



カワイイ！！けど、なんだか解釈違い！！

そんな感じで、どこの誰かも分からないBlack Knighさんの性格が
私の中でどんどん固まってしまって、オリジナルに出会ったらどうなってしまうのか…
期待と不安とが入り混じりますね。


あれ？でも、これ…もしかしたら「;)」みたいな、他の顔文字もいけるのか？
と、試してみたのですが…
どうやら、こちらは苦手みたいですね。



ウィンクが出来ないBlack Knighさんは、解釈一致！！


≫Next

VAEを入れてみた感じテスト

前回、Black Knighさんを生成しまくって、
例に漏れず、StableDiffusionの生成沼にハマっておりましが、

何故か、世に出ているAI画像と比べると、
私が生成したものは、なんとなく色褪せている様に見えるのですよね。

そこで調べてみたところ、
どうやら「VAE」というものを入れる必要があるみたいです。



試しに、
オフショットのBlack Knighさんに入れてみた感じですと以下の様になりました。



左がデフォルトの「vae-ft-mse-840000-ema-pruned」右が「anything-v4.0」用のVAEです。
やはり専用だけあって「anything-v4.0.vae」の方が
彩度が落ち着いて良い感じになっている様に見えますね。




ちなみに「VAE」とはなんぞやといいますと、

「Variational AutoEncoder」略で、変分処理を入れたオートエンコーダの事だそうです。
入力データを潜在空間にエンコードし、再構築によって元のデータをデコードする際に
確率モデルの要素を導入することで、より表現力のあるモデルを構築できるのだとか。。。


　何を言ってるのか わからねーと思うが、俺も何をしているのか わからなかった…
　　　頭がどうにかなりそうだった…
　　　　　レベル補正だとか チャンネルミキサーだとか そんなチャチなもんじゃあ 断じてねえ…
　　　　　　　もっと恐ろしいものの片鱗を味わったぜ…


素人解釈ですが、
「AIがなんか良い感じにフィルタリングして画像を綺麗にしてくれる」的なものかと思います。
…違ったら御免なさい。
（専門家の人がいらっしゃれば教えて頂けると助かります）


あとは、
たまに出る青痣の様なノイズも除去してくれるみたいです。



これだけでもVAEは入れるに越したことは無さそうですね。





・・・ところで・・・





彩度が上がったせいで気付いたのですが、
Black Knighさん、左手の薬指に指輪しておりません？





・・・も、もしかして、
僕に内緒で、既婚者だったのですか！？


まさか、
こんなに早く「推しが結婚してしまいました」の洗礼を受ける事に成ろうとは…
絶望にも似た、喪失感と背徳感で胸がいっぱいです。


・・・そんな・・・
結婚して、子供までつくった、あの日々は何だったのですか！？（←妄想です）


いや、まてよ、
その理論からしたら、当然、既婚者ですし、お相手は私じゃないですかー
もう、焦らせないで下さいよー＾ｖ＾ゞ
（そのうち現実を直視するのをやめた）








さすが、Black Knighさん！
　　俺にできない事を平然とやってのけるッ
　　　　そこにシビれる!あこがれるゥ!












オマケで、
VAEで綺麗になったBlack Knighさんを貼っておきます。

















・・・冷静に考えると、これ、誰得なんですかね？


≫Next

Black Knighさんを探して

前回、
StableDiffusionにおける、Black Knight の概念とも言える謎のキャラ…

便宜上「Black Knighさん」と呼ばせて貰いますが、

プロンプトを(Black Knight:2.0)等、かなり強調しないと姿を現さないという性質上、
どうしても描画が崩れてしまっていました。




なんとかして、Black Knighさんの真の姿を、
いえ、そこまでいかなくても、何かしら近いものを生成出来ないものかと
様々な実験と検証を重ねた結果・・・




ついに…ここまでのクオリティで描画する事に成功致しました！







途中から「いかに可愛く描写するか」という方向性になっていた気がしなくも無いですが…


ちなみに、この画像のモデルは「AbyssOreandeMix3」を使用しております。
どうやら Black Knight さんは「anything-v4.0」以外のモデルでも確認出来る様でした。

実は、凄いメジャーキャラなのか…
…始祖の時代から学習されていた常連さんなのか…？
……謎は深まるばかりですね。



さて、そんなこんなで、
Black Knightさんの描画のコントロールがだいぶ出来る様になりましたので
とりあえず、腹筋を割ってみました。




色々と試した感じだと、
腹筋と鎧の共存が一番良い感じだったのは「Pastel-Mix」モデルですかね。






うん、良い感じですね。





あとは、メガネをかけさせてみたり・・・





Tシャツ着せてみたり・・・





着物を着せてみたり・・・





ロリータファッションをさせてみたり・・・





終いには、ウェディングドレスで俺の嫁気分を味合わせて頂きました。







ここから先は…、
…もう、お分かりですよね？




行くところまで、
　　　　行くしかない！









妊娠して、





子供が生まれて、





健やかに成長して、


（すごい、お母さん似ですね。。。）



腹筋が割れるところまで行きました！





そんな感じで、かなり、やりたい放題やってしまいましたが、
本当になんでも出来て凄いですね。

StableDiffusionがあれば、推しキャラとの甘い生活を妄想し放題です。

どこの誰かも分からないBlack Knighさんが
すっかり推しキャラになってしまった感じではありますが・・・

冷静に考えると、これ、
Black Knighさんの元となったキャラのファンに
怒られないか、不安になって来ました・・・

・・・まあ、母の日という事で許して下さい。。。






最近、娘が母親にはべったりなのに、私に対しては汚いものでも見るかの様な目で見てきます…
どうして思春期の娘は父親の事をあんなにも嫌ってくるのでしょうか？


≫Next

この人が誰か教えてください

↑この人が誰か教えてください！



前回、 StableDiffusionを使っていて気付いた事があるのですよね。

「anything-v4.0」モデルで、「Black Knight」を生成した場合、
普通に生成すると、その度に色々な黒騎士を描いてくれるのですが

「(Black Knight:2.0)」みたいな強調が高すぎる状態で生成すると、
まあ当然、描画は崩れる訳ですが、そんな中でも
なんとなく同じキャラを生成しようとしているように見えるのですよ。





これに気付いたとき、ゾクリとしました。
「Black Knight」といえばコイツだと、
StableDiffusionに認識されているキャラが居るという事ですよね。


「Saber」で生成すると「剣」ではなくて
フェイトの「セイバー」が生成されてしまう、あの現象という事でしょう。




さて、問題はここからです。
この「Black Knight」さんの学習先のキャラが誰なのか探してみたのですが
一向に見つかる気配が無いのですよね。。。

こんな感じなのでは？という想像図を描いて画像検索してみたものの、
それらしいキャラはヒットせず終いでした。

同じ黒騎士を名乗る身としては、なんと言いますか、
嫉妬とも、憧れともとれない感情がせめぎ合うので
元ネタを是非とも知りたいところです。

心当たりがあれば、教えて頂けると助かります。
宜しくお願い致します。


≫Next

Stable Diffusionを使ってみた感想

昨今、界隈を賑わせている画像精製AIですが、
様々なところでゲームチェンジを起こしてくれそうな感じなので
この波に乗り遅れない為にも、検証がてら Stable Diffusion を使ってみましたというお話です。


最初は、ネット経由で使えるオンライン版を触ってみたところ
あれ？こんなものか？という感じでしたが・・・

https://stablediffusionweb.com/




webuiと、モデル、等を色々と組み合わせたらだいぶ良い感じに生成出来る様になってきました。





生成にはプロンプトが大事だという話でしたが、
なるほど確かにプロンプト次第でいくらでも様相が変わってきますね。
特にネガティブプロンプト、これ次第で絵の質感がガラリと変わります。

代表的なものとしては

bad anatomy（悪い解剖学）
low quality（低品質）
bokeh（ボケ）
error（なんらかのエラー）

といったところでしょうか。
low quality（低品質）とか、そんな抽象的な事で良いのか？と思うところも
入れてみると全然ちがいますね。

bokeh（ボケ）は、通常プロンプトに入れると雰囲気のある背景になったりするので
場合によって入れ処を考える必要がありそうです。

個人的に一番影響が大きく感じたのは、bad anatomy（悪い解剖学）ですかね。
これを入れてしまうと、ホラー調の画像を生成するのは、かなり難しくなりそうです。



なるほど、プロンプトが売れるというのも頷けますね。


とはいえ、素人がちょっと触ったくらいでは
欲しいものが全然出来ずに、ヤキモキする感じでした。
絵が描ける人なら「自分で描いた方が早いわッ」と、なりそうです。

現状では、レイアウトの案を出したり、
素材として使えそうな物を生成する使い方が良いのかなと思います。





あとは、使っているモデルの影響でしょうか
なんだかんだで「カワイイ女の子」の生成が一番得意なイメージですかね。
人類からの需要が高いせいで、学習が捗っているのかも知れません。





腹筋の割れた美女も、生成し放題でウハウハです。





調子に乗って色々出していると、ふと我に返ったとき、
「これが自分の癖なのかぁ・・・」と、なんだか恥ずかしくなるので御注意下さい。。。


≫Next