「ControlNet」の「canny」を検証してみた

前回、StableDiffusionの「upscaler」を検証してみましたが、
これは、画像生成だけで無く、既存の絵の編集なんかにも使えるのではないか？
そう思い、色々と調べてみたところ

同じく拡張機能である「ControlNet」の「canny」を使用すれば
線画に色塗りをしてくれるみたいでしたのでそれの検証をしてみました。




とりあえず、
Black Knightさんの線画を描いてみたのでコレで試してみようと思います。






ちなみに、自分で色塗りをしたら以下の様な感じです。





「Black Knight」プロンプトで出力してみたら、
ちゃんとBlack Knightさんに成って出力されました。なかなか感動的ですね。




肩が露出している解釈になるものもありましたが、これはこれでアリな気がしますね。




背景に星空を指定してみると、若干崩れるかなという印象になりました。
Black Knightさんの顔も心なしか戸惑っている様にも見えるという…




私好みの黒髪赤目を指定すると、ちゃんと指定通りに成りました。
髪や目が何処なのか解っているのですね。これはインテリジェンス！




ついでに、
腹筋も割ってみましたが、元のラインに引っ張られた感じになってしまいました。
無茶な指定は、あまりしない方が良いかもしれませんね。




あとは「Black Knight」プロンプト無しで出力してみたら、ホワイトナイトさんになりました。
心なしか綺麗に出力された印象ですかね。
Black Knightさんの召喚は、それだけで歪む原因なのでしょうか？




ちなみに、ホワイトナイトさんの、髪、目、鎧、剣を以下の様に指定したところ、
Red hair, green eyes, gold armor, blue sword
どうしても「剣」だけは認識してくれませんでした。

持ち物の認識は苦手なのですかね。。。



まあ、でも、ここまで出来るのであれば、
配色テストとか、使える場面はいくらでもありそうですね。









≫Next

「StableDiffusion」の「upscaler」を検証してみた

前回、StableDiffusionの「Sampler」を検証してみた感じ
違いがあんまり良く解らない感じでしたが、
もっと、手っ取り早くクオリティが上がる方法は無いものとかと調べてみたところ、
拡張機能の「upscaler」が良い感じでした。


解像度は下げる事は出来ても、上げるのは無理というのが常識でしたが、
AI画像生成の世界では、簡単にやってのけてくれるのですね。

以下のものを試してみたのですが…
multidiffusion-upscaler-for-automatic111


以前に出力した、Black Knighさんの腹筋で試してみたところ、こんな感じになりました。



顔の解像度が凄く高くなったイメージですかね。
腹筋の溝の深さもより強調されたかなと思います。


ここまで、修正が入るのであれば、
もし、初期に出力した崩壊Black Knighさんに使ったら
何処まで直して貰えるのか気に成りましたので、試しに掛けてみたところ
↓こんな感じになりました。



ここまで顔が崩れていても、ちゃんと認識してくれるのですね。
体の方は、流石に難しいみたいですが、
それでもなんとなくやりたい事は解る感じにはなりましたかね。


ここまで高性能であれば・・・これ、自分で描いたものでも使えるのでは？
そう思って、昔描いたドット絵に適用してみた感じ以下の様になりました。



この精度でしたら、
うまくプロンプト等で誘導出来れば十分使えるレベルになりそうですね。


ちなみに、今回、拡張機能を使ってみた訳ですが、
その際のインストールの仕様が、凄い楽で驚きました。

「Extensions 」にURLを張り付けるだけ・・・こんなに簡単で良いのでしょうか？



一昔前は、ダウンロードしたデータを解凍して、必要な場所に展開して…
みたいな事を色々やらないといけないイメージでしたが、
今は、これ程までにユーザビリティが発展しているのですね。



≫Next

「StableDiffusion」の「Sampler」を検証してみた

ナンプラーではないですよ。
サンプラーですよ。


・・・・


さて、前回、StableDiffusionにおいて
ずっとデフォルト設定で使っていたVAEをちゃんと入れて、鮮やかな画像を出せる様になりました。

しかし、
実は他にもデフォルト設定のままで使っていたものがあったので、
そちらも検証してみたいと思います。

なんでも、モデルには推奨する「Sampler」なるものがある様で、
「anything-v4.0」だと、
「DPM++ 2M Karras」・「DPM++ 2S a Karras」が使用されておりました。


試しに、Black Knighさんで試してみた感じですと、以下の様になりました。

Sampler: Euler a



Sampler: DPM++ 2M Karras



Sampler: DPM++ 2S a Karras



Sampler: DDIM



まあ、正直、そんな変わらないかなという感じですかね。
シード値によっては、ガラリと変わる事もあるみたいですが
とりあえずは、処理速度で決めるくらいでも良いかなと思います。


「Sampler」の詳細は↓こちらで詳しく解説してくれておりました。
https://bookyakuno.com/aiart-sampler/



あとは、
Black Knighさんは、よく顔がフレーム外になってしまう事があるのですが
別の「Sampler」に変えるとレイアウトが変わってご尊顔を拝見できる事もあります。


Sampler: Euler a



Sampler: DPM++ 2S a





ちなみに、「Sampler」とはなんぞやというと、
AIの画像生成は、人間が白い紙に絵を描くのとは逆で
ノイズばかりの絵から、不要なノイズを取り除く事を数回繰り返す事で生成するそうなのですが
このノイズを取り除く事をサンプリングといって、これの方法が「Sampler」だそうです。
（間違っていたら御免なさい）



ステップ数というのがノイズを取り除く処理を何回行ったかという事で、
処理を重ねるほど、ハッキリした画像が生成されていきます。




あと、関係ないですが・・・


「anything-v4.0」のサンプルプロンプトに「:3」があったのですが、
サン？三ってなんだ？「1girl」なので、3なんて全然関係無いよなぁ・・・と思っておりましたが、
どうやら、これ、猫口の顔文字だったみたいです。


試しに、Black Knighさんで試してみると、ちゃんと('ω')の顔になりましたね。



カワイイ！！けど、なんだか解釈違い！！

そんな感じで、どこの誰かも分からないBlack Knighさんの性格が
私の中でどんどん固まってしまって、オリジナルに出会ったらどうなってしまうのか…
期待と不安とが入り混じりますね。


あれ？でも、これ…もしかしたら「;)」みたいな、他の顔文字もいけるのか？
と、試してみたのですが…
どうやら、こちらは苦手みたいですね。



ウィンクが出来ないBlack Knighさんは、解釈一致！！


≫Next

VAEを入れてみた感じテスト

前回、Black Knighさんを生成しまくって、
例に漏れず、StableDiffusionの生成沼にハマっておりましが、

何故か、世に出ているAI画像と比べると、
私が生成したものは、なんとなく色褪せている様に見えるのですよね。

そこで調べてみたところ、
どうやら「VAE」というものを入れる必要があるみたいです。



試しに、
オフショットのBlack Knighさんに入れてみた感じですと以下の様になりました。



左がデフォルトの「vae-ft-mse-840000-ema-pruned」右が「anything-v4.0」用のVAEです。
やはり専用だけあって「anything-v4.0.vae」の方が
彩度が落ち着いて良い感じになっている様に見えますね。




ちなみに「VAE」とはなんぞやといいますと、

「Variational AutoEncoder」略で、変分処理を入れたオートエンコーダの事だそうです。
入力データを潜在空間にエンコードし、再構築によって元のデータをデコードする際に
確率モデルの要素を導入することで、より表現力のあるモデルを構築できるのだとか。。。


　何を言ってるのか わからねーと思うが、俺も何をしているのか わからなかった…
　　　頭がどうにかなりそうだった…
　　　　　レベル補正だとか チャンネルミキサーだとか そんなチャチなもんじゃあ 断じてねえ…
　　　　　　　もっと恐ろしいものの片鱗を味わったぜ…


素人解釈ですが、
「AIがなんか良い感じにフィルタリングして画像を綺麗にしてくれる」的なものかと思います。
…違ったら御免なさい。
（専門家の人がいらっしゃれば教えて頂けると助かります）


あとは、
たまに出る青痣の様なノイズも除去してくれるみたいです。



これだけでもVAEは入れるに越したことは無さそうですね。





・・・ところで・・・





彩度が上がったせいで気付いたのですが、
Black Knighさん、左手の薬指に指輪しておりません？





・・・も、もしかして、
僕に内緒で、既婚者だったのですか！？


まさか、
こんなに早く「推しが結婚してしまいました」の洗礼を受ける事に成ろうとは…
絶望にも似た、喪失感と背徳感で胸がいっぱいです。


・・・そんな・・・
結婚して、子供までつくった、あの日々は何だったのですか！？（←妄想です）


いや、まてよ、
その理論からしたら、当然、既婚者ですし、お相手は私じゃないですかー
もう、焦らせないで下さいよー＾ｖ＾ゞ
（そのうち現実を直視するのをやめた）








さすが、Black Knighさん！
　　俺にできない事を平然とやってのけるッ
　　　　そこにシビれる!あこがれるゥ!












オマケで、
VAEで綺麗になったBlack Knighさんを貼っておきます。

















・・・冷静に考えると、これ、誰得なんですかね？


≫Next

Black Knighさんを探して

前回、
StableDiffusionにおける、Black Knight の概念とも言える謎のキャラ…

便宜上「Black Knighさん」と呼ばせて貰いますが、

プロンプトを(Black Knight:2.0)等、かなり強調しないと姿を現さないという性質上、
どうしても描画が崩れてしまっていました。




なんとかして、Black Knighさんの真の姿を、
いえ、そこまでいかなくても、何かしら近いものを生成出来ないものかと
様々な実験と検証を重ねた結果・・・




ついに…ここまでのクオリティで描画する事に成功致しました！







途中から「いかに可愛く描写するか」という方向性になっていた気がしなくも無いですが…


ちなみに、この画像のモデルは「AbyssOreandeMix3」を使用しております。
どうやら Black Knight さんは「anything-v4.0」以外のモデルでも確認出来る様でした。

実は、凄いメジャーキャラなのか…
…始祖の時代から学習されていた常連さんなのか…？
……謎は深まるばかりですね。



さて、そんなこんなで、
Black Knightさんの描画のコントロールがだいぶ出来る様になりましたので
とりあえず、腹筋を割ってみました。




色々と試した感じだと、
腹筋と鎧の共存が一番良い感じだったのは「Pastel-Mix」モデルですかね。






うん、良い感じですね。





あとは、メガネをかけさせてみたり・・・





Tシャツ着せてみたり・・・





着物を着せてみたり・・・





ロリータファッションをさせてみたり・・・





終いには、ウェディングドレスで俺の嫁気分を味合わせて頂きました。







ここから先は…、
…もう、お分かりですよね？




行くところまで、
　　　　行くしかない！









妊娠して、





子供が生まれて、





健やかに成長して、


（すごい、お母さん似ですね。。。）



腹筋が割れるところまで行きました！





そんな感じで、かなり、やりたい放題やってしまいましたが、
本当になんでも出来て凄いですね。

StableDiffusionがあれば、推しキャラとの甘い生活を妄想し放題です。

どこの誰かも分からないBlack Knighさんが
すっかり推しキャラになってしまった感じではありますが・・・

冷静に考えると、これ、
Black Knighさんの元となったキャラのファンに
怒られないか、不安になって来ました・・・

・・・まあ、母の日という事で許して下さい。。。






最近、娘が母親にはべったりなのに、私に対しては汚いものでも見るかの様な目で見てきます…
どうして思春期の娘は父親の事をあんなにも嫌ってくるのでしょうか？


≫Next

この人が誰か教えてください

↑この人が誰か教えてください！



前回、 StableDiffusionを使っていて気付いた事があるのですよね。

「anything-v4.0」モデルで、「Black Knight」を生成した場合、
普通に生成すると、その度に色々な黒騎士を描いてくれるのですが

「(Black Knight:2.0)」みたいな強調が高すぎる状態で生成すると、
まあ当然、描画は崩れる訳ですが、そんな中でも
なんとなく同じキャラを生成しようとしているように見えるのですよ。





これに気付いたとき、ゾクリとしました。
「Black Knight」といえばコイツだと、
StableDiffusionに認識されているキャラが居るという事ですよね。


「Saber」で生成すると「剣」ではなくて
フェイトの「セイバー」が生成されてしまう、あの現象という事でしょう。




さて、問題はここからです。
この「Black Knight」さんの学習先のキャラが誰なのか探してみたのですが
一向に見つかる気配が無いのですよね。。。

こんな感じなのでは？という想像図を描いて画像検索してみたものの、
それらしいキャラはヒットせず終いでした。

同じ黒騎士を名乗る身としては、なんと言いますか、
嫉妬とも、憧れともとれない感情がせめぎ合うので
元ネタを是非とも知りたいところです。

心当たりがあれば、教えて頂けると助かります。
宜しくお願い致します。


≫Next

Stable Diffusionを使ってみた感想

昨今、界隈を賑わせている画像精製AIですが、
様々なところでゲームチェンジを起こしてくれそうな感じなので
この波に乗り遅れない為にも、検証がてら Stable Diffusion を使ってみましたというお話です。


最初は、ネット経由で使えるオンライン版を触ってみたところ
あれ？こんなものか？という感じでしたが・・・

https://stablediffusionweb.com/




webuiと、モデル、等を色々と組み合わせたらだいぶ良い感じに生成出来る様になってきました。





生成にはプロンプトが大事だという話でしたが、
なるほど確かにプロンプト次第でいくらでも様相が変わってきますね。
特にネガティブプロンプト、これ次第で絵の質感がガラリと変わります。

代表的なものとしては

bad anatomy（悪い解剖学）
low quality（低品質）
bokeh（ボケ）
error（なんらかのエラー）

といったところでしょうか。
low quality（低品質）とか、そんな抽象的な事で良いのか？と思うところも
入れてみると全然ちがいますね。

bokeh（ボケ）は、通常プロンプトに入れると雰囲気のある背景になったりするので
場合によって入れ処を考える必要がありそうです。

個人的に一番影響が大きく感じたのは、bad anatomy（悪い解剖学）ですかね。
これを入れてしまうと、ホラー調の画像を生成するのは、かなり難しくなりそうです。



なるほど、プロンプトが売れるというのも頷けますね。


とはいえ、素人がちょっと触ったくらいでは
欲しいものが全然出来ずに、ヤキモキする感じでした。
絵が描ける人なら「自分で描いた方が早いわッ」と、なりそうです。

現状では、レイアウトの案を出したり、
素材として使えそうな物を生成する使い方が良いのかなと思います。





あとは、使っているモデルの影響でしょうか
なんだかんだで「カワイイ女の子」の生成が一番得意なイメージですかね。
人類からの需要が高いせいで、学習が捗っているのかも知れません。





腹筋の割れた美女も、生成し放題でウハウハです。





調子に乗って色々出していると、ふと我に返ったとき、
「これが自分の癖なのかぁ・・・」と、なんだか恥ずかしくなるので御注意下さい。。。


≫Next