今更AIに落書きをいい感じの絵にしてもらう奴をやる

すでにある画像を基にAIに絵を作ってもらう奴（img2img）ですが、8月末のStable Diffusionが公開されて1週間後くらいに飛びついた割には自分で描いた絵をAIにアップグレードしてもらうやつはやった事がありませんでした。
だって絵が下手だから。

とはいえ一度くらいはやってみたいな～という気持ちがずっとあったので、今更ながらやってみました。

ちなみに、普段作ってるテキストからの絵（text2img）はこんな感じ

けもみみは趣味

下絵を作る

落書きをAIに渡すために絵を描きます。
絵心は無いので簡単な立ち絵にする。

AIは剣が苦手で特に大剣はt2iでは狙って出すのはほぼ無理なので、せっかくなら大剣を持たせたい。
服装はヒラヒラしたのは描ける気がしないので制服でいいか。

できたのがこれ

へ、へたくそ～～～
とはいえ絵を全く描かない自分が頑張ってねこみみが大きな剣を持っている絵を描いたことは伝わると思います。伝われ。

初めは上の画像をそのままi2iにかけて出力していたのですが、背景が白だとどうプロンプトを頑張っても白背景はそのまま出力されてしまいました。
雰囲気で背景っぽい色を塗ってみたりもしましたが、色の塗り方が下手くそ過ぎてAIが背景として認識せず変な色の背景のままとなってしまう。

なので背景もAIに作ってもらうことにしましょう。

これを最初の絵と合体する。

背景のクオリティとの差がひどい。

この画像を基にi2iしていくわけですが、今回使用するAUTOMATIC1111 / stable-diffusion-webuiにはパラメータとしてDenoising strengthというのがあり、これはざっくりAIがどこまで元の絵を保つかの値になります。
0.00～1.00の間で調整でき、0.8を越えたあたりからかなりのAI独自解釈が入ります。

今回はせっかく自分で絵を描いたので、構図があまり変わらない0.7で一度かけてみることにしました。
そして出力された画像がこれ。

いきなりクオリティ上げてきたな…

とはいえ一発でこれが出たわけではなく、比較的元の大剣を維持したまま出力された画像を選んでいます。

失敗例としては…

大剣の刃の部分をベッドと解釈されたり

謎の会話ダイアログと解釈されたりしました。
難しいね。

i2iを1度掛けただけで結構いい感じになりましたが、構図を元絵に寄せるためにDenoising strengthを抑えたので、もう一度この画像をi2iに掛けたいと思います。

その結果がこちら

ぱっと見はあまり変わらないけどスカートとか剣のデザインが大きく変わった。

剣の下の刃がちょっとぐにゃってしまっているけれど、デザインはこっちの方が好き。
ただ、AIあるあるの手が苦手を思う存分発揮しているので手が凄いことになっている。

これをさらにi2iのinpaintで修正ガチャをするのもいいけど、今後手の修正くらい自分でサクっと行いたい気持ちはあるので頑張って手動で修正。