1. 冒頭
1.1. 基本編をマスターすると、質の高い画像を生成できますが、それだと真似しかできません。
1.1.1. ですが、この応用編を学ぶと
1.1.1.1. 生成できる画像の幅がめちゃくちゃ広くなるので、確実に押さえておきましょう！
2. この章では色々なトピックについて話していますので、まずはこの章でお話する目次を紹介していきます
2.1. 1.ポーズを固定する方法
2.2. 2.同じキャラクターで、服装、髪型、表情、体型などを変える方法
2.3. 3.画像を高解像度にする方法
2.4. 4.細かい部分まで画像を描写する方法
2.5. 5.画像の一部を修正する方法
2.6. 6.背景を削除する方法
2.7. 7.背景を変更する方法
2.8. 8.画像を真似する方法
2.9. 9.中央以外に人物を配置する方法
2.10. それでは1つずつ解説していきます！
3. 本論
3.1. 1.ポーズを固定する方法
3.1.1. 冒頭
3.1.1.1. まずはポーズを固定化する方法ですね
3.1.1.1.1. stable diffusionで普通に画像を生成すると、ゆらぎがあります。
3.1.1.2. ですから、同じような画像を生成するのは難しいんですよね
3.1.1.2.1. どれだけプロンプトでポーズを指定していても、ポーズが変わってしまいます
3.1.1.3. でも、3章で導入した(control net)を使うと、ポーズを固定化できるようになります
3.1.1.4. 例えばこんな感じですね
3.1.1.4.1. 今回のポーズの元画像
3.1.1.4.2. 作成した画像
3.1.1.4.3. 今回はプロンプトで学校と指示をしたのですが、ポーズは忠実に再現できていますよね？
3.1.1.5. どうでしょうか？
3.1.1.5.1. この機能を使うとプロンプトで指示が難しいポーズの画像を一発で作成できるようになります。
3.1.1.5.2. これを応用すると、
3.1.1.5.3. ぜひこのポーズの固定の仕方を学んでいきましょう！
3.1.2. では、操作方法ですね
3.1.2.1. まずはポーズを真似する画像を準備しておきます
3.1.2.1.1. 今回はこちらの画像を利用します
3.1.2.2. 次にメニューの「txt2img」を選択ですね
3.1.2.3. 次はControlNetを選択し次のように調整
3.1.2.3.1. 有効化とPixel Perfectをチェック
3.1.2.3.2. ポーズを真似したい画像をドロップ
3.1.2.3.3. Control TypeのOpenPoseを選択
3.1.2.3.4. プリプロセッサでopenpose_fullを選択
3.1.2.3.5. モデルを「control_v11_sd15_open pose」を選択
3.1.2.3.6. この設定で、元画像のポーズを真似してくれます
3.1.2.4. 次はポーズ以外で欲しい画像の設定を変更していきます
3.1.2.4.1. 今回は実写の画像が欲しいので
3.1.2.4.2. プロンプトとネガティブプロンプトを設定
3.1.2.4.3. 生成をクリック
3.1.2.5. するとこのような画像を生成できました
3.1.2.5.1. 今回はシンプルだったので、顔や手の部分が一部おかしくなっていますが、
3.1.2.5.2. ポーズは守ってくれていますよね？
3.1.3. この方法を応用すると、
3.1.3.1. 1.欲しいポーズを自分で撮影し、
3.1.3.2. 2.その画像をControlnetに入れて、openposeで画像を生成する
3.1.3.3. こうすると欲しいポーズの画像を生成できるようになるので、
3.1.3.3.1. より欲しい画像が生成できるようになります
3.1.3.4. 確実にマスターしておきましょう！
3.2. 2.キャラクターや顔を固定して服装、髪型、表情、体型などを変える方法
3.2.1. 普通に画像を生成すると顔などが変わってしまいます。
3.2.2. でも、stable diffusionのある機能を使うと、簡単に髪型、服装、表情などを変えらます
3.2.3. それがreference_onlyです
3.2.3.1. この機能を使いこなすとこのような画像を生成できます
3.2.4. 画像生成例
3.2.4.1. 元のプロンプト
3.2.4.1.1. (8k, RAW photo, best quality, masterpiece:1.2), ultra detailed, ultra high res, (realistic, photo realistic:1.37), high detail RAW color photo, professional photograph, depth of field, bokeh, realistic shadow, dynamic lighting, portrait, HDR, SIGMA 85 mm F/1.4, ISO 200, 1/125 sec shutter, an extremely delicate and beautiful, extremely detailed, 8k wallpaper, Amazing, finely detail, huge file size, official art, extremely detailed CG unity 8k wallpaper, extremely detailed beautiful girl, extremely detailed face, extremely detailed eyes, extremely detailed skin, extremely detailed fingers, extremely detailed nose, extremely detailed mouth, perfect anatomy, highly detailed background, extremely detailed clothing, 1girl, (18 years old:1.2), teenage, cute girl, famous japanese idol, kawaii, realistic body, petite, fair skin, shiny skin, slender body, good figure, black hair, long straight hair, (blunt bangs:1.2), smile, cute, young, cute face, baby face, realistic face, beautifully detailed eyes, drooping eyes, beautiful big eyes, large dark eyes, beautiful and clear eyes, (white t shirt:1.2), black short pants, thigh, necklace, earrings, looking at viewer, cowboy shot, face the front, standing posture, contrapposto, outdoors, (night:1.2), neon city, neon light, neon sign, public, crowd, <lora:test_01:0.2>, <lora:test_02:0.1>, <lora:test_03:-1:1,0,0,0,0,0,0,0,1,1,1,1,1,1,1,1,1>,
3.2.4.1.2. 元画像
3.2.4.2. プロンプトをsweater
3.2.4.3. ブロンズのshort hair
3.2.4.4. smile
3.2.4.5. 胸を大きくする gigantic breasts, cleavage
3.2.4.6. どうでしょうか？
3.2.4.6.1. 同じ人物で服装や髪型などを変更できますよね？
3.2.4.6.2. この方法を理解すると、グラビアや写真集なども作成できるということです。
3.2.4.6.3. では続いて操作方法についてお話していきます
3.2.5. 操作方法
3.2.5.1. まず画像を3章で設定したtaggerに読み込ませる
3.2.5.1.1. メニューのタグ付け（Tagger）→ 画像をドラック
3.2.5.1.2. 出てきたプロンプトをtxt2imgに転送してください
3.2.5.2. メニューのtxt2imgを開く
3.2.5.3. controlnet を開き、元画像をドラッグ
3.2.5.4. Controltype→Reference
3.2.5.5. プリプロセッサーにReference_only
3.2.5.6. プロンプトで表情や服装、髪型を変更
3.2.5.7. 画像生成
3.2.6. するとさきほどの画像が生成できます
3.2.6.1. 画像生成例
3.2.6.1.1. 元のプロンプト
3.2.6.1.2. プロンプトをsweater
3.2.6.1.3. ブロンズのshort hair
3.2.6.1.4. smile
3.2.6.1.5. 胸を大きくする gigantic breasts, cleavage
3.2.6.1.6. どうでしょうか？
3.2.7. このReference_onlyの使い方もぜひマスターしておきましょう！
3.3. 3.画像を高解像度にする方法
3.3.1. 次は高解像度の画像の作り方ですね
3.3.2. この設定を使うと、クオリティの高い画像を生成できるようになります
3.3.3. 例えば今回の機能を使うとこのような違いがあります
3.3.3.1. 具体例
3.3.3.1.1. 元画像
3.3.3.1.2. 高画質化したもの
3.3.4. どうでしょうか？
3.3.4.1. 顔の部分をズームしてみると
3.3.4.2. ちなみにズームしてみると・・・
3.3.4.3. 結構違いますよね？
3.3.4.4. 高画質のものはより細かい部分まで詳細な画像となっているので、
3.3.4.4.1. よりクオリティが高い画像だと感じたはずです
3.3.5. 実はこの高画質化する方法には色々ありますが、今回は最も使いやすいものを１つだけ紹介していきます！
3.3.5.1. それが拡張機能のUltimate SD upscaleとControlnetのTileを活用する方法です
3.3.5.1.1. ちなみに「Ultimate SD upscale」は拡張機能で利用できるアップスケーラーで、「Controlnet tile」はイラストなどを高画質化する時に使える機能です。
3.3.6. ではこの拡張機能のダウンロードの仕方と使い方について解説していきます！
3.3.6.1. ControlnetのTileのダウンロードは4章でお話しているので、そちらを御覧ください。
3.3.6.2. それではUltimate SD upscaleをダウンロードする方法をお話していきます
3.3.6.2.1. ダウンロードの仕方はめちゃくちゃ簡単です
3.4. 4.細かい部分まで画像描写してほしい場合
3.4.1. 次は細かい部分まで描写してほしい方法ですね
3.4.1.1. これは特にイラスト系の画像を生成する際に使えるテクニックです。
3.4.1.2. このテクニックを使うと、画像の描き込み度がかなり変わってくるのでおすすめです
3.4.1.3. 例えばこんなかんじですね！
3.4.1.3.1. 今回はanything5を活用して画像を生成しました！
3.4.1.3.2. なし
3.4.1.3.3. あり
3.4.1.4. どうでしょうか？
3.4.1.4.1. 髪の毛の部分を見てもらえれば分かると思いますが、「あり」のほうがだいぶ細かく描かれていますよね？
3.4.1.4.2. イラストでこのような変更をする場合、かなり時間がかかってしまいますが、stable diffusionではある設定を追加するだけで簡単に修正できます
3.4.1.4.3. それが、Loraのadd detailだけです
3.4.1.4.4. このadd detailについては3章で導入の仕方をお話しているので、導入方法が知りたい方は3章をご覧ください
3.4.1.5. では、次は具体的な使い方について説明していきます
3.4.1.5.1. 1.stable diffusionを開く
3.4.1.5.2. 2.オレンジ色の生成画面の下の真ん中のボタンをクリック
3.4.1.5.3. 3.loraのメニューをクリック
3.4.1.5.4. 4.プロンプトの入力部分をクリックして、add_detailをクリック
3.4.1.5.5. 5.画像生成
3.4.1.5.6. これで細かい部分まで描きこむような画像が生成できます。
3.4.1.5.7. ちなみにこのLoraの設定は重み付けが変更できます
3.4.1.5.8. その数値の変化については次のとおりです！
3.4.1.5.9. だいぶ印象が変わったと思います
3.4.1.5.10. add_detailを活用すると細かいところまで描きこんだデザインを作成できますので、興味がある方はぜひ使ってみてください！
3.5. 5.画像の一部を修正したい場合
3.5.1. 次は画像の一部を修正する方法についてお話していきます
3.5.2. これもstable diffusionのある機能を使うと簡単にできます
3.5.3. その方法とは・・・
3.5.3.1. inpain機能です
3.5.4. え？inpainting機能？なにそれ？と思うかもしれませんよね・・・
3.5.5. inpainting機能とはざっくりいうと、画像の一部を簡単に修正できる機能
3.5.5.1. stable diffusionはランダムに画像を生成してしまいます
3.5.5.2. プロンプトや設定などを変えてしまうと、全く別の画像になってしまいますよね？
3.5.5.3. ですから、「この画像のこの部分だけを変更したいんだけどな・・・」ということに対応できません
3.5.6. ですがinpaitingを活用すると、出来上がった画像の一部だけを修正することができます
3.5.6.1. 例えば
3.5.6.1.1. 建物の一部
3.5.6.1.2. 服装や髪型、表情
3.5.6.1.3. 持っているものを変えたい場合
3.5.6.1.4. 手や顔だけおかしい場合
3.5.6.2. などもinpainting機能で修正できます
3.5.7. 今回はこの画像の服装を変更していきます
3.5.8. やり方は簡単
3.5.8.1. まずはこの画像をtaggerで分析してプロンプトを抜き出して、img2imgを送ってください
3.5.8.2. そのあとメニューの「img2img」を選択→ 「inpaint」機能を選択 →修正したい画像をドラック→修正したい部分を塗りつぶすようにしてください
3.5.8.2.1. 今回は服を塗りつぶしていきます！
3.5.8.3. プロンプトにsweaterと変更すると・・・
3.5.8.3.1. このようにセーターに変更できました
3.5.8.3.2. このinpait機能を活用できると、
3.5.8.3.3. 手だけを修正したり、足が変になっている部分を修正するなど
3.5.8.3.4. 簡単にその部分だけ修正できるようになります。
3.5.8.3.5. この機能はめちゃくちゃ使いますので、
3.5.8.3.6. ぜひ押さえておきましょう！
3.6. 6.背景を削除
3.6.1. 次は背景を削除する方法ですね！
3.6.1.1. キャラクターや人物だけを切り抜きたい場合もstable diffusionの「ABG-Extension」の拡張機能を活用すると楽です
3.6.2. これのすごいところはstable diffusionで画像を生成すると当時に
3.6.2.1. 人物の切り抜きとマスクが同時に作成できるということです
3.6.2.2. 例えばこの機能を使うと、実写系ならこのような感じで切り抜きできます
3.6.2.2.1. 元画像
3.6.2.2.2. 人の切り抜き
3.6.2.2.3. マスク
3.6.2.2.4. どうでしょうか？
3.6.2.3. またイラスト系も背景の切り抜きが簡単にできます
3.6.2.3.1. 元画像
3.6.2.3.2. 人の切り抜き
3.6.2.3.3. マスク
3.6.2.3.4. どうでしょうか？
3.6.2.3.5. この人物の切り抜きは手動でやればかなり時間がかかってしまいますが、stable diffusionを活用するとかなり簡単にできます。
3.6.2.4. 操作方法もめちゃくちゃ簡単です
3.6.2.4.1. 画像を生成する時に下のスクリプトを選択 → ABG Removerを選択するだけですね
3.6.2.5. これを応用するとキャラクターの画像を切り抜いたり、次でお話する「背景の変更」も簡単にできるのでぜひ押さえておきましょう！
3.7. 7.背景を変更
3.7.1. 次は背景の差し替えですね
3.7.1.1. さきほど紹介した背景を削除して、人物を切り抜く方法を応用すると、背景を簡単に差し替えることができます
3.7.2. やり方もめちゃくちゃ簡単です
3.7.2.1. 0.人を切り抜いている画像とマスク、背景をtaggerで分析したプロンプトを準備しておく
3.7.2.1.1. 使いたい背景がある場合はtaggerで分析しておく
3.7.2.1.2. 今回の背景
3.7.2.1.3. 今回の人の画像
3.7.2.2. 1.メニュー「img2img」を開く→タブ「inpaint upload」
3.7.2.3. 2.上に人物の画像、下にマスクをドラック画像をドラック
3.7.2.4. 3.設定の調整
3.7.2.4.1. マスクの方式（mask mode）→マスクの範囲以外をinpaintに設定
3.7.2.4.2. inpaintを行う領域
3.7.2.4.3. 画像のサイズはキャラクターの画像のサイズと同じにしてください
3.7.2.5. 4.背景の設定の調整
3.7.2.5.1. 背景画像がある場合はControlnetで次のように設定
3.7.2.5.2. 背景画像がない場合はTaggerで分析した内容をプロンプトに貼り付け
3.7.2.6. 5.プロンプトなどを調整して生成
3.7.2.6.1. taggerで分析したプロンプトを入力する
3.7.2.6.2. モデルを選択
3.7.2.6.3. 生成ボタンをクリック
3.7.2.7. 今回作成したのはこれ
3.7.2.7.1. 背景画像をControlnetで設定
3.7.2.7.2. プロンプトで指示をした場合
3.7.2.7.3. 今回は人物のポーズが特殊だったので違和感がありまくりですが、
3.7.2.7.4. 背景画像も自由自在に変更できることがわかりましたよね？
3.7.2.7.5. この方法を応用すると写真集なども簡単にできるようになります
3.7.3. 背景を自由自在に変更できると、生成できる画像の幅も広くなりますので確実にマスターしておきましょう！
3.8. 8.画像を真似する方法
3.8.1. あなたは画像を生成するために色々な人の画像のリサーチをして、
3.8.1.1. この画像のこの部分を真似したい
3.8.1.2. この画像のこの雰囲気を真似したい
3.8.1.3. なんてこと思ったことありませんか？
3.8.2. そんな時におすすめなのがTaggerです
3.8.2.1. ちなみにこのtaggerの導入方法は3章でお話していますので、導入していない人は3章を御覧くださいませ！
3.8.3. このTaggerは画像からプロンプトを学習できるもの
3.8.3.1. 例えばこのキャラの服装を使いたいけど、この服の名前が分からない
3.8.3.2. この画像のこのシチュエーションを真似したい
3.8.3.3. という時に利用できます
3.8.4. このような画像が欲しい場合・・・
3.8.4.1. taggerを利用すると・・・
3.8.4.2. この画像のプロンプトを次のように抽出してくれます
3.8.4.2.1. この服装は青い着物、花柄、帯と入リュクしたらいいんだな・・・
3.8.4.2.2. 1girl, solo, japanese clothes, brown hair, smile, kimono, sash, looking at viewer, obi, blue kimono, grin, ponytail, upper body, brown eyes, floral print, signature, realistic, hand up
3.8.4.2.3. 日本語約すると・・・
3.8.4.2.4. 例えばこの着物だけを真似したい場合は
3.8.4.3. このようにtaggerを活用すると、画像を色々と分析できるようになりますので、ぜひ使ってみてください
3.8.5. 次は Taggerの使い方です
3.8.5.1. まずメニューの「Tagger」を選択してください
3.8.5.2. 次に分析したい画像をドロップして、インタロゲート（Interrogate）を選択してください
3.8.5.3. するとプロンプトを作成してくれています
3.8.5.4. txt2imgに転送すると、分析したテキストを英訳して、修正すれば画像が完成します
3.8.5.5. 例えば・・
3.8.5.5.1. Ghostmixの画像を分析すると・・・
3.8.5.5.2. 分析したプロンプト
3.8.5.5.3. 分析したプロンプトを日本語訳すると・・・
3.8.5.5.4. ですから、このプロンプトを真似すれば、似た画像を生成できる
3.8.5.5.5. このようにTaggerを利用すると、プロンプト研究がめちゃくちゃはかどりますので、ぜひ使ってみてください
3.8.5.5.6. それでは続いて参りましょう！
3.9. 9.中央以外に人物を配置する方法
3.9.1. オープニング
3.9.1.1. 次はキャラクターを中央以外に配置する方法ですね
3.9.1.2. stable diffusionを活用すると、基本的には真ん中に人物が配置されます
3.9.1.3. でもYouTubeのサムネイルや広告などで使う場合は、かなり使いづらいですよね・・・
3.9.1.4. ですが、今回お話している方法を使うと、中央以外に人物を配置することができます
3.9.2. 具体的な方法は次の通り
3.9.2.1. 1.欲しいキャラクターの背景を切り抜いた画像を生成しておきましょう
3.9.2.1.1. 今回はこの画像
3.9.2.1.2. どのモデルを使ったのか覚えておきましょう！
3.9.2.1.3. 今回は majicmix realistic を活用していきます。
3.9.2.2. 2.canva等で欲しい画像のサイズを選択
3.9.2.2.1. 今回はYouTubeのサムネイルのサイズにしていきます
3.9.2.3. 3.2の画像に2の背景を削除した画像を貼り付けて、色を塗る
3.9.2.3.1. ここで色を塗らないと反映しないので注意
3.9.2.3.2. 今回は右側に人を配置してみます
3.9.2.4. 4.作成した画像をTaggerで分析し、プロンプトをimg2imgに送付
3.9.2.5. 5.img2imgを開き、モデルやプロンプトや画像のサイズ、を修正して画像生成です
3.9.2.5.1. プロンプトはキャラクターを作成したときのモデルを利用
3.9.2.5.2. 上記の方法では若干人物が変わるので、同じキャラクター出したい場合はControlnet のReference onlyを活用するようにしましょう！
3.9.2.6. 作成した画像
3.9.2.6.1. The background is in the car
3.9.2.6.2. The background is sea
3.9.2.6.3. The background is the townscape
3.9.2.7. どうでしょうか？
3.9.2.7.1. 右側に配置をして画像を生成できます
3.9.2.8. これを応用すると、色々な使い方ができますので、マスターしておきましょう！
4. まとめ
4.1. というわけで6章では画像生成の応用編として、様々なテクニックを紹介してきました。
4.2. 今回のテクニックをマスターできると、
4.2.1. 生成できる画像の幅が一気に広がりますし
4.2.2. クオリティも一気に高くなりますので
4.2.3. 何度も見て、stable diffusionの使い方をマスターしておきましょう！