SDtutorial2 のバックアップ(No.9)

私的AI研究会 > Diffusion > SDtutorial2

　画像生成 AI「Stable Diffusion」チュートリアル 2 応用編 †

　画像生成 AI「Stable Diffusion」の操作ガイドその２

▲　目　次

　画像生成 AI「Stable Diffusion」チュートリアル 2 応用編
参考資料
- 私的AI研究会: サイト内リンク

※ 最終更新:2025/03/16　

「Stable Diffusion web UI」には画像生成をより便利にする多くの拡張機能があります
拡張機能を活用することでよりイメージに近い画像生成が可能になります

↑

写真から「水彩画/油絵」を生成　～「ControlNet」を使う～ †

「ControlNet」について詳しくは → 「Stable Diffusion」拡張機能「ControlNet」

↑

事前準備 †

「ControlNet」をインストールします　（「reForge」では「ControlNet Integrated」がインストール済み作業は不要）

①「Extention」タブを選択
② URLを入力
```
  https://github.com/Mikubill/sd-webui-controlnet
```
③「Install」ボタンを押す（※ 時間を要する）
④「Installed」タブを選択
⑤ sd-webui-controlnet の表示を確認
⑥「Apply and restart」ボタンを押す（※ 時間を要する）

　再表示された画面に「ControlNet XXXX」パネルが追加されていることを確認します

ControlNetモデルのダウンロードして設置します
- comfyanonymous/ControlNet-v1-1_fp16_safetensors より必要なモデルをダウンロードします
  ファイル名『control_v11・・・』のファイル 15本（2025/03/02現在）

ダウンロードしたモデルを下記のフォルダへ移動します

Stable Diffusion インストール種別	設置するフォルダ
StabilityMatrix 環境下のパッケージ	StabilityMatrix/Data/models/ControlNet/
Stable Diffusion Web UI (Automatic1111)	stable-diffusion-webui/models/ControlNet/

↑

写真から「水彩画/油絵」を生成する †

もとになる写真

① ② ③

写真からプロンプトを考えて生成してみる

Prompt	① White-eye perched on a branch, watercolor painting（枝にとまるメジロ、水彩画）
	② Epiphyllum oxypetalum, watercolor painting（月下美人、水彩画）
	③ Plum blossom, watercolor painting（梅の花、水彩画）
Negative prompt
Parameter	Steps: 20, Sampler: DPM++ 2M, CFG scale: 7, 768x512 or 512x768, Clip skip: 1, Model: realisticVisionV60B1_v20Novae

①	②	③

「ControlNet」『Canny』を使って写真から水彩画を生成する

『Canny』の使い方
←
①「ControlNet XXXX」パネルを開く
② 元になる画像をドラッグ＆ドロップ（処理済み画像を入力することもできる）
③「ControlNet」機能を有効にする（緑のサインが表示される）
④ Canny または Depth を選択
⑤ Canny または Depth の表示を確認（②で処理済み画像を入力した場合は None にする）
⑥ Canny のモデルを確認（Control Type と一致させること）
　　control_v11p_sd15_canny_fp16

⑦ 処理を開始する（②で処理済み画像を入力した場合はパスする）

→
⑧ プロンプトを入力
⑨ ネガティブ・プロンプトを入力
⑩ Generate ボタンを押して生成開始
⑪ 生成画像が表示される

　結果画像　watercolor painting（水彩画）

Model Preprocessor realisticVisionV60B1
_v20Novae animePastelDream
_softBakedVae etherBluMix
_etherBluMix7 v1-5-pruned
-emaonly

①

②

③

　結果画像　oil painting（油絵）

Model Preprocessor realisticVisionV60B1
_v20Novae animePastelDream
_softBakedVae etherBluMix
_etherBluMix7 v1-5-pruned
-emaonly

①

②

③

参考 → 撮影した写真を水彩画にする

↑

写真からイメージに合った画像を生成　～「Tagger」「ADetailer」「openPose」を使う～ †

↑

STEP 1：「Tagger」でプロンプトを抽出 †

「Tagger」詳しくは → 画像からプロンプト推定

「Tagger」をインストールします
①「Extention」タブを選択
②「Available」タブを選択
③「Load form」ボタンを押す ④ 検索文字列「tagger」を入力
⑤ 表示されたるストから「WD1.4 Tagger tab,...」の欄の
⑥「Install」ボタンを押す（※ 時間を要する）

⑦「Installed」タブを選択
⑧ stable-diffusion-webui-webui-wd14-tagger の表示を確認
⑥「Apply and restart」ボタンを押す（※ 時間を要する）

　再表示された画面に「Tagger」タブが追加されていることを確認します
「Tagger」の使い方

①「Tagger」タブを選択
② プロンプトを生成したい画像をドラッグ＆ドロップ
　　画像例：→https://classy-online.jp/fashion/76097/

③「Interrogateimage」ボタンを押す ④ 生成したプロンプトが表示される
⑤ 「Sebd to txt2img」または「send to img2img」ボタンを押して送信する

プロンプト以外のパラメータを設定して生成します

Prompt	solo, pants, shoes, bag, white pants, shirt, jacket, white shirt, realistic, hand in pocket, sneakers, brown hair, white footwear, 1girl, outdoors, looking at viewer, full body, long hair, open mouth, blurry, photo background, standing, handbag, walking, open clothes, black jacket
Prompt	ソロ、パンツ、靴、バッグ、白いパンツ、シャツ、ジャケット、白いシャツ、リアル、ポケットに手、スニーカー、茶髪、白い履物、女の子 1 人、屋外、見る人を見る、全身、長い髪、口を開けている、ぼやけている、写真の背景、立っている、ハンドバッグ、歩いている、はだけた服、黒いジャケット
Negative prompt	illustration, 3d, sepia, (painting), cartoons, sketch, (worst quality:2), (backlight:1.2), bad anatomy, bad hands, double navel, collapsed eyeshadow, multiple eyebrows, freckles, signature, logo, 2faces,
Negative prompt	イラスト、3D、セピア、(絵画)、漫画、スケッチ、(最低品質:2)、(バックライト:1.2)、解剖学的に悪い、手が悪い、二重のへそ、崩れたアイシャドウ、複数の眉毛、そばかす、署名、ロゴ、2つの顔、
Parameter	Steps: 20, Sampler: DPM++ 2M, CFG scale: 7, 512x768, Clip skip: 1, Model: beautifulRealistic_brav5

Seed: 1694098719	Seed: 1321238946	Seed: 3880561839	Seed: 513110290

全身に近い画像を生成すると顔・手・指が小さく描かれるため荒くなったり崩れてしまったりします。人物の顔などはもともと複雑なパーツで構成されているので、わずかなスペースではAIが正確に生成することができないために、荒くて雑な出来上がりになってしまいます

↑

STEP 2：「ADetailer」で顔の崩れを修正します †

「ADetailer」詳しくは → 「Stable Diffusion」拡張機能 ADetailer

「ADetailer」をインストールします
①「Extention」タブを選択
②「Available」タブを選択
③「Load form」ボタンを押す ④ 検索文字列「Detailer」を入力
⑤ 表示されたるストから「ADetailer manipulations」の欄の
⑥「Install」ボタンを押す（※ 時間を要する）

⑦「Installed」タブを選択
⑧ stable-diffusion-webui-webui-wd14-tagger の表示を確認
⑥「adetailer」ボタンを押す（※ 時間を要する）

　再表示された画面に「ADetailer」パネルが追加されていることを確認します
「ADetailer」の設定
①「Setting」タブを押す
②「ADetailer」メニューを選択
③「Save mask previews」にチェックを入れる
　※ 修正前の画像を保存する場合

④「Apply setting」を押す
⑤「Reload UI」を押して再起動する

「ADetailer」で顔の崩れを修正します

ADetailer Seed: 1694098719 Seed: 1321238946 Seed: 3880561839 Seed: 513110290

OFF

ON

↑

STEP 3：「openPose」でポーズを変更します †

「openPose」詳しくは → ControlNet『OpenPose』

「ControlNet」の機能「openPose」を使用して画像を生成します

Pose Seed: 1694098719 Seed: 1321238946 Seed: 3880561839 Seed: 513110290

・参照画像のポースにしてみます

参照画像 Seed: 1694098719 Seed: 1321238946 Seed: 3880561839 Seed: 513110290