AI_Program3 のバックアップ(No.6)

  [ トップ ]   [ 一覧 | 検索 | 履歴 | ログイン ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• AI_Program3 へ行く。
  • 1 (2025-07-05 (土) 12:04:28)
  • 2 (2025-07-05 (土) 12:10:54)
  • 3 (2025-07-07 (月) 19:40:45)
  • 4 (2025-07-08 (火) 06:03:14)
  • 5 (2025-07-08 (火) 11:47:32)
  • 6 (2025-07-08 (火) 15:19:09)
  • 7 (2025-07-08 (火) 19:12:04)
  • 8 (2025-07-09 (水) 14:09:54)
  • 9 (2025-07-09 (水) 16:36:12)
  • 10 (2025-07-09 (水) 19:49:45)
  • 11 (2025-07-10 (木) 04:29:10)
  • 12 (2025-07-10 (木) 16:57:35)
  • 13 (2025-07-11 (金) 07:00:07)
  • 14 (2025-07-11 (金) 08:22:27)
  • 15 (2025-07-12 (土) 05:16:04)
  • 16 (2025-07-15 (火) 07:10:29)
  • 17 (2025-07-15 (火) 08:51:59)
  • 18 (2025-07-15 (火) 11:57:20)
  • 19 (2025-07-16 (水) 06:04:31)
  • 20 (2025-07-16 (水) 17:06:33)
  • 21 (2025-07-20 (日) 19:37:21)

---

私的AI研究会 > AI_Program3

生成 AI プログラミング３ == 編集中 == †

　これまで検証してきた結果をもとに、Python で生成 AI プログラムを書く

diffusersではじめめる Stable Diffusion （応用編２） †

　参考サイト：instruct-pix2pixで画像を指示した通り変更したり

概要 †

• この章で作成するプログラム一覧と実行速度の目安
  

  Step		プログラム	GPU					CPU
  			RTX 4070Ti	RTX 4060	RTX 4060L	RTX 3050	GTX 1050	i7-1260P
  40	「instruct-pix2pix」で画像を変換	sd_040.py	00:03		00:08
  		sd_040a.py	00:08		00:31
  41	image_guidance_scale パラメータによる変化	sd_041.py	00:12		00:24
  		sd_041a.py	00:42		02:00
  42	「controlnet instruct-pix2pix」で画像を変換	sd_042.py	00:02		00:14
  43	パラメータによる変化	sd_043.py	00:06		00:24

  　・ 単位　（時：）分：秒
  　× CPU では動作不可
  

• instruct-pix2pix と controlnet instruct-pix2pix の違い
  

  名称	機能	処理内容	プロンプトの書き方	モデルの場所
  instruct-pix2pix	元画像をから新しい画像を作る	指示された内容との関係がある部分だけ変えられる	「これに変えたい」と書く	【SD1.5】instruct-pix2pix
  				【SDXL】sdxl-instructpix2pix-768
  controlnet instruct-pix2pix	元画像を改造する	元画像全体を変えられる	欲しい結果画像の姿を描写する	【SD1.5】control_v11e_sd15_ip2p

  ・「instruct-pix2pix」は SD1.5/SDXL それぞれ専用のモデルで動作する
  ・「controlnet instruct-pix2pix」の場合は コントロールネットのモデルとベース・モデルが必要
  

動作環境 †

• このプロジェクトは以下の Anaconda 仮想環境とプロジェクト・フォルダで動作する
  

  (base) PS > conda activate sd_test
  (sd_test) PS > cd workspace_3/sd_test

Step 40：「instruct-pix2pix」で画像を変換する †

　　SD1.5 版　　「雪の中の場面にする」

1. 「sd_040.py」　　元になる画像（右） sd_040_test.png　生成画像（左） image_040.png →
   
   
   

   ## sd_040.py【SD1.5】　画像から画像生成（instruct-pix2pix）サンプル・ソースコード
   ##      https://qiita.com/phyblas/items/28c342740c2ed00250b8
   ##      Model: https://huggingface.co/timbrooks/instruct-pix2pix
   ##      Ver. 0.00   2025/07/05
   
   import torch
   from PIL import Image
   from diffusers import StableDiffusionInstructPix2PixPipeline, logging
   from translate import Translator
   
   logging.set_verbosity_error()
   
   # フォルダーのパス
   model_path = "timbrooks/instruct-pix2pix"                       # モデル
   image_path = "images/sd_040_test.png"                           # 元画像
   
   # GPUを使う場合は"cuda" 使わない場合は"cpu"
   device = 'cuda' if torch.cuda.is_available() else 'cpu'
   
   # seed 値
   seed = 0
   
   # パイプラインを作成
   if device == 'cpu':
       pipeline = StableDiffusionInstructPix2PixPipeline.from_pretrained(model_path).to(device)
   else:
       pipeline = StableDiffusionInstructPix2PixPipeline.from_pretrained(
                       model_path,
                       torch_dtype = torch.float16,
                       ).to(device)
   
   # プロンプト
   trans = Translator('en','ja').translate
   prompt_jp = '雪の中の場面にする'                                # プロンプト
   prompt = trans(prompt_jp)
   src_image = Image.open(image_path)
   
   # Generatorオブジェクト作成
   generator = torch.Generator(device).manual_seed(seed)
   
   print(f'Seed: {seed}, Model: {model_path}')
   print(f'source_image: {image_path}')
   print(f'prompt : {prompt_jp} → {prompt}')
   
   # 画像を生成
   image = pipeline(
                       prompt = prompt,
                       image = src_image,
                       num_inference_steps = 20,
                       image_guidance_scale = 1.5,
                       generator = generator
                       ).images[0]
   
   image.save("results/image_040.png")                            # 生成画像

2. プログラムを実行する（実行時間：約 3秒 RTX 4070 Ti 12GB）
   

   (sd_test) PS > python sd_040.py
   Loading pipeline components...: 100%|████████████| 7/7 [00:02<00:00,  2.48it/s]
   Seed: 0, Model: timbrooks/instruct-pix2pix
   source_image: images/sd_040_test.png
   prompt : 雪の中の場面にする → Make it a scene in the snow
   100%|██████████████████████████████████████████| 20/20 [00:01<00:00, 16.78it/s]

3. 画像ファイル「image_040.png」が生成される
   

　　SDXL 版　　「雪の中の場面にする」

1. 「sd_040a.py」　　元になる画像は同じ sd_040_test.png　生成画像（左） image_040a.png →
   
   

   ## sd_040a.py【SDXL】　画像から画像生成（instruct-pix2pix）サンプル・ソースコード
   ##      https://qiita.com/phyblas/items/28c342740c2ed00250b8
   ##      Model: https://huggingface.co/timbrooks/instruct-pix2pix
   ##      Ver. 0.00   2025/07/07
   
   import torch
   from PIL import Image
   from diffusers import StableDiffusionXLInstructPix2PixPipeline, logging
   from translate import Translator
   
   logging.set_verbosity_error()
   
   # フォルダーのパス
   model_path = "diffusers/sdxl-instructpix2pix-768"              # モデル
   image_path = "images/sd_040_test.png"                          # 元画像
   
   # GPUを使う場合は"cuda" 使わない場合は"cpu"
   device = 'cuda' if torch.cuda.is_available() else 'cpu'
   
   # seed 値
   seed = 0
   
   # 画像サイズ
   resolution = 768
   
   # パイプラインを作成
   pipeline = StableDiffusionXLInstructPix2PixPipeline.from_pretrained(
                       model_path,
                       torch_dtype = torch.float16,
                       ).to(device)
   
   # プロンプト
   trans = Translator('en','ja').translate
   prompt_jp = '雪の中の場面にする'                                # プロンプト
   prompt = trans(prompt_jp)
   #src_image = Image.open(image_path)
   
   from diffusers.utils import load_image
   src_image = load_image(image_path).resize((resolution, resolution))
   
   # Generatorオブジェクト作成
   generator = torch.Generator(device).manual_seed(seed)
   
   print(f'Seed: {seed}, Model: {model_path}')
   print(f'source_image: {image_path}')
   print(f'prompt : {prompt_jp} → {prompt}')
   
   # 画像を生成
   image = pipeline(
                       prompt = prompt,
                       image = src_image,
                       height = resolution,
                       width = resolution,
                       guidance_scale=3.0,
                       image_guidance_scale = 1.5,
                       num_inference_steps = 20,
                       generator = generator
                       ).images[0]
   
   image.save("results/image_040a.png")                            # 生成画像

2. プログラムを実行する（実行時間：約 8秒 RTX 4070 Ti 12GB）
   

   (sd_test) PS > python sd_040a.py
   Loading pipeline components...: 100%|████████████| 7/7 [00:05<00:00,  1.38it/s]
   Seed: 0, Model: diffusers/sdxl-instructpix2pix-768
   source_image: images/sd_040_test.png
   prompt : 雪の中の場面にする → Make it a scene in the snow
   100%|██████████████████████████████████████████| 20/20 [00:03<00:00,  5.30it/s]

3. 画像ファイル「image_040a.png」が生成される
   

• SD1.5 / SDXL モデルによる生成画像の比較
  

  プロンプト	雪の中の場面にする	春の場面にする	夏の場面にする	秋の場面にする	冬の場面にする
  SD1.5
  SDXL

• SD1.5 / SDXL モデル パイプラインを作成するオブジェクトの違い
  

  モデルの種類	基本画像サイズ	パイプライン作成オブジェクト
  SD1.5	512x512	StableDiffusionInstructPix2PixPipeline
  SDXL	768x768	StableDiffusionXLInstructPix2PixPipeline

• SDXL版留意点
  ・元画像のイメージオブジェクトは PILイメージとは異なるようで、サンプルコードにある diffusers.utils.load_image() で作成
  ・生成サイズは 768x768 固定のようでこのサイズにリサイズしたものを元画像とする
  

Step 41：「instruct-pix2pix」image_guidance_scale パラメータによる変化をみる †

• image_guidance_scale
  ・画像をどれくらい変えるかを決めるパラメータ
  ・1 以上を設定（初期値：1.5）
  

　　SD1.5 版　

1. プログラムを実行する（実行時間：約 12秒 RTX 4070 Ti 12GB）
   
   
   

   (sd_test) PS > python sd_041.py
   Seed: 12345678, Model: timbrooks/instruct-pix2pix
   source_image: images/sd_040_test.png
   prompt : 雪の中の場面にする → Make it a scene in the snow
   ** image_guidance_scale 1.0 ～ 1.5 **
   Loading pipeline components...: 100%|████████████| 7/7 [00:01<00:00,  5.17it/s]
   100%|██████████████████████████████████████████| 20/20 [00:01<00:00, 17.95it/s]
   Loading pipeline components...: 100%|████████████| 7/7 [00:01<00:00,  5.85it/s]
   100%|██████████████████████████████████████████| 20/20 [00:01<00:00, 18.39it/s]
   Loading pipeline components...: 100%|████████████| 7/7 [00:01<00:00,  6.01it/s]
   100%|██████████████████████████████████████████| 20/20 [00:01<00:00, 17.88it/s]
   Loading pipeline components...: 100%|████████████| 7/7 [00:01<00:00,  5.57it/s]
   100%|██████████████████████████████████████████| 20/20 [00:01<00:00, 18.38it/s]
   Loading pipeline components...: 100%|████████████| 7/7 [00:01<00:00,  6.14it/s]
   100%|██████████████████████████████████████████| 20/20 [00:01<00:00, 18.45it/s]
   Loading pipeline components...: 100%|████████████| 7/7 [00:01<00:00,  6.13it/s]
   100%|██████████████████████████████████████████| 20/20 [00:01<00:00, 18.44it/s]

2. 画像ファイル「image_041.png」が生成される
   
   
   
3. モジュール・ソースコード
   
   ▼「sd_041.py」
   ▲「sd_041.py」

   ## sd_041.py【SD1.5】　画像から画像生成（instruct-pix2pix）サンプル・ソースコード
   ## === イメージ・ガイダンススケールを調べる ===
   ##      https://qiita.com/phyblas/items/28c342740c2ed00250b8
   ##      Model: https://huggingface.co/timbrooks/instruct-pix2pix
   ##      Ver. 0.00   2025/07/05
   
   import torch
   from PIL import Image
   from diffusers import StableDiffusionInstructPix2PixPipeline, logging
   from translate import Translator
   import matplotlib.pyplot as plt
   
   logging.set_verbosity_error()
   
   # 画像生成
   def image_generation(ig_scale):
       # パイプラインを作成
       if device == 'cpu':
           pipeline = StableDiffusionInstructPix2PixPipeline.from_pretrained(model_path).to(device)
       else:
           pipeline = StableDiffusionInstructPix2PixPipeline.from_pretrained(
                       model_path,
                       torch_dtype = torch.float16,
                       ).to(device)
   
       # Generatorオブジェクト作成
       generator = torch.Generator(device).manual_seed(seed)
   
       # 画像を生成
       img = pipeline(
                       prompt = prompt,
                       image = src_image,
                       num_inference_steps = 20,
                       image_guidance_scale = ig_scale,
                       generator = generator
                       ).images[0]
       return img
   
   # フォルダーのパス
   model_path = "timbrooks/instruct-pix2pix"                      # モデル
   image_path = "images/sd_040_test.png"                          # 元画像
   
   # GPUを使う場合は"cuda" 使わない場合は"cpu"
   device = 'cuda' if torch.cuda.is_available() else 'cpu'
   
   # seed 値
   seed = 12345678
   
   # プロンプト
   trans = Translator('en','ja').translate
   prompt_jp = '雪の中の場面にする'                               # プロンプト
   prompt = trans(prompt_jp)
   src_image = Image.open(image_path)
   
   print(f'Seed: {seed}, Model: {model_path}')
   print(f'source_image: {image_path}')
   print(f'prompt : {prompt_jp} → {prompt}')
   print('** image_guidance_scale 1.0 ～ 1.5 **')
   
   
   # 複数画像を生成
   plt.figure(figsize=[6, 9.5], dpi = 100)
   for i in range(6):
       ig_scale = 1 + 0.1 * i
       img = image_generation(ig_scale)
       plt.subplot(3, 2, i + 1, title = 'image_guidance_scale = %.1f'%ig_scale)
       plt.imshow(img)
       plt.axis('off')
   
       # メモリー開放
       if device == 'cuda':
           torch.cuda.empty_cache()
       elif device == 'mps':
           torch.mps.empty_cache()
   
   plt.tight_layout()
   plt.savefig('results/image_041.png')
   plt.close()

　　SDXL 版　

1. プログラムを実行する（実行時間：約 42秒 RTX 4070 Ti 12GB）
   
   
   

   (sd_test) PS > python sd_041a.py
   Seed: 0, Model: diffusers/sdxl-instructpix2pix-768
   source_image: images/sd_040_test.png
   prompt : 雪の中の場面にする → Make it a scene in the snow
   ** image_guidance_scale 1.0 ～ 1.5 **
   Loading pipeline components...: 100%|████████████| 7/7 [00:02<00:00,  2.95it/s]
   100%|██████████████████████████████████████████| 30/30 [00:05<00:00,  5.40it/s]
   Loading pipeline components...: 100%|████████████| 7/7 [00:02<00:00,  3.10it/s]
   100%|██████████████████████████████████████████| 30/30 [00:05<00:00,  5.41it/s]
   Loading pipeline components...: 100%|████████████| 7/7 [00:02<00:00,  2.97it/s]
   100%|██████████████████████████████████████████| 30/30 [00:05<00:00,  5.40it/s]
   Loading pipeline components...: 100%|████████████| 7/7 [00:02<00:00,  3.10it/s]
   100%|██████████████████████████████████████████| 30/30 [00:05<00:00,  5.41it/s]
   Loading pipeline components...: 100%|████████████| 7/7 [00:02<00:00,  3.00it/s]
   100%|██████████████████████████████████████████| 30/30 [00:05<00:00,  5.38it/s]
   Loading pipeline components...: 100%|████████████| 7/7 [00:02<00:00,  3.09it/s]
   100%|██████████████████████████████████████████| 30/30 [00:05<00:00,  5.39it/s]

2. 画像ファイル「image_041a.png」が生成される
   
   
   
3. モジュール・ソースコード
   
   ▼「sd_041a.py」
   ▲「sd_041a.py」

   ## sd_041a.py【SDXL】　画像から画像生成（instruct-pix2pix）サンプル・ソースコード
   ## === イメージ・ガイダンススケールを調べる ===
   ##      https://qiita.com/phyblas/items/28c342740c2ed00250b8
   ##      Model: https://huggingface.co/timbrooks/instruct-pix2pix
   ##      Ver. 0.00   2025/07/07
   
   import torch
   from PIL import Image
   from diffusers import StableDiffusionXLInstructPix2PixPipeline, logging
   from translate import Translator
   from diffusers.utils import load_image
   import matplotlib.pyplot as plt
   
   logging.set_verbosity_error()
   
   # 画像生成
   def image_generation(ig_scale):
       # パイプラインを作成
       pipeline = StableDiffusionXLInstructPix2PixPipeline.from_pretrained(
                       model_path,
                       torch_dtype = torch.float16,
                       ).to(device)
   
       # Generatorオブジェクト作成
       generator = torch.Generator(device).manual_seed(seed)
   
       # 画像を生成
       img = pipeline(
                       prompt = prompt,
                       image = src_image,
                       height = resolution,
                       width = resolution,
                       guidance_scale=3.0,
                       image_guidance_scale = ig_scale,
                       num_inference_steps = 30,
                       generator = generator
                       ).images[0]
       return img
   
   # フォルダーのパス
   model_path = "diffusers/sdxl-instructpix2pix-768"               # モデル
   image_path = "images/sd_040_test.png"                           # 元画像
   
   # GPUを使う場合は"cuda" 使わない場合は"cpu"
   device = 'cuda' if torch.cuda.is_available() else 'cpu'
   
   # seed 値
   seed = 12345678
   seed = 0
   
   # 画像サイズ
   resolution = 768
   
   # プロンプト
   trans = Translator('en','ja').translate
   prompt_jp = '雪の中の場面にする'                                # プロンプト
   prompt = trans(prompt_jp)
   src_image = load_image(image_path).resize((resolution, resolution))
   
   print(f'Seed: {seed}, Model: {model_path}')
   print(f'source_image: {image_path}')
   print(f'prompt : {prompt_jp} → {prompt}')
   print('** image_guidance_scale 1.0 ～ 1.5 **')
   
   
   # 複数画像を生成
   plt.figure(figsize=[6, 9.5], dpi = 100)
   for i in range(6):
       ig_scale = 1.0 + 0.1 * i
       img = image_generation(ig_scale)
       plt.subplot(3, 2, i + 1, title = 'image_guidance_scale = %.1f'%ig_scale)
       plt.imshow(img)
       plt.axis('off')
   
       # メモリー開放
       if device == 'cuda':
           torch.cuda.empty_cache()
       elif device == 'mps':
           torch.mps.empty_cache()
   
   plt.tight_layout()
   plt.savefig('results/image_041a.png')
   plt.close()

Step 42：「controlnet instruct-pix2pix」で画像を変換する †

　　SD1.5 版　　「浜辺の場面にする」

1. 「sd_042.py」　　元になる画像（右） sd_040_test.png　生成画像（左） image_040.png →
   
   
   

   ## sd_042.py【SD1.5】　画像から画像生成（controlnet instruct-pix2pix）サンプル・ソースコード
   ##      https://qiita.com/phyblas/items/28c342740c2ed00250b8
   ##      Ver. 0.00   2025/07/07
   ##
   ##      command:    python sd_042.py [プロンプト]
   ##
   ##       プロンプト     '浜辺の場面にする'  （デフォールト）
   ##                      '雪の中の場面にする'
   ##                      '炎の中の場面にする'
   ##                      '森の中の場面にする'
   ##                      '山中の場面にする'
   ##                      '砂漠の場面にする'
   ##                      '着物姿に着替える'
   ##
   ##                      'イラスト画像にする'
   ##                      'アニメ画像にする'
   ##                      '微笑んだ顔のアニメ画像にする'
   ##                      '泣き顔のアニメ画像にする'
   ##                      '嬉しそうな顔のアニメ画像にする'
   ##
   ##      model:          control_v11e_sd15_ip2p_fp16.safetensors
   ##      base model:     beautifulRealistic_brav5.safetensors        （リアル系）
   ##                      animePastelDream_softBakedVae.safetensors   （イラスト系）
   
   import torch
   from PIL import Image
   from diffusers import StableDiffusionControlNetPipeline, ControlNetModel, EulerAncestralDiscreteScheduler, logging
   from translate import Translator
   import sys
   
   logging.set_verbosity_error()
   
   # フォルダーのパス
   model_path = '/StabilityMatrix/Data/Models/ControlNet/control_v11e_sd15_ip2p_fp16.safetensors'              # コントロールネット・モデル
   model_base_path = '/StabilityMatrix/Data/Models/StableDiffusion/SD1.5/beautifulRealistic_brav5.safetensors' # ベースモデル
   #model_base_path = '/StabilityMatrix/Data/Models/StableDiffusion/SD1.5/animePastelDream_softBakedVae.safetensors' # ベースモデル
   image_path = "images/sd_040_test.png"                           # 元画像
   
   # GPUを使う場合は"cuda" 使わない場合は"cpu"
   device = 'cuda' if torch.cuda.is_available() else 'cpu'
   
   # seed 値
   seed = 12345678
   
   # パイプラインを作成
   if device == 'cpu':
       controlnet = ControlNetModel.from_single_file(model_path).to(device)
       pipeline = StableDiffusionControlNetPipeline.from_single_file(model_base_path).to(device)
   else:
       controlnet = ControlNetModel.from_single_file(model_path, torch_dtype=torch.float16).to(device)
       pipeline = StableDiffusionControlNetPipeline.from_single_file(
                       model_base_path,
                       controlnet=controlnet,
                       torch_dtype = torch.float16,
                       ).to(device)
   
   # スケジューラー
   pipeline.scheduler = EulerAncestralDiscreteScheduler.from_config(pipeline.scheduler.config)
   
   # プロンプト
   trans = Translator('en','ja').translate
   args = sys.argv
   prompt_jp = '浜辺の場面にする' if len(args) <= 1 else args[1]    # プロンプト
   prompt = trans(prompt_jp)
   src_image = Image.open(image_path)
   
   # Generatorオブジェクト作成
   generator = torch.Generator(device).manual_seed(seed)
   
   print(f'Seed: {seed}, Model: {model_path}')
   print(f'base Model: {model_base_path}')
   print(f'source_image: {image_path}')
   print(f'prompt : {prompt_jp} → {prompt}')
   
   # 画像を生成
   image = pipeline(
                       prompt = prompt,
                       image = src_image,
                       num_inference_steps = 25,
                       generator = generator
                       ).images[0]
   
   image.save("results/image_042.png")                             # 生成画像

2. プログラムを実行する（実行時間：約 2秒 RTX 4070 Ti 12GB）
   

   (sd_test) PS > python sd_042.py
   Fetching 11 files: 100%|███████████████████████████████| 11/11 [00:00<?, ?it/s]
   Loading pipeline components...: 100%|████████████| 6/6 [00:00<00:00, 14.80it/s]
   Seed: 12345678, Model: /StabilityMatrix/Data/Models/ControlNet/control_v11e_sd15_ip2p_fp16.safetensors
   base Model: /StabilityMatrix/Data/Models/StableDiffusion/SD1.5/beautifulRealistic_brav5.safetensors
   source_image: images/sd_040_test.png
   prompt : 浜辺の場面にする → Set the scene on the beach
   100%|██████████████████████████████████████████| 25/25 [00:02<00:00,  9.98it/s]

3. 画像ファイル「image_042.png」が生成される
   
   
   
4. プロンプトを変えて生成する
   ・「python sd_042.py ['プロンプト']」
   

   (sd_test) PS > python sd_042.py '雪の中の場面にする'

   ・ベースモデル「beautifulRealistic_brav5.safetensors（リアル系）」
   

   浜辺の場面にする	雪の中の場面にする	炎の中の場面にする	森の中の場面にする	山中の場面にする	砂漠の場面にする
   着物姿に着替える	イラスト画像にする	アニメ画像にする	微笑んだ顔のアニメ画像	泣き顔のアニメ画像にする	嬉しそうな顔のアニメ画像

   ・ベースモデル「animePastelDream_softBakedVae.safetensors（イラスト系）」
   

   浜辺の場面にする	雪の中の場面にする	炎の中の場面にする	森の中の場面にする	山中の場面にする	砂漠の場面にする
   着物姿に着替える	イラスト画像にする	アニメ画像にする	微笑んだ顔のアニメ画像	泣き顔のアニメ画像にする	嬉しそうな顔のアニメ画像

Step 43：「controlnet instruct-pix2pix」controlnet_conditioning_scale パラメータによる変化をみる †

• controlnet_conditioning_scale
  ・コントロール画像の影響の重みを決めるパラメータ
  ・既定値は最大値の 1（1より小さい値にしたら入力画像の影響が薄くなる）
  

1. プログラムを実行する（実行時間：約 6秒 RTX 4070 Ti 12GB）
   
   

   (sd_test) PS > python sd_043.py
   Seed: 12345678, Model: /StabilityMatrix/Data/Models/ControlNet/control_v11e_sd15_ip2p_fp16.safetensors
   source_image: images/sd_040_test.png
   prompt : 浜辺の場面にする → Set the scene on the beach
   ** controlnet_conditioning_scale 0.6 ～ 1.0 **
   Fetching 11 files: 100%|███████████████████████████████| 11/11 [00:00<?, ?it/s]
   Loading pipeline components...: 100%|████████████| 6/6 [00:00<00:00, 18.80it/s]
   100%|██████████████████████████████████████████| 25/25 [00:01<00:00, 14.93it/s]
   Fetching 11 files: 100%|███████████████████████████████| 11/11 [00:00<?, ?it/s]
   Loading pipeline components...: 100%|████████████| 6/6 [00:00<00:00, 32.75it/s]
   100%|██████████████████████████████████████████| 25/25 [00:01<00:00, 17.17it/s]
   Fetching 11 files: 100%|███████████████████████████████| 11/11 [00:00<?, ?it/s]
   Loading pipeline components...: 100%|████████████| 6/6 [00:00<00:00, 33.71it/s]
   100%|██████████████████████████████████████████| 25/25 [00:01<00:00, 17.11it/s]
   Fetching 11 files: 100%|████████████████████| 11/11 [00:00<00:00, 11013.93it/s]
   Loading pipeline components...: 100%|████████████| 6/6 [00:00<00:00, 21.55it/s]
   100%|██████████████████████████████████████████| 25/25 [00:01<00:00, 17.10it/s]
   Fetching 11 files: 100%|███████████████████████████████| 11/11 [00:00<?, ?it/s]
   Loading pipeline components...: 100%|████████████| 6/6 [00:00<00:00, 33.15it/s]
   100%|██████████████████████████████████████████| 25/25 [00:01<00:00, 17.17it/s]
   Fetching 11 files: 100%|███████████████████████████████| 11/11 [00:00<?, ?it/s]
   Loading pipeline components...: 100%|████████████| 6/6 [00:00<00:00, 32.32it/s]
   100%|██████████████████████████████████████████| 25/25 [00:01<00:00, 17.17it/s]

2. 画像ファイル「image_03.png」が生成される
   
   
   
3. モジュール・ソースコード
   
   ▼「sd_043.py」
   ▲「sd_043.py」

   ## sd_043.py【SD1.5】　画像から画像生成（controlnet instruct-pix2pix）サンプル・ソースコード
   ## === controlnet_conditioning_scale を調べる ===
   ##      https://qiita.com/phyblas/items/28c342740c2ed00250b8
   ##      Ver. 0.00   2025/07/07
   
   import torch
   from PIL import Image
   from diffusers import StableDiffusionControlNetPipeline, ControlNetModel, EulerAncestralDiscreteScheduler, logging
   from translate import Translator
   import matplotlib.pyplot as plt
   
   logging.set_verbosity_error()
   
   # 画像生成
   def image_generation(cc_scale):
       if device == 'cpu':
           controlnet = ControlNetModel.from_single_file(model_path).to(device)
           pipeline = StableDiffusionControlNetPipeline.from_single_file(model_base_path).to(device)
       else:
           controlnet = ControlNetModel.from_single_file(model_path, torch_dtype=torch.float16).to(device)
           pipeline = StableDiffusionControlNetPipeline.from_single_file(
                       model_base_path,
                       controlnet=controlnet,
                       torch_dtype = torch.float16,
                       ).to(device)
   
       # スケジューラー
       pipeline.scheduler = EulerAncestralDiscreteScheduler.from_config(pipeline.scheduler.config)
   
       # Generatorオブジェクト作成
       generator = torch.Generator(device).manual_seed(seed)
   
       # 画像を生成
       img = pipeline(
                       prompt = prompt,
                       image = src_image,
                       num_inference_steps = 25,
                       controlnet_conditioning_scale = cc_scale,
                       generator = generator
                       ).images[0]
   
       return img
   
   # フォルダーのパス
   model_path = '/StabilityMatrix/Data/Models/ControlNet/control_v11e_sd15_ip2p_fp16.safetensors'              # コントロールネット・モデル
   model_base_path = '/StabilityMatrix/Data/Models/StableDiffusion/SD1.5/beautifulRealistic_brav5.safetensors' # ベースモデル
   image_path = "images/sd_040_test.png"                           # 元画像
   
   # GPUを使う場合は"cuda" 使わない場合は"cpu"
   device = 'cuda' if torch.cuda.is_available() else 'cpu'
   
   # seed 値
   seed = 12345678
   
   # プロンプト
   trans = Translator('en','ja').translate
   prompt_jp = '雪の中の場面にする'                                # プロンプト
   prompt_jp = '浜辺の場面にする'
   prompt = trans(prompt_jp)
   src_image = Image.open(image_path)
   
   print(f'Seed: {seed}, Model: {model_path}')
   print(f'source_image: {image_path}')
   print(f'prompt : {prompt_jp} → {prompt}')
   print('** controlnet_conditioning_scale 0.6 ～ 1.0 **')
   
   
   # 複数画像を生成
   plt.figure(figsize=[6, 9.5], dpi = 100)
   for i in range(6):
       cc_scale = 0.6 + 0.08 * i
       img = image_generation(cc_scale)
       plt.subplot(3, 2, i + 1, title = 'control_condition_scale = %.2f'%cc_scale)
       plt.imshow(img)
       plt.axis('off')
   
       # メモリー開放
       if device == 'cuda':
           torch.cuda.empty_cache()
       elif device == 'mps':
           torch.mps.empty_cache()
   
   plt.tight_layout()
   plt.savefig('results/image_043.png')
   plt.close()

忘備録 †

更新履歴 †

• 2025/07/05 初版
  
   

参考資料 †

• Stable Diffusion
  
  • 猫耳とdiffusersで始めるStable Diffusion入門
    
  • 実は衝撃的に簡単だった Stable Diffusion の使い方
    
  • diffusers（Stable Diffusion）による画像の改造／合成／変換／修正／拡大
    
  • instruct-pix2pixで画像を指示した通り変更したり
    
  • controlnet inpaintで画像の一部を入れ替えたり、表情を変えたり、描き加えて拡張したり
    

• 【Stable Diffusion】画像を修正する「Inpaint」機能や「txt2mask」について解説
  

• 書籍など
  
  • 日経ソフトウエア 2025年7月号「ローカル生成AIプログラミング」
    
  • Interface 2025年3月号「画像による異常検出＆ローカルLLM作り - 仕事のための生成AI」
    

Site admin: Masahiro Izutsu

PukiWiki 1.5.2 © 2001-2019 PukiWiki Development Team. Powered by PHP 7.4.33. HTML convert time: 0.026 sec.