AI_Program3 のバックアップ(No.4)

  [ トップ ]   [ 一覧 | 検索 | 履歴 | ログイン ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• AI_Program3 へ行く。
  • 1 (2025-07-05 (土) 12:04:28)
  • 2 (2025-07-05 (土) 12:10:54)
  • 3 (2025-07-07 (月) 19:40:45)
  • 4 (2025-07-08 (火) 06:03:14)
  • 5 (2025-07-08 (火) 11:47:32)
  • 6 (2025-07-08 (火) 15:19:09)
  • 7 (2025-07-08 (火) 19:12:04)
  • 8 (2025-07-09 (水) 14:09:54)
  • 9 (2025-07-09 (水) 16:36:12)
  • 10 (2025-07-09 (水) 19:49:45)
  • 11 (2025-07-10 (木) 04:29:10)
  • 12 (2025-07-10 (木) 16:57:35)
  • 13 (2025-07-11 (金) 07:00:07)
  • 14 (2025-07-11 (金) 08:22:27)
  • 15 (2025-07-12 (土) 05:16:04)
  • 16 (2025-07-15 (火) 07:10:29)
  • 17 (2025-07-15 (火) 08:51:59)
  • 18 (2025-07-15 (火) 11:57:20)
  • 19 (2025-07-16 (水) 06:04:31)
  • 20 (2025-07-16 (水) 17:06:33)
  • 21 (2025-07-20 (日) 19:37:21)

---

私的AI研究会 > AI_Program3

生成 AI プログラミング３ == 編集中 == †

　これまで検証してきた結果をもとに、Python で生成 AI プログラムを書く

diffusersではじめめる Stable Diffusion （応用編２） †

　参考サイト：instruct-pix2pixで画像を指示した通り変更したり

動作環境 †

• このプロジェクトは以下の Anaconda 仮想環境とプロジェクト・フォルダで動作する
  

  (base) PS > conda activate sd_test
  (sd_test) PS > cd workspace_3/sd_test

Step 40：「instruct-pix2pix」で画像を変換する †

　　SD1.5 版　　「雪の中の場面にする」

1. 「sd_040.py」　　元になる画像（右） sd_040_test.png　生成画像（左） image_040.png →
   
   
   

   ## sd_040.py【SD1.5】　画像から画像生成（instruct-pix2pix）サンプル・ソースコード
   ##      https://qiita.com/phyblas/items/28c342740c2ed00250b8
   ##      Model: https://huggingface.co/timbrooks/instruct-pix2pix
   ##      Ver. 0.00   2025/07/05
   
   import torch
   from PIL import Image
   from diffusers import StableDiffusionInstructPix2PixPipeline, logging
   from translate import Translator
   
   logging.set_verbosity_error()
   
   # フォルダーのパス
   model_path = "timbrooks/instruct-pix2pix"                       # モデル
   image_path = "images/sd_040_test.png"                           # 元画像
   
   # GPUを使う場合は"cuda" 使わない場合は"cpu"
   device = 'cuda' if torch.cuda.is_available() else 'cpu'
   
   # seed 値
   seed = 0
   
   # パイプラインを作成
   if device == 'cpu':
       pipeline = StableDiffusionInstructPix2PixPipeline.from_pretrained(model_path).to(device)
   else:
       pipeline = StableDiffusionInstructPix2PixPipeline.from_pretrained(
                       model_path,
                       torch_dtype = torch.float16,
                       ).to(device)
   
   # プロンプト
   trans = Translator('en','ja').translate
   prompt_jp = '雪の中の場面にする'                                # プロンプト
   prompt = trans(prompt_jp)
   src_image = Image.open(image_path)
   
   # Generatorオブジェクト作成
   generator = torch.Generator(device).manual_seed(seed)
   
   print(f'Seed: {seed}, Model: {model_path}')
   print(f'source_image: {image_path}')
   print(f'prompt : {prompt_jp} → {prompt}')
   
   # 画像を生成
   image = pipeline(
                       prompt = prompt,
                       image = src_image,
                       num_inference_steps = 20,
                       image_guidance_scale = 1.5,
                       generator = generator
                       ).images[0]
   
   image.save("results/image_040.png")                            # 生成画像

2. プログラムを実行する（実行時間：約 3秒 RTX 4070 Ti 12GB）
   

   (sd_test) PS > python sd_040.py
   Loading pipeline components...: 100%|████████████| 7/7 [00:02<00:00,  2.48it/s]
   Seed: 0, Model: timbrooks/instruct-pix2pix
   source_image: images/sd_040_test.png
   prompt : 雪の中の場面にする → Make it a scene in the snow
   100%|██████████████████████████████████████████| 20/20 [00:01<00:00, 16.78it/s]

3. 画像ファイル「image_040.png」が生成される
   

　　SDXL 版　　「雪の中の場面にする」

1. 「sd_040a.py」　　元になる画像は同じ sd_040_test.png　生成画像（左） image_040a.png →
   
   

   ## sd_040a.py【SDXL】　画像から画像生成（instruct-pix2pix）サンプル・ソースコード
   ##      https://qiita.com/phyblas/items/28c342740c2ed00250b8
   ##      Model: https://huggingface.co/timbrooks/instruct-pix2pix
   ##      Ver. 0.00   2025/07/07
   
   import torch
   from PIL import Image
   from diffusers import StableDiffusionXLInstructPix2PixPipeline, logging
   from translate import Translator
   
   logging.set_verbosity_error()
   
   # フォルダーのパス
   model_path = "diffusers/sdxl-instructpix2pix-768"              # モデル
   image_path = "images/sd_040_test.png"                          # 元画像
   
   # GPUを使う場合は"cuda" 使わない場合は"cpu"
   device = 'cuda' if torch.cuda.is_available() else 'cpu'
   
   # seed 値
   seed = 0
   
   # 画像サイズ
   resolution = 768
   
   # パイプラインを作成
   pipeline = StableDiffusionXLInstructPix2PixPipeline.from_pretrained(
                       model_path,
                       torch_dtype = torch.float16,
                       ).to(device)
   
   # プロンプト
   trans = Translator('en','ja').translate
   prompt_jp = '雪の中の場面にする'                                # プロンプト
   prompt = trans(prompt_jp)
   #src_image = Image.open(image_path)
   
   from diffusers.utils import load_image
   src_image = load_image(image_path).resize((resolution, resolution))
   
   # Generatorオブジェクト作成
   generator = torch.Generator(device).manual_seed(seed)
   
   print(f'Seed: {seed}, Model: {model_path}')
   print(f'source_image: {image_path}')
   print(f'prompt : {prompt_jp} → {prompt}')
   
   # 画像を生成
   image = pipeline(
                       prompt = prompt,
                       image = src_image,
                       height = resolution,
                       width = resolution,
                       guidance_scale=3.0,
                       image_guidance_scale = 1.5,
                       num_inference_steps = 20,
                       generator = generator
                       ).images[0]
   
   image.save("results/image_040a.png")                            # 生成画像

2. プログラムを実行する（実行時間：約 8秒 RTX 4070 Ti 12GB）
   

   (sd_test) PS > python sd_040a.py
   Loading pipeline components...: 100%|████████████| 7/7 [00:05<00:00,  1.38it/s]
   Seed: 0, Model: diffusers/sdxl-instructpix2pix-768
   source_image: images/sd_040_test.png
   prompt : 雪の中の場面にする → Make it a scene in the snow
   100%|██████████████████████████████████████████| 20/20 [00:03<00:00,  5.30it/s]

3. 画像ファイル「image_040a.png」が生成される
   

• SD1.5 / SDXL モデルによる生成画像の比較
  

  プロンプト	雪の中の場面にする	春の場面にする	夏の場面にする	秋の場面にする	冬の場面にする
  SD1.5
  SDXL

Step 41：「instruct-pix2pix」image_guidance_scale パラメータによる変化をみる †

• image_guidance_scale
  ・画像をどれくらい変えるかを決めるパラメータ
  ・1 以上を設定（初期値：1.5）
  

　　SD1.5 版　

1. プログラムを実行する（実行時間：約 12秒 RTX 4070 Ti 12GB）
   
   
   

   (sd_test) PS > python sd_041.py
   Seed: 12345678, Model: timbrooks/instruct-pix2pix
   source_image: images/sd_040_test.png
   prompt : 雪の中の場面にする → Make it a scene in the snow
   ** image_guidance_scale 1.0 ～ 1.5 **
   Loading pipeline components...: 100%|████████████| 7/7 [00:01<00:00,  5.17it/s]
   100%|██████████████████████████████████████████| 20/20 [00:01<00:00, 17.95it/s]
   Loading pipeline components...: 100%|████████████| 7/7 [00:01<00:00,  5.85it/s]
   100%|██████████████████████████████████████████| 20/20 [00:01<00:00, 18.39it/s]
   Loading pipeline components...: 100%|████████████| 7/7 [00:01<00:00,  6.01it/s]
   100%|██████████████████████████████████████████| 20/20 [00:01<00:00, 17.88it/s]
   Loading pipeline components...: 100%|████████████| 7/7 [00:01<00:00,  5.57it/s]
   100%|██████████████████████████████████████████| 20/20 [00:01<00:00, 18.38it/s]
   Loading pipeline components...: 100%|████████████| 7/7 [00:01<00:00,  6.14it/s]
   100%|██████████████████████████████████████████| 20/20 [00:01<00:00, 18.45it/s]
   Loading pipeline components...: 100%|████████████| 7/7 [00:01<00:00,  6.13it/s]
   100%|██████████████████████████████████████████| 20/20 [00:01<00:00, 18.44it/s]

2. 画像ファイル「image_041.png」が生成される
   
   
   
3. モジュール・ソースコード
   
   ▼「sd_041.py」
   ▲「sd_041.py」

   ## sd_041.py【SD1.5】　画像から画像生成（instruct-pix2pix）サンプル・ソースコード
   ## === イメージ・ガイダンススケールを調べる ===
   ##      https://qiita.com/phyblas/items/28c342740c2ed00250b8
   ##      Model: https://huggingface.co/timbrooks/instruct-pix2pix
   ##      Ver. 0.00   2025/07/05
   
   import torch
   from PIL import Image
   from diffusers import StableDiffusionInstructPix2PixPipeline, logging
   from translate import Translator
   import matplotlib.pyplot as plt
   
   logging.set_verbosity_error()
   
   # 画像生成
   def image_generation(ig_scale):
       # パイプラインを作成
       if device == 'cpu':
           pipeline = StableDiffusionInstructPix2PixPipeline.from_pretrained(model_path).to(device)
       else:
           pipeline = StableDiffusionInstructPix2PixPipeline.from_pretrained(
                       model_path,
                       torch_dtype = torch.float16,
                       ).to(device)
   
       # Generatorオブジェクト作成
       generator = torch.Generator(device).manual_seed(seed)
   
       # 画像を生成
       img = pipeline(
                       prompt = prompt,
                       image = src_image,
                       num_inference_steps = 20,
                       image_guidance_scale = ig_scale,
                       generator = generator
                       ).images[0]
       return img
   
   # フォルダーのパス
   model_path = "timbrooks/instruct-pix2pix"                      # モデル
   image_path = "images/sd_040_test.png"                          # 元画像
   
   # GPUを使う場合は"cuda" 使わない場合は"cpu"
   device = 'cuda' if torch.cuda.is_available() else 'cpu'
   
   # seed 値
   seed = 12345678
   
   # プロンプト
   trans = Translator('en','ja').translate
   prompt_jp = '雪の中の場面にする'                               # プロンプト
   prompt = trans(prompt_jp)
   src_image = Image.open(image_path)
   
   print(f'Seed: {seed}, Model: {model_path}')
   print(f'source_image: {image_path}')
   print(f'prompt : {prompt_jp} → {prompt}')
   print('** image_guidance_scale 1.0 ～ 1.5 **')
   
   
   # 複数画像を生成
   plt.figure(figsize=[6, 9.5], dpi = 100)
   for i in range(6):
       ig_scale = 1 + 0.1 * i
       img = image_generation(ig_scale)
       plt.subplot(3, 2, i + 1, title = 'image_guidance_scale = %.1f'%ig_scale)
       plt.imshow(img)
       plt.axis('off')
   
       # メモリー開放
       if device == 'cuda':
           torch.cuda.empty_cache()
       elif device == 'mps':
           torch.mps.empty_cache()
   
   plt.tight_layout()
   plt.savefig('results/image_041.png')
   plt.close()

　　SD1.5 版　

1. プログラムを実行する（実行時間：約 12秒 RTX 4070 Ti 12GB）
   
   
   

   (sd_test) PS > python sd_041a.py
   Seed: 0, Model: diffusers/sdxl-instructpix2pix-768
   source_image: images/sd_040_test.png
   prompt : 雪の中の場面にする → Make it a scene in the snow
   ** image_guidance_scale 1.0 ～ 1.5 **
   Loading pipeline components...: 100%|████████████| 7/7 [00:02<00:00,  2.95it/s]
   100%|██████████████████████████████████████████| 30/30 [00:05<00:00,  5.40it/s]
   Loading pipeline components...: 100%|████████████| 7/7 [00:02<00:00,  3.10it/s]
   100%|██████████████████████████████████████████| 30/30 [00:05<00:00,  5.41it/s]
   Loading pipeline components...: 100%|████████████| 7/7 [00:02<00:00,  2.97it/s]
   100%|██████████████████████████████████████████| 30/30 [00:05<00:00,  5.40it/s]
   Loading pipeline components...: 100%|████████████| 7/7 [00:02<00:00,  3.10it/s]
   100%|██████████████████████████████████████████| 30/30 [00:05<00:00,  5.41it/s]
   Loading pipeline components...: 100%|████████████| 7/7 [00:02<00:00,  3.00it/s]
   100%|██████████████████████████████████████████| 30/30 [00:05<00:00,  5.38it/s]
   Loading pipeline components...: 100%|████████████| 7/7 [00:02<00:00,  3.09it/s]
   100%|██████████████████████████████████████████| 30/30 [00:05<00:00,  5.39it/s]

2. 画像ファイル「image_041a.png」が生成される
   
   
   
3. モジュール・ソースコード
   
   ▼「sd_041a.py」
   ▲「sd_041a.py」

   ## sd_041a.py【SDXL】　画像から画像生成（instruct-pix2pix）サンプル・ソースコード
   ## === イメージ・ガイダンススケールを調べる ===
   ##      https://qiita.com/phyblas/items/28c342740c2ed00250b8
   ##      Model: https://huggingface.co/timbrooks/instruct-pix2pix
   ##      Ver. 0.00   2025/07/07
   
   import torch
   from PIL import Image
   from diffusers import StableDiffusionXLInstructPix2PixPipeline, logging
   from translate import Translator
   from diffusers.utils import load_image
   import matplotlib.pyplot as plt
   
   logging.set_verbosity_error()
   
   # 画像生成
   def image_generation(ig_scale):
       # パイプラインを作成
       pipeline = StableDiffusionXLInstructPix2PixPipeline.from_pretrained(
                       model_path,
                       torch_dtype = torch.float16,
                       ).to(device)
   
       # Generatorオブジェクト作成
       generator = torch.Generator(device).manual_seed(seed)
   
       # 画像を生成
       img = pipeline(
                       prompt = prompt,
                       image = src_image,
                       height = resolution,
                       width = resolution,
                       guidance_scale=3.0,
                       image_guidance_scale = ig_scale,
                       num_inference_steps = 30,
                       generator = generator
                       ).images[0]
       return img
   
   # フォルダーのパス
   model_path = "diffusers/sdxl-instructpix2pix-768"               # モデル
   image_path = "images/sd_040_test.png"                           # 元画像
   
   # GPUを使う場合は"cuda" 使わない場合は"cpu"
   device = 'cuda' if torch.cuda.is_available() else 'cpu'
   
   # seed 値
   seed = 12345678
   seed = 0
   
   # 画像サイズ
   resolution = 768
   
   # プロンプト
   trans = Translator('en','ja').translate
   prompt_jp = '雪の中の場面にする'                                # プロンプト
   prompt = trans(prompt_jp)
   src_image = load_image(image_path).resize((resolution, resolution))
   
   print(f'Seed: {seed}, Model: {model_path}')
   print(f'source_image: {image_path}')
   print(f'prompt : {prompt_jp} → {prompt}')
   print('** image_guidance_scale 1.0 ～ 1.5 **')
   
   
   # 複数画像を生成
   plt.figure(figsize=[6, 9.5], dpi = 100)
   for i in range(6):
       ig_scale = 1.0 + 0.1 * i
       img = image_generation(ig_scale)
       plt.subplot(3, 2, i + 1, title = 'image_guidance_scale = %.1f'%ig_scale)
       plt.imshow(img)
       plt.axis('off')
   
       # メモリー開放
       if device == 'cuda':
           torch.cuda.empty_cache()
       elif device == 'mps':
           torch.mps.empty_cache()
   
   plt.tight_layout()
   plt.savefig('results/image_041a.png')
   plt.close()

忘備録 †

更新履歴 †

• 2025/07/05 初版
  
   

参考資料 †

• Stable Diffusion
  
  • 猫耳とdiffusersで始めるStable Diffusion入門
    
  • 実は衝撃的に簡単だった Stable Diffusion の使い方
    
  • diffusers（Stable Diffusion）による画像の改造／合成／変換／修正／拡大
    
  • instruct-pix2pixで画像を指示した通り変更したり
    

• 【Stable Diffusion】画像を修正する「Inpaint」機能や「txt2mask」について解説
  

• 書籍など
  
  • 日経ソフトウエア 2025年7月号「ローカル生成AIプログラミング」
    
  • Interface 2025年3月号「画像による異常検出＆ローカルLLM作り - 仕事のための生成AI」
    

Site admin: Masahiro Izutsu

PukiWiki 1.5.2 © 2001-2019 PukiWiki Development Team. Powered by PHP 7.4.33. HTML convert time: 0.043 sec.