私的AI研究会 > ComfyUI9e

画像生成AI「ComfyUI」９（音楽編）== 編集中 ==†

songs4_m.jpg

　「ComfyUI」を使ってローカル環境でのAI音楽生成を検証する

▲　目　次
※ 最終更新:2026/07/20　
↑

「ComfyUI」ACE-Step 1.5 による音楽生成†

「ACE-Step 1.5」を使って音楽を作成してみる
↑

概要†

↑

プロジェクトで作成するワークフロー†

このプロジェクトで作成するワークフローと関連データは下記にアップロードしている（更新されている場合は再度ダウンロードのこと）
↑

音楽生成のための環境構築†

  1. 必要な拡張ノード
    ・標準搭載で機能する

  2. 必要モデルのダウンロード と配置
    モデル名ファイル名（.safetensors）配置先（/StabilityMatrix/Data/）ダウンロード URL共通で使用
    checkpointace_step_1.5_turbo_aioModels/StableDiffusion/ace_step_1.5_turbo_aio.safetensors
    diffusion_modelsacestep_v1.5_turboDiffusionModels/acestep_v1.5_turbo.safetensors
    text_encodersqwen_0.6b_ace15TextEncodersqwen_0.6b_ace15.safetensors
    qwen_1.7b_ace15qwen_1.7b_ace15.safetensors
    qwen_4b_ace15qwen_4b_ace15.safetensors
    vaeace_1.5_vaeVAE/ace_1.5_vae.safetensors
  3. 推奨ワークフロー
    フォルダワークフロー名 (.json)モデル機能 (参照ページ)特記事項（同じ機能のワークフロー .json）
    ACE-Step6101_ace_step_1_5_checkpointAll In One音楽生成ワークフロー (AIO)(audio_ace_step_1_5_checkpoint)
    6102_ace_step_1_5_split1.7B音楽生成ワークフロー(audio_ace_step_1_5_split.json)
    6103_ace_step_1_5_split_4b4B音楽生成ワークフロー(4BのLLM)(audio_ace_step_1_5_split_4b.json)
↑

Step 1：オフシャルサイトのワークフロー†

  1. ワークフローのテンプレートを読み出す
    comfyui_974_m.jpg

    ① 左サイドバー「Template」を押す
    ②「Ace-Step」を選ぶ
    ③④⑤「ACE-Step 1.5」テンプレートを選択する

    　③「audio_ace_step_1_5_checkpoint.json」
    　④「audio_ace_step_1_5_split.json」
    　⑤「audio_ace_step_1_5_split_4b.json」
    種類テンプレートの説明（AI による日本語訳）
    ③ACE-Step 1.5 Music Generation AIOは、スタイルタグや歌詞を完全な曲に変換するテキストから音声へのComfyUIワークフローです。「モダンポップ、女性ボーカル、豊かなシンセ」といった短い説明と歌詞を伝えれば、グラフが残りをサンプリング、デコード、MP3のエクスポートを処理し、消費者向けハードウェアで数秒でアイデアをオーディションできます。明確なグループに整理されています。ステップ1:ロードモデル、ステップ2:持続時間、ステップ3:プロンプトなどで、チェックポイントの設定場所、トラックの長さ、モデルの歌声や音が常にわかります。

    内部では、CheckpointLoaderSimpleがACE-Step 1.5のチェックポイント(ace_step_1.5_turbo_aio.safetensors)をロードします。TextEncodeAceStepAudio1.5は、あなたのスタイルタグや歌詞をACE固有の条件付けベクターに変換します。ConditioningZeroOutは、未使用の条件付けチャネルをクリーンに無効化するために使われます(例えば、二次プロンプトやネガティブプロンプトを提供していない場合など)、意図しないバイアスを防ぎます。EmptyAceStep1.5LatentAudioは、あなたが求める正確な期間だけ空の潜在音声キャンバスを作成します。ModelSamplingAuraFlowはACE-Step 1.5に適したサンプラー/スケジューラーの組み合わせを設定し、KSamplerはプロンプトに基づいて潜在要素を反復的に調整して一貫したトラックに仕上げます。VAEDecodeAudioは最終的な潜在音を波形音声に変換し、SaveAudioMP3はその結果をComfyUIの出力フォルダに書き込みます。PrimitiveNodeウィジェットは、ステップ、CFG、シード、秒などの実用的なノブを公開し、速度、品質、再現性を調整できます。

    このセットアップは、速いソングライティングデモ、ジャンルの探求、コンテンツの整理に適しています。シードを通じて、持続時間を正確にコントロールでき、繰り返し可能なワークフローが実現します。グラフには合理的なデフォルトが付属しているので、ショートトラックを素早く生成し、ステップを上げたりスタイルタグや歌詞のフレージングを洗練させて品質を上げることができます。
    ④ACE-Step 1.5 Music Generation Workflowは、消費者向けハードウェアを用いてテキストプロンプトを数秒で高品質な音声曲に変換するよう設計されています。このワークフローはACE-Stepモデル、特に「acestep_v1.5_turbo.safetensors」を活用し、ユーザーが提供した音楽スタイルやオプションの歌詞の説明に基づいて音楽を解釈・合成します。TextEncodeAceStepAudio1.5やVAEDecodeAudioのような主要ノードは、それぞれテキスト入力のエンコードや生成された音声のデコードにおいて重要な役割を果たします。KSamplerノードは潜在空間のサンプリングに使用され、ModelSamplingAuraFlowノードは音声出力を洗練させ、高品質基準を満たすようにします。

    このワークフローは効率性と音質の高さから特に有用です。ConditioningZeroOutやEmptyAceStep1.5LatentAudioのようなノードを使用することで、音声生成プロセスが効率化され、ユーザーの入力に集中していることが保証されています。SaveAudioMP3ノードの搭載により、最終製品を広く互換性のある形式で簡単にエクスポートできます。これにより、ワークフローは技術的に堅牢であるだけでなく、さまざまなアプリケーション向けに素早く音楽を生成するユーザーにとって非常に実用的です。
    ⑤このComfyUIワークフローは、ACE-Step 1.5の音楽生成モデルとその小型バリエーションを比較することに焦点を当てています。主な目的は、4Bモデル版の強化された音声理解と作曲能力を評価することです。テキストプロンプトを使って音楽を生成することで、ユーザーはモデル間の音質、複雑さ、音質の違いを探ることができます。このワークフローでは、KSampler、VAEDecodeAudio、TextEncodeAceStepAudio1.5などの様々なノードが用いられ、この比較を容易にしています。主な違いは、より複雑な作曲を扱う能力と、より豊かな音響テクスチャーを生み出す能力であり、特に長く複雑な音楽作品を生成する際に顕著です。

  2. ワークフローの出力結果の保存先を修正して実行する
    項目③ ACE-Step 1.5 音楽生成AIO④ ACE-Step 1.5 音楽生成ワークフロー⑤ ACE-Step 1.5 音楽生成(4BのLLM)
    ワークフロースタイルのタグや歌詞を入力して、完全な曲を生成します。このワークフローはACE-Step 1.5モデルを用いて、コンシューマ・ハードウェアで10秒未満で商用グレードの音楽を制作します。音楽スタイルと任意の歌詞を説明するテキストプロンプトを入力してください。コンシューマ・ハードウェアで10秒以内に高品質な完全音声を生成できます。テキストプロンプトを入力して音楽を生成します。この4Bモデルは、小型のバリエーションと比べてより強力な音声理解と作曲能力を備えています。
    　
    comfyui_971_m.jpg comfyui_972_m.jpg comfyui_973_m.jpg
    「ACE-Step」audio_ace_step_1_5_checkpoint.json「ACE-Step」audio_ace_step_1_5_split.json「ACE-Step」audio_ace_step_1_5_split_4b.json
    生成ファイルComfyUI/audio/audio_11_連番.mp3ComfyUI/audio/audio_12_連番.mp3ComfyUI/audio/audio_13_連番.mp3
    Caption
    (Prompt)    		 Neo-Soul: A warm, organic neo-soul track dripping with live instrumentation and effortless groove. A live drummer plays a loose, hip-hop influenced pocket—soft kick drum with lazy swing, snare hits that sit just behind the beat, and brushed hi-hats that breathe and shuffle with human imperfection. K-Pop: A slick, maximalist K-pop track that genre-hops with precision and style. The production shifts seamlessly between sections—a hard-hitting trap-influenced verse with rapid-fire rapping, a softer R&B pre-chorus with breathy vocals and lush harmonies, then an explosive, synth-driven pop chorus with an ear worm hook. Rock: A powerful, high-energy modern rock track with a raw and rebellious edge.
    Driven by distorted electric guitars, punchy live drums, and a strong bassline.
    The song builds dynamically from tension to explosion, balancing aggression and emotion.
    Neo-Soul：生楽器の響きと、肩の力の抜けたグルーヴが溢れる、温かくオーガニックなネオ・ソウルのトラック。生ドラムが、ヒップホップの影響を感じさせるルーズな「ポケット（心地よいノリ）」を刻みます。ソフトなキックはゆったりとしたスウィング感を持ち、スネアはビートのわずか後ろで鳴り、ブラシを使ったハイハットは、人間味あふれる不完全さを伴いながら、呼吸するようにシャッフルしています。K-Pop：精緻かつスタイリッシュにジャンルを横断する、洗練されたマキシマリストなK-POPトラック。楽曲の展開は極めてスムーズで、トラップの影響を受けた力強いヴァース（高速ラップをフィーチャー）から、息遣いを感じさせるボーカルと豊かなハーモニーが印象的な柔らかなR&B調のプレコーラスへと移行し、最後には中毒性のあるフックを伴った、シンセ主導の爆発的なポップ・コーラスへと雪崩れ込みます。Rock：荒々しく反骨精神に満ちた、パワフルでエネルギッシュなモダンロックトラック。
    歪んだエレキギター、力強い生ドラム、そして重厚なベースラインが楽曲を牽引する。
    緊張感から爆発へとダイナミックに展開し、攻撃性と感情のバランスが絶妙だ。
    Lyrics
    (歌詞)    		 [Intro - Guitar Riff & Drums]
    mm…
    yeah…
    let it breathe…

    [Verse 1]
    Late night glow on your skin
    Window cracked, city hums again
    Coffee rings on the table top
    Time don’t rush, it just drops

    Loose kick drum, heart runs slow
    Snare talks back, says “take it low”
    Every step just slightly late
    Still we land right on the faith

    [Verse]
    Your laugh swings behind the beat
    Barefoot dancing on the street
    Nothing polished, nothing tight
    Feels more real that way tonight

    Brush those hats, let them slide
    Leave some space where truth can hide
    If it falls, let it fall
    That’s the soul inside it all

    [Pre-Chorus]
    No count-in for this kind of love
    We don’t line it up
    We just lean and trust

    [Chorus]
    Stay right there, don’t pull it straight
    I love how we arrive late
    Off the grid but locked in time
    That lazy swing feels like mine

    Yeah we bend, we drift, we sway
    Let tomorrow wait its turn today
    If love lives just off the line
    Soft kick drum, your hand in mine

    [Verse]
    Vinyl spins, the room exhales
    Every scar tells its tale
    Your voice cracks, but I don’t care
    That’s the truth living in there

    Heartbeat talks through wood and wire
    Low-end warmth, a quiet fire
    Nothing perfect, nothing clean
    Still the best thing I’ve ever seen

    [Bridge]
    Brush it light, let it breathe
    Leave a little space for me
    Every miss is part of it
    That’s how soul was always meant

    Behind the beat, but dead-on true
    Every swing just sounds like you
    If the night don’t find a end
    I’ll stay right here, count me in

    [Chorus]
    Stay right there, don’t pull it straight
    I love how we arrive late
    Off the grid but locked in time
    That lazy swing feels like mine

    Yeah we bend, we drift, we sway
    Let tomorrow wait its turn today
    If love lives just off the line
    Soft kick drum, your hand in mine

    [Outro - Guitar Riff & Final Chord]
    no rush…
    no rush…
    just groove…         		[Intro - Synth Rise & Vocal Chop]
    yeah—
    uh
    turn it up

    [Verse 1 - Trap Rap]
    Click-clack, camera flash, we don’t miss
    Run the board, every move calculated
    Big bass hit when I step in the frame
    Too fast, they can’t even say my name

    Radar locked, yeah I’m on that lane
    Drip so sharp, cut through champagne
    Talk cheap, but my sound heavyweight
    Countdown tickin’, watch me detonate

    [Verse 2 - Trap Rap]
    808 talk, let it shake the floor
    All eyes on me when I hit that door
    Too bold, too cold, no rehearsal
    Built this crown from universal

    Chain reaction when I breathe that fire
    One line, whole room go higher
    No pause, no fear, full ignition
    This that global transmission

    [Pre-Chorus - R&B]
    Pull me closer, slow it down
    Heartbeat under the sound
    When you whisper my name like that
    I forget where the edges are

    Lights go low, voices melt
    Every note just how I felt
    Hold your breath, let it bloom
    Something ’bout to break real soon

    [Chorus - Pop Explosion]
    Boom, boom, feel it in your chest
    When the beat drop, we the best
    Hands up high, don’t overthink
    Say my name, make the whole world blink

    Flash, flash, colors collide
    We don’t wait, we ignite
    Round and round, stuck in your brain
    This that hook you won’t escape

    [Post-Chorus - Chant]
    Hey!
    Turn it l         		[Verse 1]
    Static in the air, I feel it in my bones
    Every step I take, I’m carving out my own
    No more shadows telling me who to be
    I draw the line, now watch me break free

    [Pre-Chorus]
    Hear the sound, it’s getting louder
    Pressure turning into power
    I won’t wait, I won’t fall back
    This is the moment, this is the attack

    [Chorus]
    Shout it out, I’m alive tonight
    Burning bright in the dead of night
    Hands up, feel the ground shake
    This is everything I’m gonna take

    [Bridge]
    Silence hits before the storm
    Heart beats fast, I transform

    [Final Chorus]
    Shout it out, I’m alive tonight
    No more fear, no need to hide
    Turn it up, let the walls break
    This is the fire you can’t escape
    生成楽曲再生
↑

Step 2：ワークフローを整理する†

↑

プロンプト・ガイド†

 
↑

更新履歴†

 
↑

参考資料†