私的AI研究会 > ComfyUI9e
#ref(): File not found: "comfyui_247_m.jpg" at page "ComfyUI9e"
「ComfyUI」を使ってローカル環境でのAI音楽生成を検証する
| 「ACE-Step 1.5」を使って音楽を作成してみる |
| このプロジェクトで作成するワークフローと関連データは下記にアップロードしている（更新されている場合は再度ダウンロードのこと） |
📂ComfyUI
├─📂input ← ワークフローに含まれる入力画像
└─📂user
└─📂default
└─📂workflows ← ワークフローの保存場所
├─📂_audio
:
・解凍してできる「ComfyUI/」フォルダを「StabilityMatrix/Data/Packages/ComfyUI」へ上書きコピーする| ワークフロー | 機 能 | モデル | CPU | CPU | |||||
| RTX 4070 | RTX 4060 | RTX 4060L | RTX 3050 | GTX 1050 | i7-1260P | i7-1185G7 | |||
| 6101 | |||||||||
| 6102 | |||||||||
| 6103 | |||||||||
| モデル名 | ファイル名（.safetensors） | 配置先（/StabilityMatrix/Data/） | ダウンロード URL | 共通で使用 | |
| checkpoint | ace_step_1.5_turbo_aio | Models/ | StableDiffusion/ | ace_step_1.5_turbo_aio.safetensors | |
| diffusion_models | acestep_v1.5_turbo | DiffusionModels/ | acestep_v1.5_turbo.safetensors | ||
| text_encoders | qwen_0.6b_ace15 | TextEncoders | qwen_0.6b_ace15.safetensors | ||
| qwen_1.7b_ace15 | qwen_1.7b_ace15.safetensors | ||||
| qwen_4b_ace15 | qwen_4b_ace15.safetensors | ||||
| vae | ace_1.5_vae | VAE/ | ace_1.5_vae.safetensors | ||
| フォルダ | ワークフロー名 (.json) | モデル | 機能 (参照ページ) | 特記事項（同じ機能のワークフロー .json） |
| _audio | 6101 | |||
| 6102 | ||||
| 6103 |
| 種類 | テンプレートの説明（AI による日本語訳） |
| ③ | ACE-Step 1.5 Music Generation AIOは、スタイルタグや歌詞を完全な曲に変換するテキストから音声へのComfyUIワークフローです。「モダンポップ、女性ボーカル、豊かなシンセ」といった短い説明と歌詞を伝えれば、グラフが残りをサンプリング、デコード、MP3のエクスポートを処理し、消費者向けハードウェアで数秒でアイデアをオーディションできます。明確なグループに整理されています。ステップ1:ロードモデル、ステップ2:持続時間、ステップ3:プロンプトなどで、チェックポイントの設定場所、トラックの長さ、モデルの歌声や音が常にわかります。 内部では、CheckpointLoaderSimpleがACE-Step 1.5のチェックポイント(ace_step_1.5_turbo_aio.safetensors)をロードします。TextEncodeAceStepAudio1.5は、あなたのスタイルタグや歌詞をACE固有の条件付けベクターに変換します。ConditioningZeroOutは、未使用の条件付けチャネルをクリーンに無効化するために使われます(例えば、二次プロンプトやネガティブプロンプトを提供していない場合など)、意図しないバイアスを防ぎます。EmptyAceStep1.5LatentAudioは、あなたが求める正確な期間だけ空の潜在音声キャンバスを作成します。ModelSamplingAuraFlowはACE-Step 1.5に適したサンプラー/スケジューラーの組み合わせを設定し、KSamplerはプロンプトに基づいて潜在要素を反復的に調整して一貫したトラックに仕上げます。VAEDecodeAudioは最終的な潜在音を波形音声に変換し、SaveAudioMP3はその結果をComfyUIの出力フォルダに書き込みます。PrimitiveNodeウィジェットは、ステップ、CFG、シード、秒などの実用的なノブを公開し、速度、品質、再現性を調整できます。 このセットアップは、速いソングライティングデモ、ジャンルの探求、コンテンツの整理に適しています。シードを通じて、持続時間を正確にコントロールでき、繰り返し可能なワークフローが実現します。グラフには合理的なデフォルトが付属しているので、ショートトラックを素早く生成し、ステップを上げたりスタイルタグや歌詞のフレージングを洗練させて品質を上げることができます。 |
| ④ | ACE-Step 1.5 Music Generation Workflowは、消費者向けハードウェアを用いてテキストプロンプトを数秒で高品質な音声曲に変換するよう設計されています。このワークフローはACE-Stepモデル、特に「acestep_v1.5_turbo.safetensors」を活用し、ユーザーが提供した音楽スタイルやオプションの歌詞の説明に基づいて音楽を解釈・合成します。TextEncodeAceStepAudio1.5やVAEDecodeAudioのような主要ノードは、それぞれテキスト入力のエンコードや生成された音声のデコードにおいて重要な役割を果たします。KSamplerノードは潜在空間のサンプリングに使用され、ModelSamplingAuraFlowノードは音声出力を洗練させ、高品質基準を満たすようにします。 このワークフローは効率性と音質の高さから特に有用です。ConditioningZeroOutやEmptyAceStep1.5LatentAudioのようなノードを使用することで、音声生成プロセスが効率化され、ユーザーの入力に集中していることが保証されています。SaveAudioMP3ノードの搭載により、最終製品を広く互換性のある形式で簡単にエクスポートできます。これにより、ワークフローは技術的に堅牢であるだけでなく、さまざまなアプリケーション向けに素早く音楽を生成するユーザーにとって非常に実用的です。 |
| ⑤ | このComfyUIワークフローは、ACE-Step 1.5の音楽生成モデルとその小型バリエーションを比較することに焦点を当てています。主な目的は、4Bモデル版の強化された音声理解と作曲能力を評価することです。テキストプロンプトを使って音楽を生成することで、ユーザーはモデル間の音質、複雑さ、音質の違いを探ることができます。このワークフローでは、KSampler、VAEDecodeAudio、TextEncodeAceStepAudio1.5などの様々なノードが用いられ、この比較を容易にしています。主な違いは、より複雑な作曲を扱う能力と、より豊かな音響テクスチャーを生み出す能力であり、特に長く複雑な音楽作品を生成する際に顕著です。 |
| 項目 | ③ ACE-Step 1.5 音楽生成AIO | ④ ACE-Step 1.5 音楽生成ワークフロー | ⑤ ACE-Step 1.5 音楽生成(4BのLLM) |
| ワークフロー | スタイルのタグや歌詞を入力して、完全な曲を生成します。このワークフローはACE-Step 1.5モデルを用いて、コンシューマ・ハードウェアで10秒未満で商用グレードの音楽を制作します。 | 音楽スタイルと任意の歌詞を説明するテキストプロンプトを入力してください。コンシューマ・ハードウェアで10秒以内に高品質な完全音声を生成できます。 | テキストプロンプトを入力して音楽を生成します。この4Bモデルは、小型のバリエーションと比べてより強力な音声理解と作曲能力を備えています。 |
 |  |  | |
| &ref(): File not found: "audio_ace_step_1_5_checkpoint.json" at page "ComfyUI9e"; | &ref(): File not found: "audio_ace_step_1_5_split.json" at page "ComfyUI9e"; | &ref(): File not found: "audio_ace_step_1_5_split_4b.json" at page "ComfyUI9e"; | |
| 生成ファイル | ComfyUI/audio/audio_11_連番.mp3 | ComfyUI/audio/audio_12_連番.mp3 | ComfyUI/audio/audio_13_連番.mp3 |
| Caption (Prompt) | Neo-Soul: A warm, organic neo-soul track dripping with live instrumentation and effortless groove. A live drummer plays a loose, hip-hop influenced pocket—soft kick drum with lazy swing, snare hits that sit just behind the beat, and brushed hi-hats that breathe and shuffle with human imperfection. | K-Pop: A slick, maximalist K-pop track that genre-hops with precision and style. The production shifts seamlessly between sections—a hard-hitting trap-influenced verse with rapid-fire rapping, a softer R&B pre-chorus with breathy vocals and lush harmonies, then an explosive, synth-driven pop chorus with an ear worm hook. |
Rock: A powerful, high-energy modern rock track with a raw and rebellious edge. Driven by distorted electric guitars, punchy live drums, and a strong bassline. The song builds dynamically from tension to explosion, balancing aggression and emotion. |
| Neo-Soul：生楽器の響きと、肩の力の抜けたグルーヴが溢れる、温かくオーガニックなネオ・ソウルのトラック。生ドラムが、ヒップホップの影響を感じさせるルーズな「ポケット（心地よいノリ）」を刻みます。ソフトなキックはゆったりとしたスウィング感を持ち、スネアはビートのわずか後ろで鳴り、ブラシを使ったハイハットは、人間味あふれる不完全さを伴いながら、呼吸するようにシャッフルしています。 | K-Pop：精緻かつスタイリッシュにジャンルを横断する、洗練されたマキシマリストなK-POPトラック。楽曲の展開は極めてスムーズで、トラップの影響を受けた力強いヴァース（高速ラップをフィーチャー）から、息遣いを感じさせるボーカルと豊かなハーモニーが印象的な柔らかなR&B調のプレコーラスへと移行し、最後には中毒性のあるフックを伴った、シンセ主導の爆発的なポップ・コーラスへと雪崩れ込みます。 | Rock：荒々しく反骨精神に満ちた、パワフルでエネルギッシュなモダンロックトラック。 歪んだエレキギター、力強い生ドラム、そして重厚なベースラインが楽曲を牽引する。 緊張感から爆発へとダイナミックに展開し、攻撃性と感情のバランスが絶妙だ。 | |
| Lyrics (歌詞) |
[Intro - Guitar Riff & Drums] mm… yeah… let it breathe… [Verse 1] Late night glow on your skin Window cracked, city hums again Coffee rings on the table top Time don’t rush, it just drops Loose kick drum, heart runs slow Snare talks back, says “take it low” Every step just slightly late Still we land right on the faith [Verse] Your laugh swings behind the beat Barefoot dancing on the street Nothing polished, nothing tight Feels more real that way tonight Brush those hats, let them slide Leave some space where truth can hide If it falls, let it fall That’s the soul inside it all [Pre-Chorus] No count-in for this kind of love We don’t line it up We just lean and trust [Chorus] Stay right there, don’t pull it straight I love how we arrive late Off the grid but locked in time That lazy swing feels like mine Yeah we bend, we drift, we sway Let tomorrow wait its turn today If love lives just off the line Soft kick drum, your hand in mine [Verse] Vinyl spins, the room exhales Every scar tells its tale Your voice cracks, but I don’t care That’s the truth living in there Heartbeat talks through wood and wire Low-end warmth, a quiet fire Nothing perfect, nothing clean Still the best thing I’ve ever seen [Bridge] Brush it light, let it breathe Leave a little space for me Every miss is part of it That’s how soul was always meant Behind the beat, but dead-on true Every swing just sounds like you If the night don’t find a end I’ll stay right here, count me in [Chorus] Stay right there, don’t pull it straight I love how we arrive late Off the grid but locked in time That lazy swing feels like mine Yeah we bend, we drift, we sway Let tomorrow wait its turn today If love lives just off the line Soft kick drum, your hand in mine [Outro - Guitar Riff & Final Chord] no rush… no rush… just groove… |
[Intro - Synth Rise & Vocal Chop] yeah— uh turn it up [Verse 1 - Trap Rap] Click-clack, camera flash, we don’t miss Run the board, every move calculated Big bass hit when I step in the frame Too fast, they can’t even say my name Radar locked, yeah I’m on that lane Drip so sharp, cut through champagne Talk cheap, but my sound heavyweight Countdown tickin’, watch me detonate [Verse 2 - Trap Rap] 808 talk, let it shake the floor All eyes on me when I hit that door Too bold, too cold, no rehearsal Built this crown from universal Chain reaction when I breathe that fire One line, whole room go higher No pause, no fear, full ignition This that global transmission [Pre-Chorus - R&B] Pull me closer, slow it down Heartbeat under the sound When you whisper my name like that I forget where the edges are Lights go low, voices melt Every note just how I felt Hold your breath, let it bloom Something ’bout to break real soon [Chorus - Pop Explosion] Boom, boom, feel it in your chest When the beat drop, we the best Hands up high, don’t overthink Say my name, make the whole world blink Flash, flash, colors collide We don’t wait, we ignite Round and round, stuck in your brain This that hook you won’t escape [Post-Chorus - Chant] Hey! Turn it l |
[Verse 1] Static in the air, I feel it in my bones Every step I take, I’m carving out my own No more shadows telling me who to be I draw the line, now watch me break free [Pre-Chorus] Hear the sound, it’s getting louder Pressure turning into power I won’t wait, I won’t fall back This is the moment, this is the attack [Chorus] Shout it out, I’m alive tonight Burning bright in the dead of night Hands up, feel the ground shake This is everything I’m gonna take [Bridge] Silence hits before the storm Heart beats fast, I transform [Final Chorus] Shout it out, I’m alive tonight No more fear, no need to hide Turn it up, let the walls break This is the fire you can’t escape |
| 生成楽曲再生 |
| 項目 | ACE-Step 1.5 音楽生成AIO | 6101_ace_step_1_5_checkpoint.json | |
| Caption (Prompt) |
A melancholic J-pop ballad with soft piano and lush string arrangements. Female vocals with a breathy, emotional delivery. Slow tempo with a cinematic feel. The track builds gradually from a sparse piano intro to a full orchestral outro. | ||
| 柔らかなピアノと豊かなストリングスアレンジが印象的な、メランコリックなJ-POPバラード。 息遣いを感じさせる、情感豊かな女性ボーカル。ゆったりとしたテンポで、映画のような雰囲気を醸し出す。 シンプルなピアノのイントロから始まり、壮大なオーケストラのアウトロへと徐々に盛り上がっていく楽曲。 | |||
| Lyrics (歌詞) |
[Intro] La la la... [Verse 1] 窓の外の雨が降る あなたのことを思い出す 消えない記憶の中で また泣いている [Pre-Chorus] もう会えないと知りながら それでも声が聞こえる [Chorus] あなたがいた日々を 永遠に忘れない この痛みさえも 愛しているよ [Verse 2] 色あせた写真の中 微笑むあなたが眩しい 時間は過ぎても 想いは変わらない [Pre-Chorus] もう戻れないと知りながら それでも夢を見ている [Chorus] あなたがいた日々を 永遠に忘れない この痛みさえも 愛しているよ [Bridge - whispered] さよならも言えなくて ただ空を見上げていた [Chorus - anthemic] あなたがいた日々を 永遠に忘れない この痛みさえも 愛しているよ [Outro] La la la... |  | |
| 生成楽曲再生 | |||