私的AI研究会 > ComfyUI7
「ComfyUI」を使ってローカル環境でのAI音楽生成を検証する
| 「ACE-Step」を使って音楽を作成してみる |
ComfyUI
├─input ← ワークフローに含まれる入力画像
└─user
└─default
└─workflows ← ワークフローの保存場所
├─_audio
├─_base
├─_base_i2i
├─_base_t2i
├─_prompt
├─_utility
├─_video
└─test
・解凍してできる「ComfyUI/」フォルダを「StabilityMatrix/Data/Packages/ComfyUI」へ上書きコピーする| ワークフロー | 機 能 | CPU | CPU | ||||
| RTX 4070 | RTX 4060 | RTX 4060L | RTX 3050 | GTX 1050 | i7-1260P | ||
| audio_ace_step_1_t2a_instrumentals.json | Text to Instrumentals | 00:08.61 | 00:22.63 | 00:33.30 | 00:43.14 | 03:06.65 | 14:14.08 |
| audio_ace_step_1_t2a_song.json | Text to Song | 00:26.37 | 01:01.53 | 01:39.03 | 01:37.32 | 10:26.01 | 63:18.43 |
| ace_step_1_m2m_editing.json | M2m Editing | 00:09.68 | 00:23.34 | 00:37.81 | 00:44.81 | 03:22.20 | 20:14.84 |
| audio_test.json | テキストから楽曲生成の基本 | 00:25.65 | 01:03.56 | 01:34.33 | 01:40.37 | 10:59.16 | 61:21.31 |
| 項目 | 器楽曲 | 英語の歌詞 | 音楽から音楽（アレンジ）日本語の歌詞 |
| ワークフロー |  audio_ace_step_1_t2a_instrumentals.json | audio_ace_step_1_t2a_song.json | ace_step_1_m2m_editing.json |
| 楽曲ファイル名 | ComfyUI/audio/audio_01_連番.mp3 | ComfyUI/audio/audio_02_連番.mp3 | ComfyUI/audio/audio_03_連番.mp3 |
| Prompt | anime, kawaii pop, j-pop, childish, piano, guitar, synthesizer, fast, happy, cheerful, lighthearted | anime, soft female vocals, kawaii pop, j-pop, childish, piano, guitar, synthesizer, fast, happy, cheerful, lighthearted | anime, cute female vocals, kawaii pop, j-pop, childish, piano, guitar, synthesizer, fast, happy, cheerful, lighthearted |
| Lyrics | [instrumental] [break down] [drum fill] [chopped samples] | Verse Neon rain on my screen, Dreams compile in silver sheen. No weight, just motion, I’m plugged into emotion. Chorus Comfy Cloud ? breathing light, Code and color, spark and wire. Drift through data, feel alive, In your circuits, I arrive. | [verse] フワフワ オミミガ ユレルヨ カゼノナカ キラキラ アオイメ ミツメル セカイヲ [verse] フワフワ シッポハ オオキク ユレルヨ キンイロ カミノケ ナビクヨ カゼノナカ [verse] コンフィーユーアイノ マモリビト ピンクノ セーターデ エガオヲ クレルヨ アオイロ スカートト クロイコート キンノモヨウ ヤサシイ ヒカリガ ツツムヨ フェネックガール [verse] フワフワ オミミデ キコエル ココロノ コエ ダイスキ フェネックガール イツデモ ソバニイルヨ |
| 生成楽曲再生 |
audio_test.json| Prompt anime, cute female vocals, kawaii pop, j-pop, childish, piano, guitar, synthesizer, fast, happy, cheerful, lighthearted |
| Lyrics [Chorus] [ja]Nee, kao ga akai yo? Doushita no? Netsu ga aru no? Soretomo okotteru no? Nee, itte yo! [ja]Doushite sonna me de miru no? Watashi, warui koto shita? Nanika machigaeta no? Onegai, yamete… kowai kara… Dakara, yamete yo… [Bridge] [ja]Me o tojite, kurutto se o mukete, Nanimo minakatta furi suru kara, Okoranaide… yurushite yo… [Chorus] [ja]Nee, kao ga akai yo? Doushita no? Netsu ga aru no? Soretomo okotteru no? Nee, itte yo! [ja]Doushite sonna me de miru no? Watashi, warui koto shita? Nanika machigaeta no? Onegai, yamete… kowai kara… Dakara, yamete yo… [Bridge 2] [ja]Matte, moshi watashi ga warui nara, Gomennasai tte iu kara, Aisukuriimu ageru kara, Mou okoranaide? [ja]Ooooh… itte yo! |
[Chorus]
ねぇ、顔が赤いよ？
どうしたの？ 熱があるの？
それとも怒ってるの？
:
【回答】ご提示いただいた歌詞を、歌いやすさや読みやすさを重視したヘボン式ローマ字で変換しました。[Chorus]
Nee, kao ga akai yo? (ねぇ、顔が赤いよ？) Doushita no? Netsu ga aru no? (どうしたの？ 熱があるの？) Soretomo okotteru no? (それとも怒ってるの？) Nee, itte yo! (ねぇ、言ってよ！)
:
［質問］日本語は後ろにまとめてくださいRomanized Text (ローマ字) [Chorus] Nee, kao ga akai yo? Doushita no? Netsu ga aru no? Soretomo okotteru no? Nee, itte yo! Doushite sonna me de miru no? Watashi, warui koto shita? Nanika machigaeta no? Onegai, yamete… kowai kara… Dakara, yamete yo… [Bridge] Me o tojite, kurutto se o mukete, Nanimo minakatta furi suru kara, Okoranaide… yurushite yo… [Chorus] Nee, kao ga akai yo? Doushita no? Netsu ga aru no? Soretomo okotteru no? Nee, itte yo! Doushite sonna me de miru no? Watashi, warui koto shita? Nanika machigaeta no? Onegai, yamete… kowai kara… Dakara, yamete yo… [Bridge 2] Matte, moshi watashi ga warui nara, Gomennasai tte iu kara, Aisukuriimu ageru kara, Mou okoranaide? Ooooh… itte yo! Japanese Text (日本語) [Chorus] ねぇ、顔が赤いよ？ どうしたの？ 熱があるの？ それとも怒ってるの？ ねぇ、言ってよ！ どうしてそんな目で見るの？ 私、悪いことした？ 何か間違えたの？ お願い、やめて… 怖いから… だから、やめてよ… [Bridge] 目を閉じて、くるっと背を向けて、 何も見なかったフリするから、 怒らないで… 許してよ… [Chorus] ねぇ、顔が赤いよ？ どうしたの？ 熱があるの？ それとも怒ってるの？ ねぇ、言ってよ！ どうしてそんな目で見るの？ 私、悪いことした？ 何か間違えたの？ お願い、やめて… 怖いから… だから、やめてよ… [Bridge 2] 待って、もし私が悪いなら、 ごめんなさいって言うから、 アイスクリームあげるから、 もう怒らないで？ Ooooh… 言ってよ！ 他にご希望のフォーマット（長音にマクロン ā をつける等）があれば、いつでもお知らせください。
| ACE-Step による音楽生成に必要なプロンプトに対する基礎知識をまとめる。（ComfyUI ACE-Step Native Example の要約） ACE-Step は現在「tags」「lyrics」2種類のプロンプトを使用している |
| 「tags」 ・主に音楽スタイルやシーンなどを説明するために使われる。主に音声の全体的なスタイルや要件を英語のコンマで区切って説明している |
| 「lyrics」 ・主に歌詞を表現するために使われ、[verse]、[chorus]、[bridge] などの歌詞構造タグで歌詞の異なる部分を区別する ・純粋なインストゥルメンタル音楽の場合は、楽器名を入力することもできる |
「tags」「lyrics」の例：→ ACE-Step: A Step Towards Music Generation Foundation Model
| 分類 | 目的 | タグ | 意味 |
| Mainstream Music Styles 主流の音楽スタイル | 短いタグの組み合わせを使って特定の音楽スタイルを生成 | electronic | 電子音楽 |
| rock | ロック | ||
| pop | ポップス | ||
| funk | ファンク | ||
| soul | ソウル | ||
| cyberpunk | サイバーパンク | ||
| Acid jazz | アシッドジャズ | ||
| electro | エレクトロ | ||
| em (electronic music) | EM(エレクトロニック・ミュージック) | ||
| soft electric drums | ソフトエレクトリックドラム | ||
| melodic | 旋律的 | ||
| Scene Types シーンの種類 | 特定の使用シナリオや雰囲気を組み合わせて、対応するムードに合った音楽を生成 | background music for parties | パーティーのBGM |
| radio broadcasts | ラジオ放送 | ||
| workout playlists | ワークアウトプレイリスト | ||
| Instrumental Elements 楽器要素 | saxophone | サキソフォン | |
| jazz | ジャズ | ||
| piano | ピアノ | ||
| violin | バイオリン | ||
| Vocal Types ボーカルの種類 | female voice | 女性 | |
| male voice | 男性 | ||
| clean vocals | クリーンボーカル | ||
| Professional Terms 専門用語 | 音楽でよく使われる専門用語を使って音楽効果を正確にコントロール | 110 bpm (beats per minute is 110) | ビート数は110 bpm |
| fast tempo | 速いテンポ | ||
| slow tempo | スローテンポ | ||
| loops | ループ | ||
| fills | フィル | ||
| acoustic guitar | アコースティックギター | ||
| electric bass | エレクトリックベース |
| 分類 | 目的 | タグ | 意味 |
| Lyric Structure Tags 歌詞構造タグ | [outro] | 楽曲の終わりを指定したいとき | |
| [verse] | 曲の出だしのゆったりしたパート（Aメロ） | ||
| [chorus] | 楽曲のメインとなるコーラス（サビ） | ||
| [bridge] | 次のパートへのつなぎ 最終コーラスの前に使うことが多い | ||
| SUNO AI 歌詞（曲）構成メタタグ | [pre-chorus] | サビの前の盛り上げるパート（Bメロ） | |
| [intro] | 歌の出だしを指定したいとき使う 最初から歌わせたい場合は歌詞を入力する | ||
| [outro] | 楽曲の終わりを指定したいとき | ||
| [rap] | 歌がラップ調になる | ||
| [Drop] | ビートを盛り上げたいパートに入れる | ||
| [Hook] | コーラスのようなもの。リズミカルで単調、もしくはキャッチーな雰囲気（rapメインの楽曲など） | ||
| [instrumental] | 楽器だけの演奏パート | ||
| [interlude] | 楽器だけの短い演奏パート | ||
| [voice] | 語りを入れたいときに使う | ||
| [spoken] | 語りを入れたいときに使う | ||
| ※ 参照：→ SUNO AI 歌詞（曲）構成メタタグ一覧｜Song structure | |||
| 多言語サポート ・ACE-Step V1 は複数の言語をサポートしている。使用時には、ACE-Stepは異なる言語を英語の文字に変換し、その後音楽を生成する ・ComfyUI では、すべての言語を英語の文字に変換する機能を完全には実装していない。現在は、日本のひらが名と片假名のキャラクターが実装されている 複数の言語を音楽生成に使う必要がある場合は、まず対応する言語を英語のアルファベットに変換し、 次に日本語語[ja]や韓国語[ko]などの言語コードの略語を入力する必要がある |