ファイルと役割を確認する
| リソース | 用途 |
|---|---|
| 公式YuEリポジトリ | Python推論、サンプル、楽譜編集、ソースコード。 |
| m-a-p/YuE2-3B | Pythonパイプラインの中心となる生成モデル。 |
| m-a-p/YuE2-Vae | 通常の生成と試聴に使うデコーダー。 |
| Comfy-Org/YuE2 | ComfyUI標準テンプレート用のモデル。 |
YuE2-Vae-legacyは公表済みベンチマークの再現用です。最初の曲には現在の標準デコーダーを使ってください。通常の生成にMERT2を別途ダウンロードする必要はありません。
公式Python環境を用意する
公式の開始構成はLinux、Python 3.12、BF16対応のVRAM 24GB NVIDIA GPUです。前提を満たしたうえで次のコマンドを実行します。
TERMINAL / FILE
git clone https://github.com/multimodal-art-projection/YuE.git
cd YuE
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install .
python examples/generate.py --output outputs/first-song初回はHugging Faceからモデルが取得されます。ダウンロード時間と推論時間は分けて考えましょう。上の手順は公式資料に基づくもので、当サイトで推論性能を測定した結果ではありません。
音声以外の出力も残す
outputs/first-song/audio.flacを開いて聴きます。出力フォルダには楽譜や設定、中間データも残るので、編集や比較に備えてまとめて保存してください。
result.jsonの切り詰めフラグも確認しましょう。再生できる音声でも、トークン上限で途中終了している場合があります。リクエストを変えるたびに新しい出力フォルダを使うと混同を防げます。
コードとモデルの版をそろえる
比較実験ではリポジトリとモデルのリビジョンを固定しましょう。シードが同じでも、ランタイムやデコーダー、サンプリング設定が変わると結果は変わり得ます。
初代YuEのコードと説明は YuE-v1ブランチにあります。その手順やライセンスをYuE2に流用しないよう注意してください。画面上で作業したい場合はComfyUIガイドへ進みましょう。
出典・参考資料
リンク先の資料を確認して執筆しています。当サイト独自の推論ベンチマークは実施していません。