原曲から引き継ぐもの
標準カバーフローは、原音の波形を直接生成器に渡すのではなく、転写した旋律を受け渡します。転写ミスがカバーにも残る場合があるので、先に楽譜を見直しましょう。
使用する録音と歌詞には必要な権利を確保してください。重みのライセンスは、他者の曲や声を使う許可まで与えるものではありません。
Music Coverテンプレートから始める
ComfyUIのテンプレートライブラリで YuE2: Music Coverを開きます。YuE2の重みに加え、models/audio_encoders/に sheetsage2_bf16.safetensorsが必要です。参考音声、新しい曲調と歌詞を入力して実行します。
新しい歌詞は元のフレーズや音節数に近づけてください。短い行のための旋律に、長い文章が自然に収まるとは限りません。
Pythonの転写環境は分ける
公式カバーガイドでは、依存ライブラリが異なるためSheetSage2用の環境を分けます。SheetSage2はPython 3.10または3.11とFFmpeg 6.1の共有ライブラリ、YuE2はPython 3.12を使います。
環境間ではABCと音声ファイルを受け渡します。転写と生成を順番に実行すれば、一枚のGPUを共有できます。プラットフォームごとのコマンドは公式の全手順を参照してください。
楽譜のコピーを編集する
元の出力を保存し、score.abcのコピーを編集します。メロディを保って伴奏に自由を残すなら cot="melody"、旋律と和声を両方渡すなら cot="full"を使います。
コードだけを変える実験では、音符、長さ、小節の境界、テンポを保ちます。リポジトリの abc_tools.py compareで対応する条件を確認できます。楽譜が一致しても歌声や音色は変わり得るので、両方を最後まで聴きましょう。
出典・参考資料
リンク先の資料を確認して執筆しています。当サイト独自の推論ベンチマークは実施していません。