원곡에서 무엇이 전달되나요?
기본 커버 흐름에서는 원본 파형을 생성기에 직접 넣는 대신 전사한 멜로디를 전달합니다. 전사 오류가 커버에 이어질 수 있으므로 먼저 악보를 확인하세요.
사용 권한이 있는 녹음과 가사를 준비하세요. 모델 가중치 라이선스가 타인의 곡이나 목소리를 사용할 권리까지 주지는 않습니다.
Music Cover 템플릿으로 시작하기
ComfyUI 템플릿 라이브러리에서 YuE2: Music Cover를 여세요. YuE2 체크포인트와 함께 models/audio_encoders/에 sheetsage2_bf16.safetensors가 필요합니다. 참고 오디오, 새 스타일, 가사를 입력하고 실행합니다.
새 가사는 원래 문장의 프레이징과 음절 수에 가깝게 쓰세요. 짧은 줄에 맞춘 멜로디가 긴 문단을 자연스럽게 받아들이기는 어렵습니다.
Python 전사 환경은 따로 구성하기
공식 커버 가이드는 의존성 차이 때문에 SheetSage2 환경을 분리합니다. SheetSage2는 Python 3.10 또는 3.11과 FFmpeg 6.1 공유 라이브러리를 요구하며, YuE2는 Python 3.12를 사용합니다.
환경 사이에서 ABC와 오디오 파일을 주고받으세요. 전사와 생성을 차례로 실행하면 GPU 하나를 공유할 수 있습니다. 플랫폼별 명령은 전체 공식 가이드를 따르세요.
원본 악보를 보관하고 사본 편집하기
원본 생성 파일을 저장하고 score.abc를 복사해서 편집하세요. 멜로디를 유지하며 반주에 자유를 주려면 cot="melody", 멜로디와 화성을 함께 지정하려면 cot="full"을 사용합니다.
코드만 바꾸는 실험에서는 음표, 길이, 마디 경계와 템포를 유지하세요. 저장소의 abc_tools.py compare는 지원하는 조건을 검사합니다. 악보가 같더라도 보컬이나 음색은 달라질 수 있으므로 두 버전을 끝까지 들어 보세요.
출처와 참고 자료
연결된 공식 문서를 기준으로 작성했습니다. 자체 하드웨어 추론 벤치마크는 진행하지 않았습니다.