HeyGen Video 1.0: ComfyUI에서 텍스트·이미지·레퍼런스로 비디오 생성

ComfyUI에서 프롬프트, 첫 프레임 또는 최대 12개의 레퍼런스 이미지, 비디오, 오디오 클립으로부터 동기화된 대사가 포함된 5~15초 클립 생성

HeyGen Video 1.0은 HeyGen의 범용 비디오 모델로, 화면과 대사, 분위기를 한 번에 생성합니다. 프롬프트에 장면과 대사를 설명하면 음성이 동기화된 클립이 반환되므로, 토킹 헤드나 제품 비디오에 촬영도, 진행자도, 별도의 음성 해설 단계도 필요하지 않습니다.

ComfyUI에서 이 모델은 두 개의 파트너 노드를 통해 실행됩니다. HeyGen Video 1.0 Reference to Video는 텍스트 기반 비디오 생성을 단독으로 처리하고, 이미지, 비디오 또는 오디오가 연결되면 레퍼런스 기반 비디오 생성도 처리합니다. HeyGen Video 1.0 Image to Video는 첫 프레임에서 시작합니다. 둘 다 클라우드 API 노드이므로, 크레딧이 있는 Comfy 계정이 필요하며 로컬 모델은 다운로드하지 않습니다. 초당 요금은 파트너 노드 크레딧을 참고하세요.

모든 실행은 480p 또는 768p 해상도의 5~15초 클립을 반환하며, 대사와 공간음, 음악이 이미 비디오에 포함되어 있습니다.

파트너 노드를 사용하려면 올바르게 로그인되어 있고 허가된 네트워크 환경을 사용하고 있는지 확인해야 합니다. 파트너 노드를 사용하기 위한 구체적인 요구사항은 문서의 파트너 노드 개요 섹션을 참조해 주세요.

로컬 사용자

ComfyUI가 최신 버전으로 업데이트되었는지 확인하세요.

• ComfyUI 다운로드
• 업데이트 가이드

이 가이드의 워크플로는 워크플로 템플릿에서 확인할 수 있습니다. 템플릿에서 찾을 수 없다면, 귀하의 ComfyUI가 오래된 버전일 수 있습니다.

워크플로를 로드할 때 노드가 누락되는 경우, 가능한 원인:

1. 최신 ComfyUI 버전(최신 테스트 버전(nightly))을 사용하고 있지 않음
2. 일부 노드가 시작 시 가져오기에 실패함

클라우드 사용자

• 클라우드는 ComfyUI 안정판 출시 후 업데이트됩니다.

따라서 이 문서에서 핵심 노드가 누락된 것을 발견했다면, 그 이유는 새로운 핵심 노드가 아직 최신 안정판에 공개되지 않았기 때문일 수 있습니다. 다음 안정판 출시를 기다려 주세요.

​

사용 가능한 워크플로

​

텍스트 기반 비디오 생성

프롬프트만으로 클립을 생성합니다. 프롬프트에 동작, 대사, 사운드가 담기므로, 노드를 한 번 실행하면 대사가 포함된 완성된 클립이 반환됩니다.

Comfy Cloud에서 실행

Comfy Cloud에서 열기

워크플로 다운로드

JSON을 다운로드하거나 템플릿 라이브러리에서 “HeyGen Video 1.0: Text to Video”를 검색하세요

텍스트 기반 비디오 생성 템플릿은 레퍼런스 기반 비디오 생성 노드를 아무것도 연결하지 않은 채 실행하며, 이것이 해당 노드의 텍스트 기반 비디오 생성 모드입니다.

​

이미지 기반 비디오 생성

이미지 하나를 애니메이트합니다. 이미지는 클립의 첫 프레임이 되고, 출력은 이미지의 가로세로 비율을 유지하므로 다른 형태가 필요하면 이미지를 크롭하세요. 프롬프트가 어떤 일이 일어나고 무엇이 말해지는지를 결정합니다.

Comfy Cloud에서 실행

Comfy Cloud에서 열기

워크플로 다운로드

JSON을 다운로드하거나 템플릿 라이브러리에서 “HeyGen Video 1.0: Image to Video”를 검색하세요

입력 소재

model_red_curls_ring.png

HeyGen Video 1.0 이미지 기반 비디오 생성 노드에 공급되는 LoadImage 노드에 로드하세요

​

레퍼런스 기반 비디오 생성

사람, 제품, 장소를 레퍼런스로 연결하여 샷 전체에서 일관되게 유지하세요. 이미지 최대 9개, 비디오 3개, 오디오 클립 3개로 총 12개까지 가능합니다. 그런 다음 프롬프트에서 이들을 @Image1, @Video1, @Audio1로 지칭하며, 각 유형별로 입력 순서에 따라 번호가 매겨집니다.

Comfy Cloud에서 실행

Comfy Cloud에서 열기

워크플로 다운로드

JSON을 다운로드하거나 템플릿 라이브러리에서 “HeyGen Video 1.0: Reference to Video”를 검색하세요

입력 소재

model_black_blazer_red_earrings.png

첫 번째 레퍼런스 이미지 슬롯에 로드하세요 · @Image1

cognac_leather_handbag.png

두 번째 레퍼런스 이미지 슬롯에 로드하세요 · @Image2

​

노드 컨트롤

컨트롤	값	적용 대상	효과
prompt	텍스트, 최대 32000자	두 노드 모두	샷, 대사, 사운드. 레퍼런스 미디어는 @Image1, @Video1, @Audio1로 지정합니다
duration	5~15초	두 노드 모두	슬라이더, 기본값 5
resolution	480p, 768p	두 노드 모두	출력 해상도
aspect_ratio	auto, 16:9, 9:16, 1:1, 4:3, 3:4, 21:9	레퍼런스 기반 비디오 생성	아무것도 연결하지 않으면 auto는 16:9입니다. 레퍼런스가 있으면 첫 번째 레퍼런스 이미지를 따르고, 이미지가 연결되지 않은 경우에는 첫 번째 레퍼런스 비디오를 따릅니다
seed	정수	두 노드 모두	같은 시드를 사용해도 실행마다 결과가 달라질 수 있습니다
reference_images	최대 9개	레퍼런스 기반 비디오 생성	슬롯당 이미지 한 개. 단일 슬롯에 배치된 입력은 거부됩니다
reference_videos	최대 3개	레퍼런스 기반 비디오 생성	슬롯당 비디오 한 개
reference_audios	최대 3개	레퍼런스 기반 비디오 생성	최소 한 개의 레퍼런스 이미지 또는 비디오가 연결되어야 합니다. 음성 레퍼런스는 몇 초 분량의 깨끗한 음성이 필요합니다

이미지 기반 비디오 생성 노드는 이미지, 프롬프트, 재생 시간, 해상도, 시드를 받습니다. 첫 프레임이 클립의 형태를 결정하기 때문에 종횡비 컨트롤은 없습니다.

​

프롬프트 팁

• 대사는 프롬프트에 그대로 작성하세요. 대사를 샷 설명의 일부로 따옴표 안에 넣으면 모델이 그 대사를 말하고 입 모양도 이에 맞춥니다. 두 템플릿 모두 형태를 보여주는 긴 예시 프롬프트를 함께 제공합니다. 먼저 샷과 피사체, 그다음 따옴표로 묶은 대사, 마지막으로 사운드와 카메라 언어 순입니다.
• 사운드도 화면과 함께 설명하세요. 룸 톤, 음악, 또는 동작이 만들어내는 노이즈는 컨트롤로 설정하는 것이 아니라 프롬프트에 작성합니다. 샘플 프롬프트는 앰비언스로 끝납니다. 예를 들어 희미한 주전자 끓는 소리가 섞인 조용한 룸 톤, 또는 물건을 내려놓을 때 나는 부드러운 유리 잔 부딪히는 소리 같은 것입니다.
• 제품이나 발표자의 일관성을 유지하세요. 제품이나 인물을 레퍼런스 이미지로 연결하고 프롬프트에서 이름을 지정한 다음, 어떻게 동일하게 유지되어야 하는지 설명하세요. 예를 들어 @Image2의 가방에서 정확한 색상, 비율, 하드웨어를 유지하는 것입니다.
• 레퍼런스로 샷의 형태를 잡으세요. aspect_ratio를 auto로 설정하면 프레이밍이 첫 번째 레퍼런스 이미지를 따르므로, 가장 먼저 연결한 레퍼런스가 비디오의 형태를 결정합니다.
• 실행할 때마다 결과가 달라질 수 있습니다. 시드는 결과를 고정하지 않으므로, 동일한 설정으로도 다른 결과가 나올 수 있습니다.

​

시작하기

1. ComfyUI를 최신 버전으로 업데이트합니다
2. 템플릿 라이브러리로 이동해 HeyGen Video 1.0을 검색합니다