블로그

사용 가이드

HiAPI에서 vidu-q3-mix 참조 기반 영상 생성으로 숏폼 영상 만들기

캐릭터 일관성 있는 클립, 음성 참조 내레이션, 후반 작업 리듬을 다루는 개발자 워크플로

Nov 9, 2026
플랫 기하학 스타일 커버 이미지: 짙은 인디고 배경 위로 여러 겹의 넓은 갈매기형 화살표가 수평 방향으로 층층이 나아가며, 앞쪽 가장자리는 살구색 오렌지입니다.
이 페이지에서

vidu-q3-mix 참조 기반 영상 생성 작업이 제공하는 것

HiAPI의 vidu-q3-mix/reference-to-video 작업은 완성된 영상 단계가 아니라 생성 단계입니다. 참조 자료—캐릭터나 장면의 외형을 정의하는 이미지—와 동작을 설명하는 프롬프트 텍스트를 제출하면 하나의 클립을 받습니다. 숏폼 영상 파이프라인에서 이 작업은 중간에 위치합니다. 상류에는 참조 자료 준비와 프롬프트 설계가, 하류에는 검토, 트리밍, 조립이 있습니다.

유용한 멘탈 모델은 세 개의 입력 채널이 하나의 출력으로 모이는 것입니다.

입력 내용

  • 참조 이미지. 외형을 고정하기 위한 하나 이상의 정지 프레임: 얼굴, 헤어스타일, 의상, 색조, 환경.
  • 프롬프트. 화면에서 무슨 일이 일어나야 하는지 자연어로 설명합니다—주체, 동작, 카메라 느낌, 분위기.
  • 선택적 음성 참조. 내레이션에 특정 음색을 입히고 싶을 때 사용하는 오디오 샘플.

출력 내용

하나의 생성된 클립입니다. 원본 소재로 취급하세요. 모델은 타임라인 편집기가 아닙니다. 박자에 맞춰 영상을 편집하거나 자막을 겹쳐 넣지 않으며, 네 번째 숏이 첫 번째 숏과 픽셀 단위로 일치한다고 보장하지도 않습니다. 이는 후반 작업에서 여러분이 할 일입니다.

적용 위치

숏폼 영상은 보통 여러 개로 생성된 클립을 정렬하고 조합하여 만듭니다. reference-to-video 작업은 이 제작 과정에서 반복 가능한 단위입니다. 한 번 호출, 한 개의 숏, 완성품 하나에는 여러 번의 호출이 필요합니다. 이 단위를 중심으로 계획해야 프로젝트를 통제 가능하게 유지하고 기대치를 현실적으로 조정할 수 있습니다. 한 번의 생성으로 내레이션과 자막, 리듬이 갖춰진 완성된 영상이 나오리라고 기대하지 마세요. 좋은 숏 하나를 만들게 하고, 그다음 숏들을 조립하세요.

생성은 클립 단위로 이루어지므로 비용은 산출하는 숏의 수와 각 숏의 길이에 따라 달라집니다. 따라서 완성 영상의 분 단위가 아니라 숏 수와 출력 길이를 기준으로 예산을 책정하세요. 배치 규모를 정하기 전에 플랫폼의 가격 패널에서 현재 요금을 확인하세요.

참조 이미지와 음성 샘플이 한 번의 참조 기반 생성 단계로 입력되고, 그 단계가 단일 클립을 출력합니다.

참조 이미지를 중심으로 숏폼 숏 계획하기

숏폼 영상의 성패는 처음 2초에 달려 있으므로 API를 호출하기 전에 숏 계획을 작성하세요. 먼저 작품을 숏으로 나누어 종이에 적고, 그다음 각 숏에 어떤 참조 자료가 필요한지 결정하세요.

숏 목록 작성하기

각 항목은 네 가지에 답해야 합니다. 시청자가 무엇을 보는지, 주체가 무엇을 하는지, 이 순간을 이해하는 데 얼마나 걸리는지, 내레이션이 덮이는지. 30초 작품은 다섯에서 여덟 개의 숏이 될 수 있습니다. 더 적고 더 긴 숏은 일관성을 유지하기 쉽고, 더 많고 더 짧은 숏은 리듬을 더 잘 제어할 수 있지만 시각적 흐트러짐이 생기기 쉽습니다.

프로젝트가 아니라 숏 단위로 참조 자료 선택하기

흔한 실수는 한 세트의 참조 자료가 모든 것을 커버할 수 있다고 생각하는 것입니다. 실제로 참조 자료는 숏에 맞춰 정교하게 골라야 합니다.

  • 주체가 화면에 있고 식별 가능—선명한 정면 캐릭터 이미지를 제공하고, 숏에 움직임이나 회전이 포함되면 보조 각도나 표정을 한두 개 더 제공하세요.
  • 주체가 화면에 없거나 아주 작게 보임—얼굴보다 환경이 더 중요합니다. 장소, 의상, 소품을 참조하세요.
  • 새 캐릭터 등장—자체 참조 세트를 가질지 결정하고, 첫 등장부터 일관성을 유지하세요.

참조 자료를 깔끔하고 일관되게 유지하기

주체가 가려지지 않고 조명이 좋으며, 같은 캐릭터의 다른 참조 자료와 스타일이 충돌하지 않는 이미지를 사용하세요. 참조 자료 간에 조명이나 예술 스타일이 섞이면 출력이 시각적 노이즈로 치우칩니다. 한 캐릭터가 밝은 실외와 어두운 실내에 모두 등장한다면, 다른 사람처럼 보이는 참조 자료로 바꾸는 대신 동일한 참조 세트를 우선 사용하고 조명은 프롬프트로 설명하세요.

참조 자료 버전 관리하기

참조 자료를 예측 가능한 구조—캐릭터 이름, 각도, 변형—로 저장하고, 어떤 참조 세트가 어떤 채택된 숏을 만들어냈는지 기록하세요. 숏이 흐트러질 때 성공한 실행과 실패한 실행 사이에 무엇이 바뀌었는지 정확히 알아야 합니다. 이 작은 규율이 오후 반나절을 아껴 줍니다.

여러 숏 사이에서 캐릭터 일관성 유지하기

따로 생성된 클립 사이의 일관성을 유지하는 것은 참조 기반 워크플로에서 가장 어려운 부분이며, 이는 주로 프롬프트 기술의 문제가 아니라 규율의 문제입니다.

시퀀스 전체에서 동일한 참조 자료 재사용하기

캐릭터의 참조 세트가 확정되면 그 캐릭터가 등장하는 모든 숏에서 이 정확한 자료를 사용하세요. 숏마다 참조 자료를 다시 도출하지 말고, 시퀀스 전체의 기준선을 의도적으로 재설정하지 않는 한 프로젝트 중간에 새로운 참조 자료를 잘라 넣지 마세요. 다른 캐릭터 참조 세트의 자료도 섞지 마세요. 가장 강력한 통일성 신호는 입력의 일관성입니다.

프롬프트 관례 표준화하기

모델이 매번 같은 종류의 설명을 보도록 고정 구조로 프롬프트를 작성하세요. 주체 설명, 그다음 동작, 그다음 카메라, 그다음 분위기 순입니다. 숏 간에 주체 설명을 글자 그대로 유지하세요—같은 캐릭터에는 같은 단어, 같은 의상에는 같은 용어를 씁니다. 변화는 캐릭터가 누구인지 설명하는 방식이 아니라 동작과 카메라 필드에 두어야 합니다.

일치하는 배치로 생성하기

같은 작업 세션에서 관련 숏들을 집중 생성하고 하나씩 보지 말고 나란히 검토하세요. 클립 하나만 볼 때는 보이지 않던 작은 차이가 두 숏을 나란히 두면 분명해집니다. 각 클립을 프롬프트와 고립해서 비교하지 말고 인접 숏과 비교해 평가하세요.

불완전함을 의도적으로 받아들이기

독립 생성 사이에서 완벽한 프레임 단위 일관성을 추구하는 것은 현실적이지 않습니다. 이에 대비해 계획하세요.

  • 구조로 이음새를 숨기세요. 움직임, 각도 변화, 내레이션 박자에서 잘라내면 눈이 두 얼굴을 직접 비교하지 않습니다.
  • 등장 횟수를 줄이세요. 세 숏에 등장하는 캐릭터가 여덟 숏에 등장하는 캐릭터보다 일관성을 유지하기 쉽습니다.
  • 문제 숏을 격리하세요. 한 클립이 계속 흐트러지면 끝없이 재생성하는 대신 프레이밍을 바꾸세요(더 넓게, 어깨 너머로, 부분 가림).

목적을 가지고 재생성하기

클립이 잘못되었을 때 다시 실행하기 전에 어떤 변수를 바꿀지 결정하세요. 참조 자료, 프롬프트 문구, 프레이밍 중 하나입니다. 여러 변수를 동시에 바꾸면 모든 결과가 재현 불가능해지고 일관성 기준선이 조용히 초기화됩니다.

동일한 참조 자료, 동일한 프롬프트 관례: 따로 생성된 클립들이 하나의 연속된 시퀀스처럼 읽힙니다.

음성 참조로 내레이션 만들기

음성 참조는 내레이션의 특성—음색, 어조, 전체적인 느낌—을 형성합니다. 완성된 오디오 믹스를 제공하지도 않고, 숏이 얼마나 지속되는지 알지도 못합니다.

샘플을 집중된 상태로 유지하기

배경 음악, 강한 리버브, 여러 사람이 말하는 소리가 없는 깨끗한 샘플을 제공하세요. 짧고 명확하며 한 사람이 말하는 오디오가 원하는 목소리에 대해 가장 압축된 신호를 줍니다. 선택한 샘플은 이미지 세트와 함께 프로젝트 고정 참조 자료의 일부로 저장하세요.

말하는 길이에 맞춰 작성하기

내레이션 길이는 생성 전에 해결해야 할 텍스트 문제입니다. 원하는 리듬으로 스크립트를 소리 내어 읽고 시간을 재세요. 숏폼 내레이션은 보통 매우 간결합니다. 숏마다 몇 단어면 정상입니다. 한 대사가 숏에 계획한 길이 안에 끝나지 않으면 대사를 삭제하세요. 대사를 끼워 넣으려고 클립이 더 길게 실행되도록 요구하지 마세요.

숏 대비 목소리 위치 계획하기

숏마다 내레이션이 클립 전체를 관통하는지, 단일 박자에 떨어지는지, 전혀 없는지 결정하세요. 유용한 숏폼 패턴은 교대입니다. 오프닝 숏에 훅 대사를 넣고, 동작이 시각적으로 이해되는 동안 침묵을 유지하고, 마지막 박자에 마무리 대사를 둡니다. 이 리듬을 숏 목록에 한 열로 적으면 내레이션은 사후 추가물이 아니라 리듬 도구가 됩니다.

모델 호출 밖에서 오디오 작업 하기

음성 형성은 하나의 입력일 뿐이고 믹싱은 여러분의 일입니다. 편집 도구에서 레벨 조정, 노이즈 제거, 페이드 인/아웃, 음악 베드, 더킹을 처리할 것으로 예상하세요. 내레이션을 별도 오디오 트랙으로 유지하면 화면 대비 미끄러뜨릴 수 있어, 숏이 트리밍될 때 대사 타이밍을 다시 조정할 수 있습니다. 어떤 대사가 흠집이나 이상한 발음을 가져오면 시퀀스 전체를 다시 하지 말고 그 대사만 재생성하세요.

음성 참조를 타이밍이나 믹싱 서비스가 아니라 내레이션 특성의 일관성 도구로 취급하세요.

리듬과 후반 작업 조립하기

클립이 생성되면 작업은 타임라인으로 옮겨 갑니다. 이곳에서 생성된 소재가 숏폼 영상이 되고, 인지되는 품질의 대부분이 확보됩니다.

적극적으로 트리밍하기

생성된 클립은 보통 양 끝에 잉여가 있는 사용 가능한 핵심을 담고 있습니다. 이해되는 순간—시작 동작, 착지 박자—까지 자르세요. 대부분의 초벌 조립은 눈에 띄게 길어지며, 조이는 것이 거의 항상 숏폼 리듬에 맞는 선택입니다. 죽은 프레임이 없도록 하는 것이 목표입니다—시청자는 첫 1초부터 작품이 나아가고 있음을 느껴야 합니다.

리듬에 맞춰 정렬하기

먼저 음소거로 편집본을 보고 숏을 늘어놓으세요. 시각 시퀀스가 무음 상태에서 주의를 끌지 못한다면 내레이션도 구제하지 못합니다. 그다음 숏 길이를 의도적으로 변화시키세요. 더 빠른 편집은 추진력을 만들고, 더 긴 숏 하나는 주의를 재설정합니다. 가능하면 주요 편집점을 내레이션 박자에 맞춰 귀와 눈이 동시에 바뀌게 하세요.

자막을 일급 요소로 다루기

숏폼 영상은 소리 없이 보는 경우가 많으므로 자막이 내레이션을 전달합니다. 화면이 고정된 후 자막을 배치해 화면에 충분히 오래 남아 편하게 읽히게 하고, 생각 중간이 아니라 자연스러운 구 경계에서 줄을 바꾸세요. 자막이 구도와 충돌하면 글자를 알아볼 수 없을 만큼 줄이는 대신 프레이밍을 조정하거나 위치를 바꾸세요.

오디오 정렬 및 믹싱하기

내레이션을 별도 오디오 트랙에 두고 각 대사를 박자에 맞춰 미끄러뜨리고, 편집점에 잘려 끊긴 대사가 없는지 확인하세요. 음악 베드를 추가할 때는 목소리가 명확하게 들리도록 충분히 낮은 볼륨으로 넣으세요. 최종 시퀀스를 헤드폰으로 처음부터 끝까지 보세요—타임라인 보기에서 숨겨진 타이밍 문제를 잡아냅니다.

계획과 대조해 검토하기

숏 목록을 다시 읽고 각 숏이 계획한 내용을 전달했는지 확인하세요. 어떤 숏이 남길 가치가 없다면 잘라내세요. 여섯 숏의 타이트한 편집이 아홉 숏의 느슨한 편집보다 낫습니다. 만족스러우면 타임라인을 잠그고 내보내세요.

프로젝트를 재현 가능하게 유지하기

프로젝트의 참조 자료, 프롬프트 관례, 채택된 클립이 진실의 원천입니다. 최종 편집본과 함께 보관해 후속 수정—새 훅, 새 엔딩, 다른 길이—을 파이프라인 전체를 처음부터 다시 만들지 않고도 만들 수 있게 하세요.

해당 작업의 전체 매개변수 범위에 대해서는 배치 작업을 구축하기 전에 플랫폼 가이드를 기준으로 요청 필드를 확인하세요.

트리밍, 내레이션, 자막이 하나의 공유 타임라인에 고정됩니다.

반복 가능한 워크플로 체크리스트

다음은 모든 새 숏폼 영상에서 재사용할 수 있는 엔드 투 엔드 체크리스트입니다.

계획

  • 작품을 숏 목록으로 작성하세요: 숏마다 주체, 동작, 길이, 내레이션 박자.
  • 내레이션을 소리 내어 시간을 재고 스크립트 대사를 계획 길이에 맞게 줄이세요.
  • 리듬 패턴을 정하세요—훅 숏, 동작 박자, 마무리 대사.

참조 자료 준비

  • 캐릭터마다 고정된 이미지 참조 세트를 정교하게 준비하고 명확한 이름으로 저장하세요.
  • 내레이션용으로 깨끗한 단일 화자 음성 참조를 고르세요.
  • 어떤 참조 자료가 어떤 프로젝트 버전에 속하는지 기록하세요.

생성

  • 숏마다 vidu-q3-mix/reference-to-video를 한 번 호출하세요.
  • 해당 캐릭터가 등장하는 모든 숏에서 동일한 참조 자료와 완전히 같은 주체 문구를 사용하세요.
  • 정체성 언어가 아니라 동작과 카메라 언어를 바꾸세요.
  • 같은 세션에서 관련 숏을 생성해 나란히 검토할 수 있게 하세요.

검토

  • 클립을 개별로 비교하지 말고 집합으로 비교하세요.
  • 한 번에 하나의 변수만 바꿔 재생성하고 어떤 변수를 바꿨는지 기록하세요.
  • 지속적으로 흐트러지는 숏은 재생성에 매달리지 말고 다시 프레이밍하세요.

조립

  • 각 클립을 사용 가능한 핵심까지 트리밍하고 죽은 프레임을 제거하세요.
  • 먼저 음소거로 보는 리듬에 맞춰 정렬하고, 그다음 내레이션 박자를 맞추세요.
  • 화면이 고정된 후 자막을 추가하고 가독성을 검증하세요.
  • 내레이션을 별도 트랙으로 믹싱하고 음악을 추가하세요. 헤드폰으로 확인하세요.

보관

  • 참조 자료, 프롬프트 관례, 채택된 클립, 최종 타임라인을 함께 저장하세요.
  • 향후 수정을 위해 모든 숏 단위 예외 사항을 기록하세요.

이 체크리스트는 의도적으로 짧습니다. 참조 기반 숏폼 영상의 대부분 실패는 생성 호출 자체가 아니라 단계 하나를 건너뛰는 데서 옵니다—입력을 잠그고, 계획을 간결하게 유지하고, 리듬은 후반 작업이 맡게 하세요.

영구 AI 아티팩트로 빌드 시작하기

API 키를 받아 태스크 기반의 하나의 API로 이미지, 비디오, 오디오 모델을 호출하세요.

API 문서 보기