博客

使用指南

在 HiAPI 上使用 vidu-q3-mix 参考生视频构建短视频

一份开发者工作流:角色一致的片段、语音参考旁白和后期制作节奏

2026年11月9日
扁平几何风格封面图:深靛蓝底色上,多层宽大的人字形箭头沿水平方向层层推进,前缘为杏橙色。
本页内容

vidu-q3-mix 参考生视频任务能为你提供什么

HiAPI 上的 vidu-q3-mix/reference-to-video 任务是一个生成步骤,不是成品视频步骤。你向它提交参考素材——定义角色或场景外观的图像,以及描述动作的提示词文本——然后得到一个片段。在短视频流水线中,它处于中间位置:上游是参考素材准备和提示词设计,下游是审片、修剪和组装。

一个有用的心智模型是三条输入通道汇入一个输出:

输入内容

  • 参考图像。 一张或多张用于锚定外观的静帧:面部、发型、服装、色调、环境。
  • 提示词。 用自然语言描述镜头中应发生什么——主体、动作、镜头感觉、情绪。
  • 可选的语音参考。 当你希望旁白带有特定音色时使用的音频样本。

输出内容

一个生成的片段。请把它当作原始素材。模型不是时间线编辑器:它不会按节拍剪辑你的视频、叠加字幕,也不保证第 4 个镜头与第 1 个镜头逐像素一致。这些是你在后期要做的工作。

适用位置

一条短视频通常由多个分别生成的片段构建,然后再排序组合。reference-to-video 任务是这一构建过程中可重复的单元:一次调用,一个镜头,一个成品需要多次调用。围绕这个单元做规划,才能让项目可控,也才能让预期保持校准。不要指望一次生成就产出一条完整的、带旁白、带字幕、有节奏的视频。让它产出一个好镜头,然后组装镜头。

由于生成是按片段进行的,成本随你产出的镜头数量和每个镜头的时长而变化,因此请按镜头数量和输出时长来预算,而不是按成品视频分钟数来预算。在确定批量规模之前,请查看平台的价格面板了解当前费率。

参考图像和语音样本输入到一步参考驱动的生成步骤,该步骤输出单个片段。

围绕参考图像规划短视频镜头

短视频成败取决于前两秒,因此应在调用 API 之前写好镜头计划。先把作品拆成镜头,写在纸上,再决定每个镜头需要哪些参考素材。

编写镜头清单

每个条目应回答四件事:观众看到什么、主体在做什么、这个时刻需要多长时间才能被读懂,以及是否有旁白覆盖。一条 30 秒的作品可能是五到八个镜头。更少、更长的镜头更容易保持一致;更多、更短的镜头给你更多节奏控制,但也更容易出现视觉漂移。

按镜头而非按项目选择参考素材

一个常见错误是以为一套参考素材能覆盖所有内容。实际上,参考素材应针对镜头精心挑选:

  • 主体在画面中且可辨认——提供一张清晰的正脸角色图像,如果镜头涉及运动或转身,再提供一两个辅助角度或表情。
  • 主体不在镜头中或画面中很小——环境比面部更重要;改为参考地点、服装或道具。
  • 新角色入场——决定他们是否有自己的参考集,并从首次出场起保持一致。

保持参考素材干净且一致

使用主体无遮挡、光线良好、且与同一角色的其他参考素材在风格上不冲突的图像。参考素材之间混合光照或冲突的艺术风格会把输出推向视觉噪声。如果某个角色同时出现在明亮的室外和昏暗的室内,优先使用同一套参考素材,让提示词描述光照,而不是换入看起来像不同人的参考素材。

为参考素材做版本管理

以可预测的结构存储参考素材——角色名、角度、变体——并记录哪套参考素材产出了哪个被采纳的镜头。当镜头出现漂移时,你需要确切知道成功的那次运行和失败的那次运行之间发生了什么变化。这条小小的纪律能省下整个下午的时间。

在多个镜头之间保持角色一致

在分别生成的片段之间保持一致,是参考驱动工作流中最难的部分,而这主要是一个纪律问题,而不是提示词技巧问题。

在整个序列中复用同一套参考素材

一旦角色的参考集锁定,就在该角色出现的每个镜头中使用这套确切的素材。不要按镜头重新推导参考素材,不要在项目中途裁剪新的参考素材,除非你有意重新建立整个序列的基线;也不要混入来自其他角色参考集的素材。你最强的统一性信号就是输入的一致性。

标准化提示词惯例

用固定结构编写提示词,让模型每次看到同类的描述:主体描述,然后是动作,然后是镜头,然后是情绪。在不同镜头之间逐字保留主体描述——同一角色用同样的词,同一套服装用同样的术语。变化应放在动作和镜头字段中,而不是放在你描述角色是谁的方式中。

按匹配批次生成

在同一工作会话中集中生成相关镜头,并将它们并排审看,而不是一个一个看。单独观看一个片段时不可见的小差异,在两个镜头并排时会变得明显。要对照相邻镜头来评判每个片段,而不是孤立地对照提示词。

有意接受不完美

在独立生成之间追求完美的逐帧一致性并不现实。为此做规划:

  • 用结构隐藏接缝。 在运动、角度变化或旁白节拍处剪切,这样眼睛就不会直接比较两张脸。
  • 减少出场次数。 一个在三个镜头中出现的角色,比在八个镜头中出现的角色更容易保持连贯。
  • 隔离问题镜头。 如果一个片段持续漂移,改变它的取景(更宽、过肩、部分遮挡),而不是无休止地重新生成。

有目的地重新生成

当一个片段不对时,在重新运行之前先确定你要改变哪个变量:参考素材、提示词措辞还是取景。同时改变多个变量会让每个结果都不可复现,并悄悄重置你的一致性基线。

同一套参考素材、同样的提示词惯例:分别生成的片段读起来像一个连续的序列。

使用语音参考制作旁白

语音参考塑造旁白的特性——音色、语气和整体感觉。它不会给你一个完成的音频混音,也不知道你的镜头持续多久。

保持样本聚焦

提供你想要的声音的干净样本,不要背景音乐、重混响或多人说话。简短、清晰、单人说话的音频能给模型最紧凑的信号,说明你想要的声音。把选定的样本与图像集一起保存为项目锁定参考素材的一部分。

按口语时长写作

旁白时长是一个在生成前解决好的文本问题。按你想要的节奏大声朗读脚本并计时。短视频旁白通常很紧凑:每个镜头几个词是正常的。如果一句台词无法在你为镜头计划的时长内说完,就删掉这句台词——不要为了让台词塞进去而要求片段运行更久。

规划声音相对于镜头的位置

逐个镜头决定旁白是贯穿整个片段、落在单个节拍上,还是完全不出现。一个有用的短视频模式是交替:开场镜头上有钩子台词,动作在视觉上被读懂时保持静默,最后一个节拍上有收尾台词。把这种节奏作为一列写进镜头清单,能让旁白从事后补充变成节奏工具。

在模型调用之外做音频工作

声音塑造只是一个输入;混音是你的事。预计要在编辑工具中处理电平调整、降噪、淡入淡出、音乐床和闪避。把旁白保留为单独的音轨,可以相对于画面滑动,而不是烘焙进任何单个片段,这样当镜头被修剪时你可以重新调整台词的时机。如果某句台词带回瑕疵或奇怪的读法,只重新生成那句台词,而不是重做整个序列。

把语音参考当作旁白特性的一致性工具,而不是计时或混音服务。

组装节奏与后期制作

片段生成后,工作转移到时间线上。这是生成素材变成短视频的地方,也是大部分感知质量被赢得的地方。

积极修剪

生成的片段通常包含一个可用的核心,两端各有冗余。剪到能读懂的瞬间:开始的动作,落地的节拍。大多数初剪组装都会明显过长,而收紧几乎总是短视频节奏的正确做法。目标是不要有死帧——观众应从第一秒就感受到作品在推进。

按节奏排序

先静音观看剪辑,把镜头铺开。如果视觉序列在无声状态下不能抓住注意力,旁白也救不了它。然后有意识地变化镜头长度:更快的剪辑建立势头,一个较长的镜头重置注意力。尽可能让主要剪辑点与旁白节拍对齐,使耳朵和眼睛同时变化。

把字幕当作一等元素处理

短视频经常在静音状态下观看,因此字幕承载旁白。在画面锁定后放置字幕,让它们停留在屏幕上的时间足够舒适阅读,并在自然短语边界处断行,而不是在思路中间断开。如果字幕与构图冲突,调整取景或重新定位,而不是把文字缩小到无法辨认。

对齐并混合音频

把旁白放到单独的音轨上,将每句台词滑到它的节拍上,并检查没有台词被剪辑点截断。添加任何音乐床时,音量要足够低,让语音保持清晰可懂。用耳机从头到尾观看最终序列——这能捕捉到时间线视图隐藏的时机问题。

对照计划审看

重新阅读你的镜头清单,确认每个镜头都交付了它计划要交付的内容。如果某个镜头不值得保留,就剪掉它;六个镜头的紧凑剪辑胜过九个镜头的松散剪辑。满意后,锁定时间线,然后导出。

保持项目可复现

项目的参考素材、提示词惯例和被采纳的片段是你的真实来源。将它们与最终剪辑一起归档,这样后续修订——新钩子、新结尾、不同长度——就可以在不从头重建整个流水线的情况下制作出来。

关于该任务的完整参数范围,在搭建批量任务之前,请以平台的指南为准确认请求字段。

修剪、旁白和字幕锁定在一条共享时间线上。

可重复的工作流清单

以下是端到端流程的清单,你可以在每个新的短视频中复用。

规划

  • 把作品写成镜头清单:每个镜头的主体、动作、时长、旁白节拍。
  • 大声为旁白计时,并删减脚本台词以适应计划时长。
  • 决定节奏模式——钩子镜头、动作节拍、收尾台词。

准备参考素材

  • 为每个角色精心整理一套锁定的图像参考素材;用清晰的命名保存。
  • 选择一个干净的、单人说话的语音参考用于旁白。
  • 记录哪些参考素材属于哪个项目版本。

生成

  • 每个镜头调用一次 vidu-q3-mix/reference-to-video。
  • 在该角色出现的每个镜头中,使用同一套参考素材和完全相同的主体措辞。
  • 改变动作和镜头语言,而不是身份语言。
  • 在同一会话中生成相关镜头,便于并排审看。

审看

  • 把片段作为一个集合来比较,而不是单独比较。
  • 每次只改变一个变量重新生成,并记录改变了哪个变量。
  • 对持续漂移的镜头重新取景,而不是在重新生成上死循环。

组装

  • 把每个片段修剪到可用的核心;移除死帧。
  • 先按静音观看的节奏排序,然后对齐旁白节拍。
  • 在画面锁定后添加字幕;验证可读性。
  • 把旁白混合为单独音轨,然后添加音乐;用耳机检查。

归档

  • 将参考素材、提示词惯例、被采纳的片段和最终时间线一起存储。
  • 为未来修订记录任何镜头级别的例外情况。

这份清单故意写得很短。参考驱动短视频中的大多数失败来自跳过某个步骤,而不是生成调用本身——锁定输入,保持计划紧凑,让后期制作负责节奏。

立即开始构建持久 AI 产物

获取 API 密钥,通过一个基于任务(task)的 API 调用图像、视频和音频模型。

阅读 API 文档