使用指南
通过 HiAPI API 使用 happyhorse-1.1/reference-to-video:提示词配方与短视频工作流
一份开发者指南:如何通过 HiAPI 组织参考图片、编写保持身份一致性的提示词,并为短视频控制节奏
本页内容
reference-to-video 给你的流程带来什么变化
纯文本生成视频要求模型根据描述凭空创造主体,这意味着每次运行都可能生成不同的脸、服装或产品形状。reference-to-video 正好相反:你提供一张或多张图片,模型把它们当作画面中出现内容的视觉基准。提示词不再是选角要求,而变成了一份导演指令单。
在短视频流程中,这改变了工作重心。使用纯文本生成时,你主要在措辞上反复迭代。使用 happyhorse-1.1/reference-to-video 时,你首先要迭代的是参考图集,其次才是提示词。如果主体看起来不对,解决办法通常是换一张更好的图片或调整图片顺序,而不是堆砌更长的形容词列表。
适用位置
一个典型的循环大致如下:
- 为主体与场景收集并筛选一小套参考图片。
- 按重要性排序(下一节会详细说明)。
- 编写按镜头排序的提示词,明确稳定的属性与节奏。
- 生成、对照参考图审阅,再决定是改图片还是改文字。
实际的收益在于系列内容的一致性。如果你要制作多段包含同一个人物、产品或吉祥物的视频,稳定的参考图集正是让第三集看起来仍像第一集的关键。请把图片当作仓库中带版本号的资产来管理,而不是用完即弃的上传文件。
组织你的参考图集
模型把你的图片当作一个带优先级的信号来读取。排序和挑选本身就是提示词的一部分,因此要刻意决定。
选一张主主体图
第一张图应当是主体最清晰、最具代表性的视图:正面朝向、光线良好、无遮挡,并且背景没有分散注意力的杂物。这张图锚定身份。其余图片都是次要信息。
只有在确实有价值时才增加第二视角
当第二张图能解决第一张无法消除的歧义时——比如侧面视图、不同的服装状态,或产品的背面——它才有用。当它引入相互冲突的细节时,比如两种发型或两个标志,它就有害。如果你不希望模型把两者平均处理,就不要同时放入两张。
将主体与环境分开
如果场景很重要,就加入一张环境参考图,展示设定但不与主体争夺注意力。让它在视觉上与主体图明显区分,以免模型把它们混在一起。
一个简单的排序经验
- 第 1 位:主主体,干净且标准。
- 第 2 位:主体的次要视角,仅在需要时加入。
- 第 3 位及之后:环境或造型参考。
能省下多次迭代的规范
- 保持参考图集小而内部一致。
- 避免主体过小、裁剪怪异或滤镜过重的图片。
- 尽量统一宽高比;差异过大的构图会让模型更难协调不同视图。
- 按角色命名文件(
subject-primary.png、scene-street.png),让团队把它们当作一套素材来对待。
拿不准时,删掉一张图,而不是加一张。
编写能保持主体一致性的提示词
身份漂移通常来自含糊的措辞。像"一个人"或"时尚的穿搭"这类泛泛的描述,等于给了模型即兴发挥的空间。解决办法是明确写出稳定、可观察的属性,并在各句之间保持不变。
指出不应改变的内容
列出定义主体的属性:服装颜色与剪裁、发型、标志性配饰、产品形状、标志位置。在每个镜头描述中重复关键项,而不是假定连续性。
区分"锁定"与"可变"
在头脑中把提示词分成两块:锁定的主体属性,然后是逐镜头的动作与镜头。这样你很容易发现何时意外引入了矛盾,比如第一个镜头写红色夹克、第三个镜头写灰色夹克。
有效的表述模式
- 先锚定:开头先写主体及其锁定属性,再描述运动。
- 名词保持一致:如果参考图显示的是风衣,就每次都叫它风衣,而不是先说"夹克"再说"外套"。
- 具体优于评价:"深色短发、侧分"比"好看的头发"更好。
- 说明运动中保持不变的部分:"主体转身时大衣保持原有版型"比期望模型自行推断更有用。
- 避免堆叠近义词:叠加形容词会稀释信号。
一个快速对比
较弱:"一个时尚的女人走在街上,电影感。"
较强:"参考图中的女人——深色短发、侧分,驼色风衣,黑色靴子——以稳定的步伐朝镜头走来;大衣和靴子全程保持一致。"
第二个版本给模型的是清单,而不是氛围。
在一条提示词中指导镜头与节奏
短视频的成败在于节奏。单一的静态描述会生成一段没有结构、随波漂移的视频。请把提示词写成有序的镜头序列,并给出明确的节奏提示。
按节拍组织
描述两到四个节拍,每个节拍包含主体状态、动作和镜头备注。每个节拍保持简短。模型处理清晰的三拍序列,比处理一整段冗长文字更好。
把节奏写明确
节奏词很有分量:"快速切换"、"缓慢推近"、"停留一拍"、"急速变焦"、"稳定收尾"。把它们与镜头语言(推轨、摇摄、手持)搭配,让运动与时间感相互强化。
节拍模板
镜头 1(0-2 秒):[主体 + 锁定属性] [动作],[镜头运动],[节奏提示]。
镜头 2(2-4 秒):[主体状态变化] [动作],[镜头运动],[节奏提示]。
镜头 3(4-6 秒):[收束节拍],[镜头稳定],[节奏提示]。
你不需要精确的时间戳,但按秒思考会迫使你为每个节拍给出理由。如果一个节拍没有清晰的视觉变化,就删掉它。
常见的节奏错误
- 短视频里塞入过多节拍,迫使模型把一切都赶得很快。
- 没有镜头指导,导致构图平淡、静止。
- 同一行中出现矛盾的节奏提示("缓慢而有活力")。
写好序列后大声读一遍,删掉任何不改变画面内容的部分。
分辨率、时长与预算的取舍
在批量生成之前,先决定你要花的是哪种资源:像素、秒数,还是迭代次数。它们相互竞争。
核心取舍
更高的输出分辨率(例如 1080P)和更长的时长都会增加每次生成的费用。由于计费跟随你所请求的输出——包括分辨率和片段长度——一段较长的 1080P 视频是你所能要求的最贵的东西。对短视频而言,你很少需要两者都拉满。
一个有效的决策顺序
- 先定时长。短视频通常意味着一个紧凑的时间窗口。锁定平台需要的长度,然后把其他一切都当作可调项。
- 按交付目标选择分辨率。如果片段在信息流中本来就会被压缩,较低分辨率可能是更明智的默认值,还能让你把预算花在更多尝试上。
- 把预算花在迭代上,而不只是产出上。一段稍低分辨率、能生成三次并挑出最佳结果的视频,往往胜过一次昂贵却无力重做的尝试。
实用建议
- 先用较低分辨率做原型,验证提示词和参考图集。
- 只有当镜头序列和身份一致性都过关后,再提升到 1080P。
- 时长要诚实:紧凑且节拍清晰的短片,比冗长且充斥填充内容的长片更好看。
请查看当前定价面板了解确切费率;数字会变,不应硬编码进脚本。构建请求时,让分辨率和时长成为可切换的参数,而不是埋在代码里的常量。
可运行的请求与提示词配方库
以下是通过 HiAPI API 调用 happyhorse-1.1/reference-to-video 的请求结构,随后是与上述工作流配套、可直接复制的提示词配方。参数名可能因 SDK 版本略有差异;请查看模型页面获取规范 schema。
请求结构
import os, requests
resp = requests.post(
"https://api.hiapi.ai/v1/video/generations",
headers={"Authorization": f"Bearer {os.environ['HIAPI_API_KEY']}"},
json={
"model": "happyhorse-1.1/reference-to-video",
"reference_images": [
"https://your-cdn.example/subject-primary.png",
"https://your-cdn.example/subject-angle.png",
"https://your-cdn.example/scene-street.png",
],
"prompt": "...recipe text...",
"resolution": "1080P",
"duration": 6,
},
)
print(resp.json())
让参考图保持在稳定的 URL 上,并按前述顺序排列:主主体、次要视角、环境。
配方 1:产品主视觉,单节拍
参考图中的产品——哑光黑色瓶身、铜色瓶盖、正面标签——居中放在石质表面上。缓慢推近至标签,柔和影棚光,无剪切。瓶身与瓶盖全程保持精确的形状与颜色。
配方 2:人物行走,三节拍
镜头 1(0-2 秒):参考图中的女人——深色短发、侧分,驼色风衣,黑色靴子——朝镜头走来,中景,稳定手持,步伐轻快。
镜头 2(2-4 秒):快速切换到侧面;她转身时风衣摆动,镜头侧向跟随,同样轻快的节奏。
镜头 3(4-6 秒):她停下并面朝前方,镜头稳定为缓慢推近,平静收尾。头发、风衣和靴子在所有镜头中保持一致。
配方 3:环境引导开场
镜头 1(0-2 秒):环境参考图中街道的广角镜头,晨光,缓慢向左摇摄。
镜头 2(2-4 秒):参考图中的主体从画面右侧进入——同样的夹克和包——镜头保持不动,自然的节奏。
镜头 3(4-6 秒):收紧为中景,她望向镜头;夹克和包与参考图完全一致。
无需修改提示词文本,即可按片段调整时长和分辨率。文档中提供了带完整示例的专门指南。
审阅产出并迭代
审阅是大部分质量提升发生的地方,而关键的纪律是判断你面对的是哪一类问题。
对照参考图评估,而不是凭记忆
把参考图集打开放在输出旁边。逐项检查身份属性:脸和头发、服装颜色与剪裁、产品形状、标志位置。你能命名的漂移,就是你能修正的漂移。
把失败分成两类
- 身份或外观问题通常意味着参考图集薄弱、不一致或排序不当。先修图片;更用力地写提示词很少能挽救一组自相矛盾的参考图。
- 构图、运动或节奏问题通常意味着提示词需要改进:更清晰的节拍、更强的镜头备注、更紧凑的时长。
一个简短的审阅循环
- 分别给身份、构图和节奏打分。
- 如果身份不合格,先调整参考图片,再动提示词。
- 如果节奏不合格,重写节拍序列并删掉一个节拍。
- 每次迭代只改变一个变量,这样你才知道什么起了作用。
- 一旦在较低分辨率下稳定,再提升到 1080P 做最终版本。
为每个通过的片段保留一份简短的提示词版本与参考图集版本日志。在一个系列中,这份日志会成为你真正的配方库:可靠的提示词、可靠的图片、可预测的产出。在参考图集和文字上迭代,剩下的交给模型。