使用指南
Gemini Omni Flash 参考图生视频提示词:面向开发者可直接复制粘贴的配方
多参考图排序、主体一致性、镜头运动措辞、时长和分辨率档位,以及负面列表——附带可运行请求
本页内容
参考图生视频对提示词设计的实际改变
文生视频要求模型凭空创造一切:主体、服装、环境、光线、运动。参考图生视频则反转了这一契约。你交给模型的是已经回答了大部分“是什么”的图像,而提示词的任务范围收窄为“如何”——主体如何运动、镜头如何表现、镜头持续多久,以及哪些内容绝不能出现。
实际后果是:文生视频的提示词习惯在这里反而会起反作用。长篇描述性段落反复重述主体的外观,会与参考图相互竞争,促使模型把它们平均成某种平庸的通用结果。为强调而堆叠的形容词——“电影感、史诗感、戏剧性、横扫感”——与一条具体指令相比几乎不携带任何信号。而任何用文字描述人物面部或产品精确几何形状的提示词都会引入漂移,因为文字与像素会彼此矛盾。
需要保持的心智模型
把每张参考图视为一项约束,把你的提示词视为日程表。约束说的是谁和什么。日程表说的是何时、何处以及如何运动。如果你发现自己写了一些句子重新描述图像已经展示的内容,删掉它们。如果你发现自己关于镜头和运动写了零句话,那说明你对该真正需要文字的部分欠缺说明。
在调用 API 之前,有一个有用的检查:遮住参考图,读你的提示词。它作为一项关于这些具体输入的请求是否仍然讲得通?如果读起来像一条独立的文生视频提示词,说明你写多了,标注少了。
本指南将依次讲解图像排序、主体一致性、镜头运动措辞、档位选择和负面列表,最后给出针对 hiapi API 上 gemini-omni-flash/reference-to-video 的可运行请求。

组织多张参考图
当你传入不止一张参考图时,顺序和标注比提示词长度更重要。模型需要知道哪张图支配输出的哪个方面,而传达这一点最经济的方式是给每个槽位只分配一个角色。
每个槽位一个角色
可靠的模式是:主体优先,然后是修饰主体的任何内容(服装、产品变体),再是环境,最后是风格。每张图应只承担一项任务。如果一张图被期望同时承载角色面部和角色所站的房间,当两者冲突时,模型只能猜测哪一个胜出。
在提示词中明确写出角色,并按照传入图像的顺序书写:
Image 1: the character (face and hair).
Image 2: the jacket the character wears.
Image 3: the room the character stands in.
Image 4: the color and lighting style to apply overall.
在提示词中给图像编号,并使其与请求载荷的顺序一致,是多参考提示词中收益最高的一个习惯。当你重排载荷顺序时,要在同一次编辑中重排提示词文本。
角色冲突时说明优先级
冲突会发生。两张图可能都包含背景;一张环境图可能包含人物。发生这种情况时,用一行说明优先次序,而不是指望模型自行推断:
Use the face from Image 1. Ignore any people in Image 3; Image 3 is the room only.
更少、更干净的参考图胜过更多
每多一张参考图,就是模型必须同时满足的另一项约束。如果第四张图只增加风格,而风格可以用一个短语表达,那就优先用短语。四张标注清晰、角色分明的图通常胜过八张相互重叠的图,而且它们让失败更容易诊断。

跨镜头保持主体一致
跨多个片段的一致性来自复用同一组参考图并沿用同样的角色标注,只改变提示词中描述镜头的部分。一旦更换参考图,每个下游提示词都必须重新调校;保持参考图固定,每个新镜头就是一个小而独立的实验。
稳定身份块
写一个简短的头部块,逐字复制到某个主体的每条提示词中,然后在下方追加镜头专属指令:
Subject: the character from Image 1, wearing the jacket from Image 2.
Keep face shape, hair length, and jacket color identical to the references.
这个块永远不变。其后的一切——镜头运动、动作、时长——都是变量。这种结构还能让你一眼看出,漂移问题究竟是参考图造成的还是措辞造成的,因为措辞被保持不变。
描述变化,而非外观
当镜头要求主体做某事时,描述动作和由此产生的变化,而不是主体的特征:
The character turns from facing the window to facing the camera; the jacket stays the same.
像“stays the same”或“unchanged”这样的短语是廉价而有效的锚点。在第一个镜头之后,避免用文字重新描述面部或产品轮廓;参考图已经携带了这些信息,新增文字只会增加噪声。
警惕平均化失败
如果主体出来略显平庸——特征变柔和、颜色混杂——通常的原因是太多重叠的参考图争夺同一角色,或者提示词在图像之上又详细描述了外观。解决方法是移除参考图并删除外观描述句子,而不是添加更多形容词。
模型会遵循的镜头运动措辞
镜头运动是提示词最常失败的地方,而失败模式几乎总是相同:一个镜头里点名了多个运动,模型于是选取一个、混合它们,或产生一种缓慢漂移,结果哪一个都不满足。
每个镜头一个明确运动
每条提示词只写一个镜头行为。先命名运动,再指明运动对象:
Camera: slow push in toward the character.
Camera: static, locked off. The character moves; the camera does not.
Camera: orbit clockwise around the product, roughly a quarter turn.
Camera: pan left, following the character as they walk.
固定镜头和运动镜头一样值得被明确写出。如果你省略镜头语言,模型可能添加未被要求的漂移;“static, locked off”是一项约束,不是浪费文字。
堆叠的后果
“Slow push in while orbiting and slightly zooming”读起来是三项部分相互抵消的约束。挑选那个承载镜头含义的运动。如果你需要第二个运动,把它放进第二个片段,在剪辑时拼在一起——这比要求一次生成做两件事更经济。
节奏与运动相伴
对速度加一个限定词是有用的——“slow”“steady”“fast”——因为它告诉模型在镜头时长内移动多远。同一个运动周围加一个以上速度或情绪形容词不会增加任何信息。把运动语言控制在一个句子内,并把它放在每条提示词的固定位置,通常放在末尾,这样你可以扫视一批提示词就立刻看出每个镜头做什么。

写之前先选好时长和分辨率档位
时长和分辨率不是写完后才套用到成稿提示词上的设置;它们会改变提示词需要表达的内容。先决定这两个档位,再动笔写。
时长改变运动密度
短镜头只能容纳一个节拍:单一运动,或单一动作。长镜头可以容纳一次状态变化——转身、揭示、入场。如果你写的是长镜头提示词却渲染成短镜头,动作会被压缩得难以辨认。如果你写的是短镜头提示词却渲染成长镜头,模型会用漂移来填充。
经验法则:短镜头一个节拍,长镜头一次状态变化。当一个配方需要两个节拍时,拆成两次生成,而不是拉伸单条提示词。
分辨率改变构图容差
更高分辨率档位要求干净、简单的构图,主体清晰、背景不杂乱。精细细节——珠宝、产品上的小号文字、织物纹理——只有在上限档位才清晰可读;在低档位要求这些只会得到糊状结果。反过来,如果你的镜头是带小主体的广角全景,低档位会完全丢失主体。
让档位匹配镜头所依赖的细节:产品特写和正脸角色镜头应使用高档位,广角环境底板可以用更低档位。这也正是参考图质量设定上限的地方——输出的分辨率不会超过参考图。
把档位写进提示词文件
在你的代码中,把时长和分辨率作为与提示词文本并列的字段保存,而不是散落在注释里。在下面的配方中,请求体会显式携带它们,从而让提示词本身专注于内容和运动。
能修复瑕疵又不与提示词对抗的负面列表
负面列表是一小组绝不能出现的东西。它的用途是抑制反复出现的瑕疵,而不是列举你对视频生成的所有不满。
简短而具体
四到六项是有用范围。每一项都应命名一个你在自己输出中实际见过的具体、可见的失败:
Negative: extra fingers, warped face, text overlays, watermark, flickering lighting, duplicate subject.
这个列表针对真实失败模式——手部瑕疵、身份漂移、不需要的字幕和时间不稳定——而不会引入模型必须调和的新概念。
为什么长列表会适得其反
长负面列表往往点名与正向提示词共享词汇的东西。当正向提示词要求夜景时写“no dark, moody lighting”,会迫使模型产生一种它以不可预测方式解决的矛盾。类似地,列出许多不应出现的物体会把这些物体泄漏进场景。每个负面词项都是模型必须主动处理的一个概念;二十项的列表就是二十次把事情弄糟的机会。
在一批任务中保持稳定
一旦某个负面列表对某个主体有效,就冻结它。在同一次迭代中同时修改正向提示词和负面列表,会让你无法归因某个修复或回归。一次只迭代一个变量,从正向提示词开始。
可直接复制粘贴、带可运行请求的配方
每个配方都是一条提示词,加上一个针对 gemini-omni-flash/reference-to-video 的请求体。把参考文件路径替换为你自己的图像。时长和分辨率作为请求中的字段携带;请查看模型页面了解当前提供的档位。
配方 1:角色、稳定身份、单一运动
Image 1: the character (face and hair).
Image 2: the jacket the character wears.
Subject: the character from Image 1, wearing the jacket from Image 2.
Keep face shape, hair length, and jacket color identical to the references.
Action: stands still, looking slightly off-camera.
Camera: slow push in toward the character.
Negative: extra fingers, warped face, text overlays, flickering lighting.
curl -X POST https://api.hiapi.ai/v1/video/generations \
-H "Authorization: Bearer $HIAPI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "gemini-omni-flash/reference-to-video",
"prompt": "Image 1: the character (face and hair).\nImage 2: the jacket the character wears.\n\nSubject: the character from Image 1, wearing the jacket from Image 2.\nKeep face shape, hair length, and jacket color identical to the references.\nAction: stands still, looking slightly off-camera.\nCamera: slow push in toward the character.\nNegative: extra fingers, warped face, text overlays, flickering lighting.",
"references": ["character.png", "jacket.png"],
"duration": "short",
"resolution": "high"
}'
import requests, os
prompt = """Image 1: the character (face and hair).
Image 2: the jacket the character wears.
Subject: the character from Image 1, wearing the jacket from Image 2.
Keep face shape, hair length, and jacket color identical to the references.
Action: stands still, looking slightly off-camera.
Camera: slow push in toward the character.
Negative: extra fingers, warped face, text overlays, flickering lighting."""
r = requests.post(
"https://api.hiapi.ai/v1/video/generations",
headers={"Authorization": f"Bearer {os.environ['HIAPI_API_KEY']}"},
json={
"model": "gemini-omni-flash/reference-to-video",
"prompt": prompt,
"references": ["character.png", "jacket.png"],
"duration": "short",
"resolution": "high",
},
)
print(r.json())
配方 2:产品环绕
Image 1: the product, front view. Image 2: the product, side view.
Image 3: the surface it sits on.
Subject: the product from Images 1 and 2, resting on the surface from Image 3.
Keep shape, color, and proportions identical to the references.
Action: the product is motionless.
Camera: orbit clockwise around the product, roughly a quarter turn.
Negative: duplicate product, warped edges, text overlays, flickering lighting.
发送与配方 1 相同的请求体结构,在 references 中放三个条目,并使用高分辨率档位,因为该镜头依赖边缘细节。
配方 3:环境、固定镜头
Image 1: the room.
Image 2: the lighting and color style.
Scene: the room from Image 1, lit and graded as in Image 2.
Camera: static, locked off. Nothing in frame moves except a faint drift of dust in the light.
Negative: people, text overlays, watermark, flickering lighting.
固定环境底板是生成成本最低的有用片段,也最容易验证——输出中任何主体形状的瑕疵都会立刻表明负面列表需要收紧。
调整配方
在你自己的所有提示词中保留这些分节标签(Subject:、Action:、Camera:、Negative:)。这些标签对模型而言不是什么魔法词,但它们强制了你所描述的纪律:每张参考图一个角色、每个镜头一个运动,以及一份简短、有针对性的负面列表。
验证输出并快速迭代
按固定顺序用两个问题审查每个生成的片段。第一:主体是否匹配参考图?第二:运动是否匹配你要求的单一运动?这两项检查能抓住大多失败,而且顺序很重要,因为身份问题通常必须先修好,运动问题才看得见。
在改动任何东西之前先归因失败
当主体漂移时,原因几乎总是参考图或角色标注——角色重叠、多了一张图,或外观描述句子与像素竞争。当运动错误时,原因几乎总是提示词的镜头行,或时长档位与节拍数不匹配。当构图浑浊但主体和运动正确时,分辨率档位是嫌疑对象。
在同一次迭代中同时修改提示词、参考图和档位会破坏归因,让你只能猜。一次改一个,重新渲染,对比。
记录每一次迭代
为每个配方保留一份简单记录:按顺序的参考图列表、提示词文本、时长和分辨率档位,以及一行结论。这能让一周后的失败仍可诊断,也能把你的提示词库变成一组已知良好的起点,而不是一堆一次性实验。当一个配方稳定后,冻结它,并从中分支新镜头,而不是原地编辑。
当请求体已经参数化后,整个循环——提示词配方、请求、渲染片段、结论、单变量修改——会很快。从上面的配方开始,换成你自己的参考图,让验证循环来完成调优。