使用ガイド
Kling 3.0 Omni 画像から動画へのプロンプトレシピ:開発者向けコピー&ペーストテンプレート
開始/終了フレームの構造、カメラワークの言い回し、ネイティブ音声の手がかり、安定性のネガティブリスト——実際に生成したクリップ付き
このページの内容
プロンプトは長さより構造が重要である理由
ほとんどの画像から動画へのプロンプトが失敗するのは、短すぎるからではなく、順序がないからです。被写体の説明、カメラの意図、音声の雰囲気、修正指示が混ざった一文は、テキストから動きへの決定論的なマッピングをモデルに与えられません。生成されたクリップがおかしくなったとき、どの文が原因か判断できず、修正もできず、引き直すしかありません。
実際に機能する解決策は、セクション分けの規律です。プロンプトを常に同じ順序で並ぶ固定の5ブロック契約として扱います:
- フレームアンカー——どの画像が開始フレームで、どれが終了フレームか、そしてその結びつきの厳格さ。
- 被写体——画面内の人物または物、およびトランジション中に変わってはいけない同一性のディテール。
- 動き——2つのフレームの間で物理的に何が変わるか、素朴な時間的表現で。
- カメラ——視点がどう動くか(または明示的に静止を保つか)。
- 音声+ネガティブ——ネイティブ音声の手がかり、次に抑えたい失敗モード。
この順序はモデルが制約を解析する方法と一致します:まずフレームを固定し、次に何が動くかを決め、それから視聴者がどこに立つかを決め、最後に非視覚的な出力を埋めます。音声とネガティブを最後に置くことで、音や修正に関する指示が視覚推論を妨げなくなります。
エンジニアリングチームにとっての見返りは再現性です。安定した骨組みは、2つのプロンプトバージョン間の diff を読めるものにします。変更したのはカメラの行であって、ブロック全体ではありません。また、プロンプトが散文ではなくパラメータになることも意味します——パイプライン内でテンプレート化、バージョン管理、A/Bテストができ、これが後の章で構築する方向性です。
長さは症状であり、てこの作用点ではありません。固定順序で書かれた60語のプロンプトは、形容詞を前に積み上げた200語の段落に勝ります。まず既存の各プロンプトをこの5つのスロットに圧縮し、スロットに入らないものは削除してください。
基本レシピ:そのままコピー&ペーストできるプロンプト骨組み
以下が標準の骨組みです。これを貼り付け、角括弧の中身を埋め、本当に不要なスロットは削除してください——ただし順序は保ちます。
[FRAME ANCHOR]
Start frame: the provided image, preserved exactly.
End frame: [describe end state, or "none — open-ended continuation"].
Transition: [smooth continuous | single cut-free motion | holds start pose].
[SUBJECT]
[Subject identity + 2-3 invariant details that must not change].
[MOTION]
[What moves, direction, and how far — one sentence per moving element].
[CAMERA]
[Static locked-off shot | slow push-in | left-to-right pan | gentle orbit].
Pace: [slow and even | builds to a faster finish].
[AUDIO]
Ambience: [environment sound].
Music: [feel, not genre-name dropping].
Sync: [what the audio should land on].
[NEGATIVE]
flicker, morphing, warping text, extra limbs, identity drift
記入済みの例——窓辺の陶器のカップの製品ショット:
[FRAME ANCHOR]
Start frame: the provided image, preserved exactly.
End frame: same cup, steam gone, light shifted warmer.
Transition: smooth continuous motion, no cuts.
[SUBJECT]
Matte white ceramic cup, thin dark rim, wooden windowsill.
[MOTION]
Steam thins and disappears over the shot; curtain edge drifts slightly.
[CAMERA]
Static locked-off shot, very slow push-in.
Pace: slow and even.
[AUDIO]
Ambience: quiet room tone, faint birds outside.
Music: soft, sparse, low volume.
Sync: birds chirp as steam vanishes.
[NEGATIVE]
flicker, morphing, warping text, extra limbs, identity drift
kling-3.0-omni/image-to-video で実行すると、カップは最後までカップのまま、変化は明確に判別でき、音声は支えであって競合しないクリップが生成されます。うまくいくのは、各節が1つのことだけを行うからです:アンカーが幾何を制約し、被写体が同一性を守り、動きだけが変化を許され、カメラは暗示ではなく明示的に宣言され、ネガティブは独立したゲートとして扱われます。
2つの習慣を守ってください:動きは時系列で書く(「薄くなり、そして消える」)、そしてカメラと被写体を互いに戦わせない——被写体が左へ歩くなら、同時に素早く左へ回り込まないこと(画面を不安定にしたいのでなければ)。
スロットの規律
各スロットにはそれ自身の関心事だけを含めるべきです。「カメラがゆっくり寄りながら、カップの蒸気が鳥に変形する」と書いていることに気づいたら、カメラと動きを1つの節に統合してしまい、どちらか一方だけを独立に調整する能力を失っています。分割してください。
開始フレームと終了フレームのレシピ
2つのフレームを使う画像から動画への生成は、生成問題ではなく補間問題です。モデルの仕事は2つの固定された状態の間に信頼できる経路を見つけることです。プロンプトがトランジションではなくシーンを記述していると、ここで失敗します——モデルはその後内容を再解釈し、終点がドリフトします。
レシピ:厳格な端点、最小限の発明
両方のフレームが存在し、モデルに文字通りそれらを接続してほしいときに使います。
Start frame: provided image, preserved exactly.
End frame: provided image, preserved exactly.
The clip must begin on the start frame and end on the end frame.
Do not introduce new subjects or objects. Only intermediate motion.
Transition: continuous, no cuts, no scene change.
Motion: [the single physical change that carries start to end].
Camera: static locked-off shot.
鍵となる文は中間の動きのみです。端点は提案ではなく制約であるとモデルに伝えます。静止カメラを宣言すると別の自由度が取り除かれ、補間がはるかに安定します。
レシピ:オープンエンドの継続
開始フレームだけがあり、自然な延長を望むときに使います。
Start frame: provided image, preserved exactly.
End frame: none — open-ended continuation of the same scene.
Transition: continuous motion, same location, same lighting.
Motion: [primary action], resolving within the clip length.
Camera: [declared move].
Negative: scene change, new location, new characters.
終了画像がないときは終了状態を記述する
終了フレームがないが方向性のある結果を望むなら、終了状態を出来事ではなく見た目の言葉で記述します:「液体は静止し、流れていない」「ドアは完全に開いている」「蒸気が消える」。見た目の状態は視覚的に検証可能です。出来事の記述(「キャラクターが立ち去ることを決意する」)は、モデルに演出を発明させる誘いになります。
2つのルールがほとんどの端点失敗を防ぎます:
- 開始フレームの永続性を明示的に宣言する。「精確に保持」は「画像を参照として使用」よりも強い。
- トランジション数を1に保つ。2つのことが変わる必要があるなら、一方を先導させ、他方を追随させ、順に書く。競合するトランジションはシーン切り替えとして読まれ、モデルは補間ではなく再生成します。
カメラワークとテンポの言い回し
曖昧なプロンプトが最も頻繁に崩壊してランダムなドリフトになるのはここです。解決策は、各ショットに対して動きを名指しし、目標を名指しし、速度を名指しすること——3語です。
明確にマッピングできる動き
- 寄り——「slow push-in toward [subject], centered.」予測可能で、製品やポートレートの見せ場に適しています。
- 引き——「slow pull-back revealing [context].」開始フレームがディテールのときに使います。
- パン——「left-to-right pan across [scene], constant speed.」常に方向と恒常性を与えます。
- チルト——「gentle tilt up from [lower element] to [upper element].」
- オービット——「slow orbit around [subject], subject stays centered.」オービットは最も失敗しやすい。中央配置の節が被写体の画面外への滑り出しを防ぎます。
- 静止——「static locked-off shot, no camera movement.」自明だと思っても書きましょう。
検証できない数字ではなく言葉でテンポを表す
フレーム数を推測する必要はありません。ビートに対応する副詞でテンポを記述します:ゆっくり均一に、安定して、徐々に加速して終わる、最後の瞬間に落ち着く。これらは加速と減速に変換され、短尺動画のビートに合い、測定できないタイミングにコミットする必要がありません。
短尺動画のリズムでは、信頼できるパターンは1クリップにつき1つのカメラワークです。寄りがパンになりオービットになるのは、1つのショットではなくデモリールのように読めます。2つ目の動きが必要なら、順に並べます:「まずゆっくり寄り、その後短く保持」。
カメラと被写体を独立させる
プロンプトでは常に別の行に書きます:
Camera: slow push-in toward the subject.
Pace: slow and even.
Motion: the subject turns slightly toward the camera.
3行、3つの関心事。これらを統合すると——「被写体が振り向くにつれてカメラが寄る」——もう一方を妨げずに一方だけを変える能力を失い、小さな編集が大きな予測不能な揺らぎを生みます。
最後に、重要なときはショットサイズを宣言します:「medium shot」「close-up」「wide establishing shot」。ショットサイズは安価な制約で、モデルがクリップの途中で再構図するのを防ぎます。
ネイティブ音声のヒント
kling-3.0-omni/image-to-video は映像とともにネイティブ音声を生成します。最もよくある間違いは、音声の記述を動きの文に混ぜてしまい、音声の手がかりが視覚指示として読まれることです。音声は独自のブロックに置き、音の用語だけで書きます。
3つのスロット、常にこの順序
Ambience: [continuous environment sound].
Music: [feel and density, not track names].
Sync: [what the audio should land on].
環境音は下地です:ルームトーン、風の音、街の低い唸り、水の音。目立たせたいのでなければ、連続的で低レベルと記述します。
音楽は感覚と密度で記述します——「疎らで柔らかい」「安定した低いパルス」「明るく軽やか」。ジャンル名を挙げるのは質感を記述するより弱い。モデルはフレーズを音の設定にマッピングする必要があり、形容詞の方がタグより一貫してマッピングされるからです。
同期は時間の橋です。視覚的な出来事と、それに乗るべき音を名指しします:「蓋が閉まるときの小さなカチッという音」「蒸気が消えるときの鳥のさえずり」。1クリップあたり1〜2個の同期ポイントで十分です。それを超えると音声が忙しくなり、映像も各手がかりに合わせようと引っ張られます。
効果的な手がかり
- 開始:「音は動きとともに始まる」——インからクリップに適しています。
- フェードアウト:「環境音は終わりでフェードアウト」——突然の切断を防ぎます。
- 強調:「[物体]が落ちるときの柔らかい衝突音」。
- 抑制:「音楽なし、環境音のみ」——正当で、しばしばより良い選択です。
衝突させずに混ぜる
環境音と音楽が同時に存在する場合、それらの関係を一度宣言します:「環境音は低く、音楽はその下に」。1節で済み、2つの下地が喧嘩するのを防ぎます。
注意点:擬音語や効果音名で音声を記述しないこと。「Whoosh」や「ding」は文脈によって意味が曖昧です。代わりに発生源と特徴を記述します——「布が巻き上がるときの小さく柔らかな息のような音」。音声ブロックは漫画ではなく、サウンドデザイナーのメモのように読めるべきです。
安定性のネガティブリスト
ネガティブは修正層であり、創造的なツールではありません。短く、的を絞り、コピー&ペースト可能に保ちます。以下が基本リストで、その後に各語が対象とする失敗モードを示します。
flicker, morphing, warping text, extra limbs, identity drift,
scene change, jitter, frame tearing, duplicated objects
失敗モード → 用語
- フレーム間の輝度のちらつき →
flicker - 物体がフレーム間で溶けたり融合したりする →
morphing - 看板や字幕の歪み →
warping text - 手や四肢の増殖または崩壊 →
extra limbs - 顔や製品の同一性がクリップ途中で変わる →
identity drift - 背景が新しい場所として再生成される →
scene change - 静止しているはずのショットに微細な揺れが生じる →
jitter - フレーム境界にエッジのアーティファクトが出る →
frame tearing - モーションブラーで複製物体が現れる →
duplicated objects
条件付きネガティブ
実際に失敗が起きたときだけ追加してください——長すぎるネガティブリストは各語の効果を薄めます:
- 文字の多いフレームには:
illegible text, scrambled letters - 製品ショットには:
shape distortion, color shift - ポートレートには:
asymmetric face, warped eyes - スローモーションには:
sudden motion, pop-in
リストをチェックリストとして使う
プロンプトの装飾品ではなく、飛行前チェックとして扱います。バッチタスクを実行する前に、あなたのシーンがどの失敗モードにさらされているかを問います。静止した製品ショットにはちらつきと形状歪みのガードが必要です。動く被写体には同一性ドリフトと四肢の用語が必要です。文字を含むフレームには文字の用語が必要です。それ以外は基本リストを使います。
クリップが失敗したら、一度に1つだけ変えます——ネガティブを1つ追加するか、動きの1行を引き締める——そして再実行します。5つのネガティブを一度に編集すると、どれが効いたかわかりません。
レシピを API パイプラインに適合させる
ノートブックの中に住むプロンプトはスケールしません。最後のステップは骨組みを変数付きのテンプレート文字列に変え、レシピを HiAPI API 経由でバージョン管理、レビュー、バッチ実行できるようにすることです。
骨組みをテンプレート化する
PROMPT = """[FRAME ANCHOR]
Start frame: the provided image, preserved exactly.
End frame: {end_frame}.
Transition: {transition}.
[SUBJECT]
{subject}
[MOTION]
{motion}
[CAMERA]
{camera}
Pace: {pace}.
[AUDIO]
Ambience: {ambience}.
Music: {music}.
Sync: {sync}.
[NEGATIVE]
{negatives}
"""
各変数はレシピの1つのスロットです。テンプレート自体は決して変わらず、変数だけが変わります——これはプロンプトの diff が1行の diff であり、回帰が特定のスロットまで追跡できることを意味します。
レシピをデータとして保存する
各レシピを名前とバージョン付きの辞書として保存します:
recipes = {
"product-static-v2": {
"end_frame": "none — open-ended continuation",
"subject": "matte white ceramic cup, thin dark rim",
"motion": "steam thins and disappears",
"camera": "static locked-off shot, very slow push-in",
"pace": "slow and even",
"ambience": "quiet room tone, faint birds",
"music": "soft, sparse, low volume",
"sync": "birds chirp as steam vanishes",
"negatives": "flicker, morphing, warping text, extra limbs, identity drift",
}
}
バージョン名は数字だけでなく意味を持たせます——product-static-v2 は何を変えたかを伝えますが、v2 は伝えません。新しい失敗が現れたら、その場で編集するのではなく新しいバージョンを追加し、古い出力が再現可能なままにします。
バッチの規律
- 調整中は一度に1つの変数だけをレンダリングする。レシピが安定してからバッチ実行する。
- 各出力に対して、埋めた後のプロンプト文字列を記録する。それがなければ、悪いクリップの原因を帰属できない。
- 共有のネガティブベースを保ち、レシピはそれを拡張し、決して置き換えない。
API がどこに当てはまるか
レシピ構造はモデル向けなので、HiAPI 上の kling-3.0-omni/image-to-video にそのまま渡せます:フレーム入力とレンダリング済みのプロンプト文字列を送信し、テンプレートで強制したセクション順序がそのままモデルの見るセクション順序になります。これが骨組みの意義のすべてです——人間が読めるドキュメントであり、同時に本番環境の正確な文字列でもあります。
1つのレシピから始め、それにバージョンを付け、変数名に語らせましょう。エンドポイントの詳細とパラメータ名については HiAPI API ドキュメントを参照してください。