使用ガイド
HiAPI 上で vidu-q3-mix リファレンス動画生成を使ってショート動画を構築する
開発者向けワークフロー:キャラクター一貫性のあるクリップ、音声リファレンスのナレーション、ポストプロダクションのテンポ
このページの内容
vidu-q3-mix 参照から動画生成タスクが提供できるもの
HiAPI 上の vidu-q3-mix/reference-to-video タスクは生成ステップであり、完成動画のステップではありません。参照素材——キャラクターやシーンの外観を定義する画像、および動作を記述するプロンプトテキスト——を送信すると、1つのクリップが得られます。ショート動画パイプラインにおいては中間に位置します。上流は参照素材の準備とプロンプト設計、下流はクリップの確認、トリミング、組み立てです。
有用なメンタルモデルは、3つの入力チャネルが1つの出力に合流するというものです。
入力内容
- 参照画像。 外観を固定するための1枚以上の静止画:顔、髪型、服装、色調、環境。
- プロンプト。 ショット内で何が起こるべきかを自然言語で記述——被写体、動作、カメラの感覚、ムード。
- 任意の音声リファレンス。 ナレーションに特定の声質を持たせたい場合に使う音声サンプル。
出力内容
生成された1つのクリップです。素材として扱ってください。モデルはタイムラインエディタではありません。ビートに合わせて動画をカットしたり、字幕を重ねたり、4番目のショットが1番目のショットとピクセル単位で一致することを保証したりはしません。それらはポストプロダクションで行う作業です。
適用される位置
ショート動画は通常、別々に生成された複数のクリップから構築され、その後順序付けられて組み合わされます。reference-to-video タスクはこの構築プロセスにおける反復可能な単位です。1回の呼び出し、1つのショット。1つの作品には複数回の呼び出しが必要です。この単位を中心に計画することで、プロジェクトを管理可能に保ち、期待値を適切に調整できます。1回の生成でナレーションと字幕付きの、テンポのある完全な動画が得られることを期待しないでください。良いショットを1つ生成させ、それからショットを組み立ててください。
生成はクリップ単位で行われるため、コストは生成するショット数と各ショットの長さによって変化します。したがって、完成動画の分数ではなく、ショット数と出力時間で予算を立ててください。バッチサイズを決める前に、プラットフォームの料金パネルで現在のレートを確認してください。

参照画像を中心にショート動画のショットを計画する
ショート動画の成否は最初の2秒で決まるため、API を呼び出す前にショット計画を書くべきです。まず作品をショットに分解して紙に書き、各ショットにどの参照素材が必要かを決めます。
ショットリストを作成する
各項目は4つのことを答えるべきです。視聴者が何を見るか、被写体が何をしているか、この瞬間が読み取られるのにどれだけの時間が必要か、ナレーションが被さるかどうか。30秒の作品は5〜8ショットになるかもしれません。より少なく長いショットは一貫性を保ちやすく、より多く短いショットはテンポをより細かく制御できますが、視覚的なドリフトが起きやすくなります。
プロジェクト単位ではなくショット単位で参照素材を選ぶ
よくある間違いは、1セットの参照素材ですべてをカバーできると考えることです。実際には、参照素材はショットに合わせて慎重に選ぶべきです。
- 被写体が画面内にあり識別可能——明確な正面のキャラクター画像を提供し、ショットに動きや回転が含まれる場合は補助的な角度や表情を1〜2枚追加します。
- 被写体がショット内にない、または画面内で小さい——顔よりも環境が重要です。代わりに場所、服装、小道具を参照します。
- 新しいキャラクターが登場——そのキャラクター専用の参照セットを持つか決め、初登場時から一貫させます。
参照素材をクリーンで一貫したものに保つ
被写体が遮られておらず、照明が良好で、同じキャラクターの他の参照素材とスタイル的に衝突しない画像を使用してください。参照素材間で照明や芸術スタイルが混在すると、出力は視覚的ノイズに引き寄せられます。あるキャラクターが明るい屋外と暗い屋内の両方に登場する場合、別人のように見える参照素材に差し替えるのではなく、同じ参照セットを優先し、照明はプロンプトで記述してください。
参照素材をバージョン管理する
参照素材を予測可能な構造——キャラクター名、角度、バリエーション——で保存し、どの参照セットがどの採用クリップを生んだかを記録してください。ショットがドリフトしたとき、成功した実行と失敗した実行の間で何が変わったかを正確に知る必要があります。この小さな規律が午後を丸ごと節約します。
複数のショット間でキャラクターの一貫性を保つ
別々に生成されたクリップ間の一貫性を保つことは、参照駆動ワークフローで最も難しい部分であり、これは主にプロンプトのテクニックの問題ではなく、規律の問題です。
シーケンス全体で同じ参照セットを再利用する
キャラクターの参照セットがロックされたら、そのキャラクターが登場するすべてのショットでその正確な素材セットを使用してください。ショットごとに参照素材を再導出せず、意図的にシーケンス全体のベースラインを再確立する場合を除いてプロジェクト途中で新しい参照素材を切り出さず、他のキャラクターの参照セットからの素材を混ぜないでください。一貫性の最も強いシグナルは入力の一貫性です。
プロンプトの慣例を標準化する
固定構造でプロンプトを書き、モデルが毎回同じ種類の記述を見るようにします。被写体の記述、次に動作、次にカメラ、次にムード。ショット間で被写体の記述を逐語的に保ってください。同じキャラクターには同じ言葉、同じ服装には同じ用語を使います。変化は動作とカメラのフィールドに置き、キャラクターが誰かを記述する方法には置かないでください。
マッチしたバッチで生成する
関連するショットを同じ作業セッションでまとめて生成し、1つずつ見るのではなく並べて確認してください。単独でクリップを見たときには見えない小さな差異も、2つのショットを並べると明らかになります。各クリップはプロンプトと孤立して比較するのではなく、隣接するショットと比較して評価してください。
不完全さを意図的に受け入れる
独立した生成間で完璧なフレーム単位の一貫性を追求することは現実的ではありません。そのために計画してください。
- 構造で継ぎ目を隠す。 動き、角度の変化、ナレーションのビートでカットし、目が2つの顔を直接比較しないようにします。
- 登場回数を減らす。 3つのショットに登場するキャラクターは、8つのショットに登場するキャラクターよりも一貫性を保ちやすいです。
- 問題のあるショットを隔離する。 あるクリップが継続的にドリフトする場合、無限に再生成するのではなく、そのフレーミングを変えてください(よりワイド、肩越し、部分的に遮る)。
目的を持って再生成する
クリップが正しくない場合、再実行する前にどの変数を変えるかを特定してください。参照素材、プロンプトの文言、フレーミングのいずれかです。複数の変数を同時に変えると、すべての結果が再現不可能になり、一貫性のベースラインが静かにリセットされます。

音声リファレンスを使ってナレーションを制作する
音声リファレンスはナレーションの特性——声質、トーン、全体的な雰囲気——を形作ります。完成したオーディオミックスを提供するわけでも、ショットがどれだけ続くかを知っているわけでもありません。
サンプルを焦点を絞ったものに保つ
欲しい声のクリーンなサンプルを提供してください。BGM、強いリバーブ、複数人の話し声は避けます。短く、明瞭で、1人だけが話す音声が、欲しい声についてモデルに最も引き締まったシグナルを与えます。選んだサンプルは画像セットと一緒にプロジェクトのロック済み参照素材の一部として保存してください。
話す時間に合わせて書く
ナレーションの長さは生成前に解決するテキストの問題です。欲しいテンポでスクリプトを声に出して読み、時間を計ってください。ショート動画のナレーションは通常非常にタイトです。ショットごとに数語は普通です。あるセリフがショットに計画した時間内に言い終えられない場合、そのセリフを削ってください。セリフを収めるためにクリップを長く走らせるよう要求しないでください。
ショットに対する音声の位置を計画する
ショットごとに、ナレーションがクリップ全体に流れるのか、単一のビートに落ちるのか、それともまったく現れないのかを決めてください。有用なショート動画のパターンは交互配置です。オープニングショットにフックのセリフ、動作が視覚的に読み取られる間は沈黙、最後のビートに締めのセリフ。このリズムをショットリストの1列として書いておくと、ナレーションが後付けからリズムのツールに変わります。
モデル呼び出しの外でオーディオ作業を行う
声の形成は入力にすぎません。ミックスはあなたの仕事です。編集ツールでレベル調整、ノイズ除去、フェード、音楽ベッド、ダッキングを処理することを想定してください。ナレーションを別トラックとして保ち、画面に対してスライドできるようにし、単一のクリップに焼き込まないでください。そうすればショットがトリミングされたときにセリフのタイミングを再調整できます。あるセリフに瑕疵や奇妙な読みが含まれる場合、シーケンス全体をやり直すのではなく、そのセリフだけを再生成してください。
音声リファレンスはナレーション特性の一貫性ツールとして扱い、タイミングやミキシングのサービスとして扱わないでください。
テンポとポストプロダクションを組み立てる
クリップが生成されたら、作業はタイムラインに移ります。ここで生成素材がショート動画になり、知覚される品質の大部分が勝ち取られる場所です。
積極的にトリミングする
生成されたクリップには通常、使用可能なコアがあり、両端に冗長な部分があります。読み取れる瞬間までカットしてください。始まる動作、着地するビート。ほとんどの初回アセンブリは明らかに長すぎます。引き締めることはほぼ常にショート動画のテンポにとって正しいことです。死んだフレームがないことを目指してください。視聴者は最初の1秒から作品が進んでいると感じるべきです。
リズムで並べる
まず音を消して編集を視聴し、ショットを並べてください。視覚的なシーケンスが無音状態で注意を引けないなら、ナレーションもそれを救えません。次にショットの長さを意図的に変化させます。速いカットは勢いを作り、長めのショットは注意をリセットします。可能な限り主要なカットポイントをナレーションのビートに合わせ、耳と目が同時に変化するようにします。
字幕を一級の要素として扱う
ショート動画は音を消して視聴されることが多いため、字幕がナレーションを担います。画面がロックされた後に字幕を配置し、快適に読めるだけの時間画面に留まらせ、アイデアの途中ではなく自然なフレーズの境界で改行してください。字幕が構図と衝突する場合、文字を判読不能なほど小さくするのではなく、フレーミングを調整するか位置を変更してください。
オーディオを整列させてミックスする
ナレーションを別トラックに配置し、各セリフをそのビートにスライドさせ、カットポイントでセリフが途切れていないことを確認してください。音楽ベッドを追加する場合は、声が明瞭に聞き取れるよう十分低い音量にしてください。最終シーケンスをヘッドフォンで最初から最後まで視聴してください。これによりタイムラインビューでは隠れているタイミングの問題を捕捉できます。
計画に対して確認する
ショットリストを読み返し、各ショットが計画した通りのものを届けたか確認してください。保持する価値のないショットは切り捨ててください。6ショットのタイトな編集は9ショットの緩い編集に勝ります。満足したら、タイムラインをロックしてからエクスポートしてください。
プロジェクトを再現可能に保つ
プロジェクトの参照素材、プロンプトの慣例、採用クリップが真実のソースです。それらを最終編集と一緒にアーカイブし、将来の改訂——新しいフック、新しいエンディング、異なる長さ——をパイプライン全体をゼロから再構築せずに制作できるようにしてください。
このタスクの完全なパラメータ範囲については、バッチタスクを設定する前に、プラットフォームのガイドを正確な情報源としてリクエストフィールドを確認してください。

再利用可能なワークフローチェックリスト
以下はエンドツーエンドのプロセスのチェックリストで、新しいショート動画ごとに再利用できます。
計画
- 作品をショットリストとして書く:各ショットの被写体、動作、長さ、ナレーションのビート。
- ナレーションを声に出して時間を計り、計画した長さに収まるようスクリプトのセリフを削る。
- リズムのパターンを決める——フックショット、動作ビート、締めのセリフ。
参照素材の準備
- 各キャラクター用にロック済みの画像参照セットを慎重に整理し、明確な命名で保存する。
- ナレーション用にクリーンな1人話者の音声リファレンスを選ぶ。
- どの参照素材がどのプロジェクトバージョンに属するかを記録する。
生成
- 各ショットにつき
vidu-q3-mix/reference-to-videoを1回呼び出す。 - そのキャラクターが登場するすべてのショットで同じ参照セットと同じ被写体の言い回しを使用する。
- 変化させるのは動作とカメラ言語であり、アイデンティティの言語ではない。
- 関連するショットを同じセッションで生成し、並べて確認しやすくする。
確認
- クリップを個別にではなく集合として比較する。
- 一度に1つの変数だけを変えて再生成し、どの変数を変えたかを記録する。
- 継続的にドリフトするショットは、再生成の無限ループにはまるのではなく、フレーミングを変える。
アセンブリ
- 各クリップを使用可能なコアまでトリミングし、死んだフレームを除去する。
- まず無音視聴のリズムで並べ、次にナレーションのビートを合わせる。
- 画面がロックされた後に字幕を追加し、可読性を検証する。
- ナレーションを別トラックとしてミックスし、次に音楽を追加する。ヘッドフォンで確認する。
アーカイブ
- 参照素材、プロンプトの慣例、採用クリップ、最終タイムラインを一緒に保存する。
- 将来の改訂のために、ショットレベルの例外を記録する。
このチェックリストは意図的に短く書かれています。参照駆動のショート動画におけるほとんどの失敗は、生成呼び出し自体ではなく、あるステップを飛ばすことから来ます。入力をロックし、計画をタイトに保ち、テンポはポストプロダクションに任せてください。