Vidu Q4 Preview Referenz-zu-Video: Kurzvideos mit Voiceover und Branding

Die meisten Kurzvideo-Tutorials zu „KI-Video“ zeigen dir nur, wie du einen einzelnen schön aussehenden Clip erstellst. Ein gebrandetes Kurzvideo braucht genau das Gegenteil: Über drei bis vier aufeinanderfolgende Clips hinweg müssen dasselbe Maskottchen, dasselbe Produkt und dieselbe Voiceover-Stimme in jeder Einstellung durchgehalten werden. Genau diese Konsistenz ist die Stärke von vidu-q4-preview/reference-to-video – du gibst ihm ein kleines Set an Referenzbildern (und optional einen Sprachsample), und jedes weitere Rendering verwendet dieses Set erneut, statt das Aussehen jedes Mal neu auszuwürfeln.

Dies ist eine praxisnahe Workflow-Erklärung, keine Prompt-Liste. Ich habe ein etwa 14-sekündiges vertikales Kurzvideo von Anfang bis Ende produziert – Hook, Voiceover-Hauptteil, Call-to-Action – und dabei nur ein Brand-Kit aus zwei Bildern und einen Sprachsample verwendet, dann im Batch generiert, zusammengefügt und als fertiges Produkt für den 9:16-Feed exportiert. Jeder Clip, jede Kostenangabe und jedes Feld unten stammt aus diesem tatsächlichen Lauf auf dem Vidu Q4 Preview Referenz-zu-Video-Modell bei hiapi.

Kurzfassung

• Das Brand-Kit wird nur einmal festgelegt. reference_image_urls (1–15 Bilder) hält deine Figur und dein Produkt konsistent; reference_audio_urls (max. 3) hält die Voiceover-Stimme konsistent. Jeder Clip im Kurzvideo verwendet dasselbe Kit erneut.
• Nativ im Hochformat. aspect_ratio: "9:16" rendert echtes 1080×1920 (bei 4K 2160×3840) – kein nachträgliches Zuschneiden nötig.
• 4K als Master, 1080p als Auslieferung. Die 4K-Ausgabe ist 2160×3840 HEVC/H.265; für die Feed-Veröffentlichung wird sie als H.264 neu kodiert und auf 1080×1920 herunterskaliert. Ich habe den Hook in 4K belassen und Hauptteil/CTA in 1080p gerendert.
• Im Batch einreichen, nicht blockierend warten. Dies ist eine asynchrone Task-API – reiche alle drei Clips ein und polle dann. Die reale Dauer hängt vom langsamsten Clip ab, nicht von der Summe aller.
• Pro Sekunde kalkulieren. 1080p kostet $0,1375/s, 4K $0,446/s, abgerechnet nach duration. Die Videokosten für mein Kurzvideo mit drei Clips betrugen $3,16.

Warum Referenz-zu-Video für Kurzvideos mit Voiceover passt (und Image-to-Video nicht)

Verkaufsorientierte Kurzvideos haben eine feste Struktur – ein Hook, der das Wegscrollen stoppt, ein Hauptteil, der erklärt, ein CTA, der zur Conversion führt. Wenn jeder Abschnitt separat gerendert wird, ist das größte Risiko nicht die Qualität der Bewegung, sondern das Driften: Die Proportionen des Maskottchens ändern sich, die Produktoberfläche verändert sich, die Stimme klingt wie eine andere Marke. Referenz-zu-Video löst genau dieses Problem direkt:

• reference_image_urls ist dein visuelles Schloss. Ein Charakterporträt plus ein Produkt-Standbild werden zum festen Kit für alle drei Clips. Du verweist in den Prompts über Nummern auf sie („der Roboter aus Referenzbild 1“, „das Gerät aus Referenzbild 2“), damit das Modell weiß, welches Material welches ist.
• reference_audio_urls ist dein Stimmschloss. Übergib einen kurzen Sprachsample und verwende ihn für jeden Clip mit Voiceover erneut – so behält die Tonspur dieselbe Klangfarbe. (Vidu Q3 akzeptiert dieses Feld ebenfalls, die Sprachreferenz ist also kein Q4-exklusiver Vorteil – Q4s Vorsprung gegenüber Q3 sind die 4K-Ausgabe und bis zu 15 Referenzbilder.)
• 4K + natives 9:16 liefert dir ein sauberes vertikales Master, das du später neu zuschneiden oder anderweitig nutzen kannst.

Das ist die Trennlinie zum Image-to-Video. Das Vidu Q4 Preview Image-to-Video-Modell lässt ein einzelnes Startbild in Bewegung kommen – gut für eine einzelne Einstellung, aber es kann Figur, Produkt und Stimme nicht gleichzeitig über eine Sequenz mehrerer Clips hinweg konsistent halten. Wenn das Ergebnis ein vollständiges Kurzvideo ist und nicht nur ein einzelner Beat, brauchst du Referenz-zu-Video.

Schritt 1 – Das Brand-Kit einmalig aufbauen

Das gesamte Kurzvideo kommt mit zwei Referenz-Standbildern und einem Sprachclip aus. Ich habe die beiden Standbilder auf hiapi generiert (jedes saubere, gut ausgeleuchtete Studiofoto funktioniert – das Modell liest Form, Material und Farbe, daher hilft ein einfarbiger Hintergrund beim Freistellen des Motivs):

Für die Stimme habe ich mit einem Text-to-Speech-Modell einen etwa 10-sekündigen Voiceover-Sample erstellt, ihn auf eine öffentliche URL hochgeladen, und diese Datei wurde zur Sprachreferenz für die Clips mit Voiceover. Der Sinn des Kits ist die Wiederverwendung: Diese drei Asset-URLs werden unten in jede relevante Anfrage eingefügt – genau deshalb bleibt das Kurzvideo konsistent, egal ob du drei oder dreißig Clips renderst.

Ein paar wichtige Vorbereitungsregeln:

• Verwende für Referenz-Standbilder einen sauberen, gleichmäßigen Hintergrund, damit das Motiv klar erkennbar ist.
• Hoste jedes Referenz-Asset (Bilder und Audio) vor dem Einreichen unter einer öffentlich erreichbaren URL – die Task-API ruft sie serverseitig ab.
• Lege das Markenformat früh fest; für Feed-Kurzvideos verwendest du für jeden Clip 9:16.

Schritt 2 – Der Hook (4K-Rendering, exportiert als 1080×1920)

Der Eröffnungsclip hat nur eine Aufgabe: Bewegung schon im ersten Frame. Ich habe ihn bewusst in 4K gerendert – nicht weil der Feed 4K braucht (das tut er nicht), sondern weil ein 2160×3840-Master dir Spielraum für Zooms, Neuzuschnitt auf 1:1 oder 16:9 für andere Platzierungen und ein hochwertiges Archiv gibt. Danach exportierst du eine 1080×1920-Kopie für die Plattform.

Der Prompt, den ich ausgeführt habe (ein Referenzbild, kein Audio):

The rounded white robot mascot from reference image 1 bounces up into the
centre of a bright minimalist desk scene, its teal eyes brightening as it
gives a cheerful two-arm wave toward the camera. Soft studio light, shallow
depth of field, gentle bokeh, clean pastel background, playful energetic
motion, subtle teal rim light. Vertical social-video framing.

{
  "model": "vidu-q4-preview/reference-to-video",
  "input": {
    "prompt": "...",
    "reference_image_urls": ["https://.../paxel-mascot.jpg"],
    "resolution": "4k",
    "duration": 4,
    "aspect_ratio": "9:16"
  }
}

Tatsächlich zurückgegebenes und verifiziertes Ergebnis: eine 4-sekündige Datei mit 2160×3840 – das bestätigt, dass resolution die kurze Seite des 9:16-Formats festlegt und kein fester Labelwert ist. Die 4K-Ausgabe wird als HEVC/H.265 (10-Bit) geliefert, was die meisten Browser und manche Schnittprogramme nicht inline abspielen können; der einzige unverzichtbare Schritt ist daher die Neukodierung:

ffmpeg -i hook_4k.mp4 -vf "scale=1080:1920" \
  -c:v libx264 -profile:v high -pix_fmt yuv420p -crf 20 \
  -c:a aac -movflags +faststart hook_1080.mp4

Damit erhältst du einen H.264-Clip in 1080×1920, der überall abspielbar ist, während das 4K-Original als Master erhalten bleibt. (Wenn du kein 4K-Master brauchst, kannst du den Hook direkt in 1080p rendern und das Herunterskalieren überspringen – das ist außerdem etwa dreimal günstiger pro Sekunde.)

Schritt 3 – Der Hauptteil mit Voiceover (Sprachreferenz)

Dies ist der Clip, der das gesamte Kit nutzt: beide Referenzbilder und den Sprachsample. Das Modell stellt das Maskottchen neben das Produkt, lässt es sprechen und übernimmt die Klangfarbe des Referenzaudios.

The white robot mascot from reference image 1 stands beside the matte-white
pebble focus device from reference image 2 on a tidy wooden desk, turns to the
camera and speaks warmly, gesturing toward the glowing teal device as if
introducing it; it speaks in the voice of reference audio 1. Soft daylight,
cosy home-office background, gentle handheld sway, friendly inviting mood.
Vertical framing.

{
  "model": "vidu-q4-preview/reference-to-video",
  "input": {
    "prompt": "...",
    "reference_image_urls": ["https://.../paxel-mascot.jpg",
                             "https://.../paxel-device.jpg"],
    "reference_audio_urls": ["https://.../paxel-narrator.mp3"],
    "resolution": "1080p",
    "duration": 6,
    "aspect_ratio": "9:16"
  }
}

Zwei Dinge aus diesem Lauf solltest du wissen:

1. Der Feldname ist reference_audio_urls. Ich habe voice_reference_urls ausprobiert, die API hat es abgelehnt (additional properties 'voice_reference_urls' not allowed), also verwende den exakten Namen. Es akzeptiert bis zu drei Audioclips.
2. Jede Ausgabe hat ohnehin eine AAC-Tonspur. Auch Clips ohne Audioreferenz kommen mit einer Tonspur zurück. Der Unterschied zeigt sich im Pegel: Mein Voiceover-Hauptteil-Clip hatte eine mittlere Lautheit von etwa -20 dB – deutlich eine Sprachaufnahme –, während der nahezu stumme CTA etwa -35 dB hatte. Wenn du über eine Reihe von Videos hinweg ein konsistentes Voiceover willst, verwende in jedem Clip mit Voiceover dieselbe Audio-URL – genau das ist der ganze Grund, die Stimme einmal festzulegen.

Schritt 4 – Der CTA

Ein kurzer, wirkungsvoller Abschluss: Das Maskottchen interagiert mit dem Produkt, der türkisfarbene Markenakzent leuchtet auf, dann blickt es zurück in die Kamera. Beide Referenzbilder kommen zum Einsatz, diesmal ohne Sprache.

Close vertical shot: the white robot mascot from reference image 1 reaches out
and taps the top button of the pebble device from reference image 2; the teal
LED ring pulses to life with a soft glow, and the mascot looks up at the camera
with bright teal eyes and a small confident nod. Clean minimalist desk, soft
light, crisp focus, upbeat finish. Vertical framing.

In 1080p für 4 Sekunden gerendert – der türkisfarbene Ring des Produkts übernimmt die Farbe aus dem Referenzstandbild, und das ist die Belohnung dafür, das Gerät als eigenes Referenzbild bereitzustellen, statt es mit Text zu beschreiben.

Schritt 5 – Renderings im Batch einreichen, nicht blockierend abwarten

Referenz-zu-Video ist eine asynchrone Task-API: Du POSTest eine Task, erhältst eine taskId und pollst dann das Ergebnis. Für ein Kurzvideo mit drei Clips reichst du alle drei zuerst ein und pollst danach – deine reale Dauer wird die des langsamsten Clips statt die Summe aller drei.

import requests, time

BASE = "https://api.hiapi.ai/v1/tasks"
H = {"Authorization": "Bearer YOUR_KEY", "Content-Type": "application/json"}

clips = [hook_input, body_input, cta_input]   # the three input dicts above
ids = []
for c in clips:
    r = requests.post(BASE, headers=H, json={
        "model": "vidu-q4-preview/reference-to-video", "input": c})
    ids.append(r.json()["data"]["taskId"])     # save IDs immediately

results = {}
while len(results) < len(ids):
    for tid in ids:
        if tid in results:
            continue
        data = requests.get(f"{BASE}/{tid}", headers=H).json()["data"]
        if data["status"] == "success":
            results[tid] = data["output"][0]["url"]   # download now — URLs expire
        elif data["status"] == "fail":
            results[tid] = None                        # handle/retry
    time.sleep(6)

Speichere jede taskId sofort, wenn du sie erhältst, und lade die Output-URL sofort nach Erfolg der Task herunter – es sind zeitlich begrenzte Direktlinks. Die vollständige Integrationsvereinbarung – Polling, Callbacks, Idempotenz und die Tabelle der Validierungsfehler – findest du im Vidu Q4 Preview Referenz-zu-Video-API-Leitfaden und in der tasks-API-Referenz.

Schritt 6 – Zusammensetzen und für den Feed exportieren

Wenn die drei Clips heruntergeladen sind, setzt du das Kurzvideo mit ffmpeg zusammen. Bringe zuerst alle Clips auf denselben Codec, dieselbe Auflösung und dieselbe Framerate (meine Clips kamen mit 24 fps zurück; ich habe sie auf 30 neu kodiert) und füge sie dann zusammen:

ffmpeg -i hook_1080.mp4 -i body.mp4 -i cta.mp4 \
  -filter_complex "[0:v][0:a][1:v][1:a][2:v][2:a]concat=n=3:v=1:a=1[v][a]" \
  -map "[v]" -map "[a]" -c:v libx264 -pix_fmt yuv420p \
  -c:a aac -movflags +faststart short_full.mp4

So entsteht das 14-sekündige 1080×1920-Kurzvideo oben auf dieser Seite. Export-Hinweise, die für Kurzvideos wichtig sind:

• Vertikal bleiben, kurz bleiben. duration ist eine Ganzzahl von 3 bis 16 Sekunden pro Clip; eine Sequenz aus 3–4 Clips passt problemlos in das Aufmerksamkeitsfenster eines Feeds.
• Das 4K-Master herunterskalieren. Die zusammengesetzte Version verwendet den 1080×1920-Export des Hooks, nicht das HEVC-Original.
• Auf die Tonspur achten. Da jeder Clip AAC enthält, setze beim Zusammenfügen die Pegel bewusst, statt anzunehmen, es sei Stille.

Kosten

Die Preisgestaltung richtet sich nach den Ausgabesekunden, ist pro Auflösung fest und wird mit duration multipliziert (gegen die aktuelle Preisseite abgeglichen):

Auflösung	Preis / Sekunde
540p	$0,0515
720p	$0,109
1080p	$0,1375
2K	$0,2175
4K	$0,446

Die tatsächlichen Kosten meines Kurzvideos:

Clip	Auflösung	Dauer	Kosten
Hook	4K	4 Sekunden	$1,784
Hauptteil (Sprache)	1080p	6 Sekunden	$0,825
CTA	1080p	4 Sekunden	$0,550
Video gesamt		14 Sekunden	$3,159

Die Vorbereitung des Brand-Kits – zwei Referenz-Standbilder und ein kurzer TTS-Sprachsample – kostete nur ein paar Cent zusätzlich. Der größte Kostenhebel ist der 4K-Hook: Setzt du ihn auf 1080p herunter, sinkt das gesamte Kurzvideo auf etwa $1,92. Rendere den Hook nur dann in 4K, wenn du wirklich ein neu zuschneidbares Master willst.

Feldreferenz (Kurzvideo-Spickzettel)

Feld	Beschreibung
prompt	Erforderlich. Verweise über Nummern auf die Referenzmaterialien („Referenzbild 1“, „Referenzaudio 1“).
reference_image_urls	Erforderlich. Array mit 1–15 Bildern. Dein visuelles Marken-Kit.
reference_audio_urls	Optional. Array mit max. 3 Einträgen. Das Stimmschloss. Exakter Feldname – voice_reference_urls wird abgelehnt.
resolution	540p / 720p / 1080p / 2k / 4k. Legt die kurze Seite fest. 4K liefert HEVC.
duration	Ganzzahl, 3–16 Sekunden. (Werte wie 99 liefern 400 … want 16.)
aspect_ratio	16:9 / 9:16 / 1:1 / 4:3 / 3:4. Für natives vertikales Feed-Format 9:16 verwenden.

Häufige Fragen

Worin unterscheidet sich das von einem Prompt-Rezept-Artikel? Es ist etwas anderes. Die Referenz-zu-Video-Prompt-Rezepte sind kopierbare, eigenständige kreative Einstellungen. Dieser Artikel ist eine Produktionspipeline für ein fertiges Kurzvideo – ein Brand-Kit festlegen, Clips im Batch generieren und ein sequenziell zusammengesetztes 9:16-Lieferprodukt exportieren.

Muss ich eine Sprachreferenz verwenden? Nein – reference_audio_urls ist optional. Ohne sie wird der Clip trotzdem gerendert (und hat weiterhin eine AAC-Tonspur). Füge sie hinzu, wenn du über eine Reihe von Videos hinweg ein konsistentes Voiceover willst.

Kann das gesamte Kurzvideo in 4K gerendert werden? Ja, aber für den Feed lohnt es sich selten: 4K kostet $0,446/s gegenüber $0,1375/s bei 1080p, und der Feed zeigt das Video ohnehin in 1080×1920. Spare dir 4K für die Einstellung auf, die du vielleicht neu zuschneidest oder anderweitig verwendest.

Wie lang kann ein Clip sein? duration ist pro Clip auf 16 Sekunden begrenzt. Für Kurzvideos ist eine Sequenz aus 3–4 Clips mit je 3–6 Sekunden der beste Bereich.

Warum lässt sich meine 4K-Datei nicht abspielen? 4K wird als HEVC/H.265 (10-Bit) geliefert. Kodiere sie wie in Schritt 2 gezeigt als H.264 yuv420p mit +faststart neu, damit sie zu Web und den meisten Schnittprogrammen passt.

Erstelle dein eigenes Marken-Kurzvideo

Dieses Muster funktioniert für jedes Maskottchen, jedes Produkt oder jede auftretende Person: Lege das Referenzkit fest, schreibe drei Prompts, die es über Nummern referenzieren, rendere im Batch und füge dann zusammen. Beginne auf der Vidu Q4 Preview Referenz-zu-Video-Modellseite, hole dir einen API-Key aus dem Schnellstart und veröffentliche noch heute Nachmittag dein erstes vertikales Kurzvideo.