Vidu Q3 Mix Referenz-zu-Video-Prompt-Rezepte: Mehrere Bilder zu einer einzigen Szene verschmelzen

Zusammenfassung

• Vier direkt kopierbare Referenz-zu-Video-Prompts für vidu-q3-mix/reference-to-video, jeder mit dem tatsächlich auf hiapi generierten Clip – kein Stockmaterial und kein Standbild, das ein Video ersetzt.
• Q3 Mix ist die Multi-Bild-Mix-Stufe: Gib ihm 1–7 Referenzbilder (Charakter, Objekt, Szene), und es kombiniert sie zu einer dynamischen Einstellung. Die folgenden Rezepte mischen jedes Mal zwei und drei Standbilder.
• Die eine Regel, die entscheidet, ob ein Mix gelingt: Nummeriere die Referenzbilder und weise jedem Bild eine eindeutige Aufgabe zu – „der Filter aus Referenzbild 1 steht auf dem Glaskrug aus Referenzbild 2“, niemals vage „kombiniere diese“.
• In diesem Lauf verifiziert: Der Drei-Bild-Mix (Motiv + Effekt + Hintergrund) lässt sich sauber zusammensetzen, der Output liegt pixelmäßig etwas unter der nominellen size, die Clips sind H.264 (direkt im Browser abspielbar, ohne Transkodierung), und – trotz des Labels „native Audio“ – wird jeder Clip stumm zurückgegeben.
• Kopiere einen Prompt, ersetze ihn durch deine eigenen Referenz-URLs und POSTe an /v1/tasks.

Warum „Mix“ eine andere Prompt-Arbeit ist

Vidu Q3 Mix (von ShengShu) ist die Referenz-zu-Video-Stufe, die speziell dafür gedacht ist, mehrere Bilder gleichzeitig zu mischen – bis zu sieben, wobei Charaktere, Objekte und Szenen zu einem Clip verschmolzen werden. Wenn der Prompt dem Modell nicht sagt, welches Bild welchen Inhalt liefert, bleibt diese Fähigkeit ungenutzt.

Eine Gewohnheit, die saubere von trüben Mischungen unterscheidet: Nummeriere die Referenzbilder und weise jedem Bild eine eindeutige Aufgabe zu. Schreibe „der Filter aus Referenzbild 1 steht auf dem Glaskrug aus Referenzbild 2“ statt „kombiniere diese beiden zu einer Kaffeeszene“. Das Modell bindet jedes Motiv an seinen Index; „kombiniere diese“ ist genau die Stelle, an der der Mix abdriftet – es verliert ein Referenzbild, mittelt zwei Motive zu einem oder klebt etwas im falschen Maßstab ein. Bild 1 ist die erste URL in reference_image_urls, Bild 2 die zweite und so weiter.

Alles Folgende verwendet dieses Muster. Jedes Rezept listet die exakten Referenz-Standbilder, die ich generiert habe, den vollständigen Prompt, den ich eingereicht habe, und den Clip, den er auf hiapi generiert hat.

Rezept 1 — Zwei Produkte, eine Hero-Szene (Zwei-Bild-Mix)

Die klassische „Mix“-Aufgabe: Zwei separate Produktaufnahmen müssen sich ein Bild teilen. Ich gebe Q3 Mix einen mattschwarzen Handfilter und einen leeren Glaskrug – zwei Bilder, zwei Objekte – und fordere, dass sie sich stapeln und aufbrühen.

Referenzbild 1 (Filter) und Referenzbild 2 (Glaskrug):

Der mattschwarze Keramik-Handfilter aus Referenzbild 1 steht stabil auf dem transparenten Glaskrug aus Referenzbild 2, beide auf einer hellen Beton-Theke eines Cafés. Langsame Push-in-Kamerafahrt, ein dünner Strahl frischen Kaffees beginnt aus dem Filter in den Krug zu tropfen, Dampf kräuselt nach oben, warmes Morgenlicht fällt schräg durch ein Fenster von links ein. Hochwertige Produktwerbe-Ästhetik, geringe Schärfentiefe, sanfte Café-Ambientgeräusche.

Was gemischt wurde und was das Modell erfunden hat. Beide Objekte sitzen korrekt: Der Filter aus Bild 1 steht auf dem Glaskrug aus Bild 2, in korrektem relativen Maßstab, und die Formen passen eng zu den Standbildern. Alles zwischen den beiden Produkten – die Betontheke, das unscharfe Café im Hintergrund, das Fensterlicht, der in den Krug fließende Kaffee, der Dampf – wurde vom Modell erfunden; keines der beiden Referenzbilder enthält das. Das ist das nützliche mentale Modell von Q3 Mix: Du verankerst die Objekte, es füllt die Welt um sie herum. Die Kamera vollzieht die eine Push-in-Fahrt, die ich gefordert habe. Gerendert mit 1920*1080 für 5 Sekunden; die gelieferte Datei ist 1914×1084 (siehe „Unter der nominellen Größe“ unten), diese Generierung kostete etwa 0,93 $.

Rezept 2 — Eine Figur in einen neuen Raum setzen (Motiv + Szene)

Der zweite häufige Mix ist Motiv plus Umgebung: Ein Bild liefert das Wer, das andere das Wo. Ich habe ein Plüschroboter-Spielzeug vor rein weißem Hintergrund gerendert sowie ein sonniges Kinderzimmer ohne Figur, und dann das Modell gebeten, Ersteres in Letzteres zu setzen.

Das hellblaue Plüschroboter-Spielzeug aus Referenzbild 1 sitzt auf dem Holzboden des sonnigen Kinderzimmers aus Referenzbild 2. Es neigt langsam den Kopf, hebt einen kurzen Arm und winkt in die Kamera, Staubpartikel treiben im warmen Fensterlicht, sanfte Handkamera-Push-in-Fahrt. Weich, fröhlich, filmisch, leise Raum-Ambientgeräusche.

Was gemischt wurde und was das Modell erfunden hat. Das Kinderzimmer aus Bild 2 bleibt nahezu unverändert erhalten – Bücherregal, gestreiftes Bett, Fenster und sein Licht, Bausteine auf dem Teppich bleiben in der Komposition erhalten. Der Roboter aus Bild 1 wird auf diesen Boden gesetzt und an das warme Licht angepasst, sodass er im Raum zu stehen scheint und nicht aufgeklebt wirkt. Er führt die von mir angegebene Aktion aus (Kopfneigen und Armheben zum Winken), und die Kamera vollzieht die Handkamera-Push-in-Fahrt. Das ist das Muster „Figur in Szene“: Lass ein Referenzbild die gesamte Umgebung tragen, und das Modell beleuchtet das Motiv neu, um zur Umgebung zu passen. 1280*720, 5 Sekunden, etwa 0,78 $.

Rezept 3 — Drei Bilder, eine Einstellung: Motiv + Effekt + Hintergrund

Dieses Rezept rechtfertigt den Namen „Mix“. Drei separate Standbilder – ein Sneaker, eine Explosion aus Farbpulver und ein Verlaufshintergrund – jedes mit einer deutlich anderen Aufgabe, verschmelzen zu einer energiegeladenen Produktaufnahme.

Der weiße High-Top-Sneaker aus Referenzbild 1 schwebt mittig vor dem Verlaufshintergrund von Indigo zu Koralle aus Referenzbild 3, während das türkise und magentafarbene Pulver aus Referenzbild 2 in Zeitlupe nach außen explodiert. Die Kamera fährt in einem Bogen von fünfundvierzig Grad um den Schuh, die Pulverschweife wirbeln und fallen. Energiegeladene Sneaker-Werbung, dramatisches Studiolicht, kräftiges Rauschen.

Was gemischt wurde und was das Modell erfunden hat. Alle drei Referenzbilder erscheinen und behalten ihre jeweilige Rolle: Der Sneaker ist das Motiv, das türkise und magentafarbene Pulver ist der Effekt, der ihn umhüllt, und der Verlauf von Indigo zu Koralle ist unmissverständlich der Hintergrund. Die von mir geforderte Kamerabogenfahrt ist sichtbar – der Schuh dreht sich innerhalb von fünf Sekunden relativ zum Bild. Der Grund, warum drei Bilder hier zusammenhalten können, während vage Prompts sie verwischen würden: Jedes Referenzbild übernimmt im Satz eine sich nicht überschneidende Aufgabe (Motiv / Effekt / Hintergrund), und ich verweise per Index auf sie, einschließlich des für den Hintergrund aus der Reihenfolge gerissenen „Bild 3“. Ab vier oder mehr Referenzbildern ist diese Disziplin nicht mehr optional – gib jedem Bild eine eindeutige Aufgabe, sonst verwirft das Modell stillschweigend das schwächste. 1280*720, 5 Sekunden, etwa 0,78 $. (Dieses Bild ist das Titelbild des Artikels.)

Rezept 4 — Vertikal für Social: Maskottchen präsentiert Produkt

Das letzte ist ein 9:16-Mix für Social: Ein Bild ist das Markenmaskottchen, das andere das Produkt, das es verkaufen soll. Die Aufgabe: Die Figur soll das Produkt halten, vertikal, direkt im Feed einsetzbar.

Vertikale Einstellung. Das orange Cartoon-Fuchs-Maskottchen aus Referenzbild 1 hält die minzgrüne Sprudelwasser-Dose aus Referenzbild 2, präsentiert sie mit einem fröhlichen kleinen Hüpfer der Kamera, heller Studiohintergrund in Pop-Farben, Konfetti fällt. Verspielte Social-Werbung, kräftiges, fröhliches Licht, lebendige Sprudelgeräusche.

Was gemischt wurde und was das Modell erfunden hat. Der Fuchs behält das Design aus Bild 1 (oranges Fell, grüner Schal, große Augen), die Dose behält die matte minzgrüne Oberfläche aus Bild 2, und die Pfoten der Figur umschließen sie – das Verb „hochhalten … der Kamera präsentieren“ bindet beide Referenzbilder zu einer Aktion zusammen, statt nur zwei Objekte ein Bild teilen zu lassen. Der Pop-Farb-Hintergrund und das Konfetti sind erfunden. Wähle die vertikale size (720*1280), damit es vertikal wird; es gibt kein aspect_ratio-Feld (siehe unten). 4 Sekunden, etwa 0,62 $.

Was ich nach dem Ausführen dieser Rezepte gelernt habe

Fünf Dinge, die es sich lohnt zu wissen, bevor du Credits ausgibst, alle aus dieser Testcharge:

• Index-Bindung ist entscheidend. Jeder Clip hier hielt sich an „X aus Referenzbild N“. Wenn du willst, dass zwei Motive interagieren, gib der Aktion ein Verb, das sie verbindet („hochhalten“, „auf … stellen“), statt sie nebeneinander aufzulisten.
• Du verankerst die Objekte; das Modell erfindet das verbindende Gewebe. Die Theke, das Licht des ganzen Raums, das Konfetti, das wirbelnde Pulver – nichts davon ist in den Referenzbildern. Für „Motiv betritt Szene“ ist das ein Feature, aber es bedeutet auch, dass alles, was du erhalten willst, zwingend aus den Referenzbildern stammen muss.
• Die gelieferten Pixel liegen etwas unter der nominellen size. 1920*1080 kommt als 1914×1084 zurück, 1280*720 als 1276×722, 720*1280 als 722×1276. Für das Web nah genug, aber hardcode keine exakten Abmessungen im Downstream.
• Der Output ist H.264 und direkt einbettbar. Anders als die 4K-Stufe, die HEVC liefert, lassen sich diese Clips direkt inline abspielen, ohne Neukodierung – jedes Video auf dieser Seite ist die von der API direkt zurückgegebene Datei.
• „Native Audio“ erzeugt kein Audio. Jeder der vier Clips kam als stumme MP4 mit ausschließlich Video zurück – trotz des Labels „native Audio“ des Modells und obwohl meine Prompts Audio-Hinweise enthielten („sanfte Café-Ambientgeräusche“, „kräftiges Rauschen“). Auch die Beispielclips der Plattform selbst für Q3 Mix sind stumm. Plane, den Ton in der Post hinzuzufügen, oder verwende eine Stufe mit explizitem Audio-Input, wenn eine Sprachspur nicht verhandelbar ist – das Vidu Q4 Preview-Rezept behandelt den Workflow mit Sprachreferenz.

Jedes Rezept mit /v1/tasks reproduzieren

Referenz-zu-Video läuft über die asynchrone Task-API: Aufgabe einreichen, pollen bis der Status success ist, dann den Clip von output[0].url herunterladen (diese URL ist kurzlebig – speichere die Datei sofort).

curl -X POST https://api.hiapi.ai/v1/tasks \
  -H "Authorization: Bearer $HIAPI_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "vidu-q3-mix/reference-to-video",
    "input": {
      "prompt": "Der Filter aus Referenzbild 1 steht auf dem Glaskrug aus Referenzbild 2 ...",
      "reference_image_urls": [
        "https://your-host/dripper.png",
        "https://your-host/carafe.png"
      ],
      "duration": 5,
      "size": "1920*1080"
    }
  }'
# -> {"data":{"taskId":"tk-..."}}   dann GET /v1/tasks/tk-... bis status == "success"

import requests, time

H = {"Authorization": f"Bearer {TOKEN}"}
job = requests.post("https://api.hiapi.ai/v1/tasks", headers=H, json={
    "model": "vidu-q3-mix/reference-to-video",
    "input": {"prompt": PROMPT, "reference_image_urls": REFS,
              "duration": 5, "size": "1920*1080"},
}).json()["data"]["taskId"]

while True:
    t = requests.get(f"https://api.hiapi.ai/v1/tasks/{job}", headers=H).json()["data"]
    if t["status"] in ("success", "fail"):
        break
    time.sleep(5)

open("clip.mp4", "wb").write(requests.get(t["output"][0]["url"]).content)

Feldregeln, die es sich lohnt zu kennen, bevor du ein Rezept kopierst:

• reference_image_urls akzeptiert 1–7 Bilder. Ein achtes Bild gibt 400 maxItems: want 7 zurück.
• duration ist eine Ganzzahl von 1 bis 16 Sekunden. Fließkommazahlen wie 4.5 oder 99 werden beim Einreichen abgelehnt.
• Die Form wird über size festgelegt, nicht über aspect_ratio – übergibst du aspect_ratio (oder resolution), kommt 400 additional properties not allowed zurück. Die zehn size-Werte sind fünf Seitenverhältnisse auf zwei Stufen, 720 und 1080; für vertikal wählst du den vertikalen Wert, für 16:9 den horizontalen.
• Es gibt kein Audio-Referenzfeld – reference_audio_urls wird abgelehnt. Wenn du Stimme mit Audiobeispielen steuern musst, ist das die Q4 Preview-Stufe, nicht Q3 Mix.
• Die Abrechnung pro Sekunde (720-Stufe vs. 1080-Stufe) steht auf der Preisseite; die vier Clips hier kosteten jeweils etwa 0,62–0,93 $. Iteriere die Komposition zuerst auf der 720-Stufe size und führe die finale Version dann auf 1080 erneut aus.

Häufige Fragen

Wie viele Referenzbilder kann Q3 Mix mischen? Ein bis sieben. Zwei sind der häufige Fall (Motiv + Szene); drei lassen sich noch sauber zusammensetzen, solange jedes Bild eine deutlich andere Rolle übernimmt, wie im Sneaker-Rezept oben. Ab vier musst du jedem Referenzbild eine eindeutige, sich nicht überschneidende Aufgabe geben, sonst beginnt das Modell, das schwächste zu verwerfen.

Wie steuere ich, welches Bild das Motiv und welches der Hintergrund ist? Verweise per Index auf sie und weise ihnen im selben Satz Rollen zu: „der Sneaker aus Referenzbild 1 … vor dem Hintergrund aus Referenzbild 3“. Die Reihenfolge der URLs in reference_image_urls ist die Indexreihenfolge – Bild 1 ist die erste URL.

Fügt Q3 Mix automatisch Ton hinzu? In meinen Tests nicht. Trotz des Labels „native Audio“ kamen alle vier Clips – sowie die Beispiele der Plattform selbst für Q3 Mix – als stumme MP4 zurück, selbst wenn die Prompts Klangwörter enthielten. Behandle Q3 Mix als reinen Bildgenerator, füge Audio in der Post hinzu oder wechsle zu einer Stufe mit explizitem Audio-Input.

Kann ich 4K oder benutzerdefinierte Seitenverhältnisse bekommen? Kein 4K – Q3 Mix geht maximal bis zu size-Werten der 1080-Stufe. Das Seitenverhältnis ist eines der fünf Formen, die du in size wählst (horizontal, vertikal, quadratisch). Wenn du 4K oder Sprachreferenzen brauchst, verwende stattdessen Vidu Q4 Preview.

Q3 Mix oder Q3 Ad – was soll ich wählen? Die Schnittstelle ist nahezu identisch (1–7 Bilder, dieselben zehn size-Werte, kein Audio-Input), sodass Prompts nahezu unverändert übertragbar sind. Wähle Q3 Ad, wenn die Anforderung Produktwerbung ist – es ist auf intelligente Schnitte und Marketing-Kamerabewegungen abgestimmt; wähle Q3 Mix für allgemeines Multi-Motiv-Mischen. Die Sekundenpreise sind ähnlich, aber nicht identisch; sieh auf der Preisseite nach.

Warum ignoriert mein Mix ein Referenzbild? Fast immer ein Problem der Prompt-Bindung, keine Modellbeschränkung. Wenn ein Referenzbild im Satz keine eindeutige Rolle hat, konkurriert es mit den anderen und verliert. Gib ihm ein Verb und eine Position („hält die Dose aus Referenzbild 2 hoch“), und halte konkurrierende Referenzbilder im Maßstab auseinander.

---

Bereit zum Ausprobieren? Öffne die vidu-q3-mix/reference-to-video-Modellseite, hol dir einen Schlüssel über den Schnellstart und füge dann das Rezept oben ein, ersetzt durch deine eigenen Referenz-URLs. Willst du Kamerabewegungen im Mix planen? Die Prompts für filmische Kamerabewegungen lassen sich direkt in jedes davon einsetzen.