Recettes de prompts pour la génération de vidéo à partir de références Vidu Q3 Mix : fusionner plusieurs images en un seul plan

Résumé

• Quatre prompts de génération de vidéo à partir de références prêts à copier-coller pour vidu-q3-mix/reference-to-video, chacun accompagné du clip réellement généré sur hiapi — aucune image de banque, et aucune image fixe utilisée à la place de la vidéo.
• Q3 Mix est le niveau de fusion multi-images : donnez-lui 1 à 7 images de référence (personnage, objet, décor) et il les combine en un plan animé. Les recettes ci-dessous mélangent à chaque fois deux et trois images fixes.
• La règle unique qui détermine la réussite d'une fusion : numérotez les images de référence et attribuez à chacune une tâche explicite — « le filtre de l'image de référence 1 posé sur la carafe en verre de l'image de référence 2 » — jamais un vague « combinez ces éléments ».
• Vérifié lors de cette session : la fusion à trois images (sujet + effet + arrière-plan) se compose proprement, les pixels de sortie sont légèrement inférieurs au size nominal, les clips sont en H.264 (lecture directe dans le navigateur, sans transcodage) et — malgré l'étiquette « audio natif » — chaque clip est renvoyé muet.
• Copiez un prompt, remplacez-le par vos propres URL de référence, puis envoyez-le en POST à /v1/tasks.

Pourquoi la « fusion » est un travail de prompt différent

Vidu Q3 Mix (de ShengShu) est le niveau de génération de vidéo à partir de références dédié à la fusion simultanée de plusieurs images — jusqu'à sept, mêlant personnages, objets et décors en un seul clip. Si le prompt n'indique pas au modèle quelle image fournit quoi, cette capacité est gâchée.

Une habitude qui distingue une fusion nette d'une fusion trouble : numérotez les images de référence et attribuez à chacune une tâche explicite. Écrivez « le filtre de l'image de référence 1 posé sur la carafe en verre de l'image de référence 2 » plutôt que « combinez ces deux images en une scène de café ». Le modèle rattache chaque sujet à son index ; « combinez ces éléments » est précisément là où la fusion dérive — il perd une image de référence, fond deux sujets en un seul, ou colle quelque chose à la mauvaise échelle. L'image 1 est la première URL de reference_image_urls, l'image 2 la deuxième, et ainsi de suite.

Tout ce qui suit utilise ce schéma. Chaque recette indique l'image fixe de référence exacte que j'ai générée, le prompt complet que j'ai soumis, et le clip qu'il a produit sur hiapi.

Recette 1 — Deux produits, une seule scène héro (fusion de deux images)

La tâche de « fusion » classique : deux plans produits distincts doivent partager un même cadre. J'ai donné à Q3 Mix un filtre à café pour over noir mat et une carafe en verre vide — deux images, deux objets — et lui ai demandé de les empiler et de faire couler le café.

Image de référence 1 (le filtre) et image de référence 2 (la carafe) :

Le filtre à café pour over en céramique noir mat de l'image de référence 1 est posé bien droit sur la carafe à café en verre transparent de l'image de référence 2, les deux sur un comptoir de café en béton clair. Travelling avant lent, un mince filet de café frais commence à s'écouler du filtre dans la carafe, de la vapeur s'élève en volutes, une lumière matinale chaude entre en biais par la fenêtre de gauche. Rendu de publicité produit haut de gamme, faible profondeur de champ, douces ambiances sonores de café.

Ce qui a été fusionné, et ce que le modèle a inventé. Les deux objets sont correctement placés : le filtre de l'image 1 repose sur la carafe de l'image 2, aux bonnes proportions relatives, avec des formes fidèles aux images fixes. Tout ce qui se trouve entre les deux produits — le comptoir en béton, le café flou en arrière-plan, la lumière de la fenêtre, le café qui s'écoule dans la carafe, la vapeur — a été inventé par le modèle ; aucune des deux images de référence ne le contient. C'est le modèle mental utile pour Q3 Mix : vous ancrez les objets, il remplit le monde autour. La caméra a réalisé le travelling avant unique que j'avais demandé. Rendu en 1920*1080 sur 5 secondes ; le fichier livré fait 1914×1084 (voir « sous la taille nominale » plus bas), cette génération a coûté environ 0,93 $.

Recette 2 — Placer un personnage dans une pièce entièrement nouvelle (sujet + décor)

L'autre fusion courante est sujet plus environnement : une image fournit le qui, l'autre le où. J'ai généré une peluche robot sur fond blanc uni, ainsi qu'une chambre d'enfant baignée de soleil sans aucun personnage, puis j'ai demandé au modèle de placer la première dans la seconde.

La peluche robot bleu pâle de l'image de référence 1 est assise sur le parquet de la chambre d'enfant baignée de soleil de l'image de référence 2. Elle penche lentement la tête, lève un de ses petits bras et fait un signe vers la caméra, des particules de poussière flottent dans la lumière chaude de la fenêtre, léger travelling avant à l'épaule. Doux, joyeux, cinématographique, légers sons d'ambiance de la pièce.

Ce qui a été fusionné, et ce que le modèle a inventé. La chambre de l'image 2 est conservée presque à l'identique — l'étagère, le lit à rayures, la fenêtre et sa lumière, les cubes sur le tapis sont tous préservés dans la composition. Le robot de l'image 1 a été placé sur ce parquet et éclairé en accord avec la lumière chaude, de sorte qu'il semble dans la pièce, et non collé par-dessus. Il exécute l'action demandée (penche la tête et lève le bras pour saluer), et la caméra réalise le travelling avant à l'épaule. C'est le schéma « personnage dans un décor » : faites porter tout l'environnement par une seule image de référence, et le modèle rééclairera le sujet pour l'accorder au décor. 1280*720, 5 secondes, environ 0,78 $.

Recette 3 — Trois images, un seul plan : sujet + effet + arrière-plan

Cette recette justifie le mot « fusion ». Trois images fixes distinctes — une basket, une explosion de poudre colorée et un arrière-plan dégradé — chacune avec une tâche nettement différente, fusionnées en un plan produit plein d'énergie.

La basket montante blanche de l'image de référence 1 flotte au centre, sur l'arrière-plan dégradé indigo vers corail de l'image de référence 3, tandis que la poudre turquoise et magenta de l'image de référence 2 explose vers l'extérieur au ralenti. La caméra décrit un arc de quarante-cinq degrés autour de la chaussure, les traînées de poudre tourbillonnent et retombent. Publicité énergique pour une basket, éclairage de studio dramatique, puissant sifflement.

Ce qui a été fusionné, et ce que le modèle a inventé. Les trois images de référence apparaissent toutes et conservent leur rôle : la basket est le sujet, la poudre turquoise et magenta est l'effet qui l'enveloppe, et le dégradé indigo vers corail est indiscutablement l'arrière-plan. L'arc de caméra demandé est visible — la chaussure tourne par rapport au cadre en cinq secondes. Ce qui permet aux trois images de tenir ensemble ici, là où un prompt plus vague les aurait brouillées : chaque image de référence porte une tâche non chevauchante dans la phrase (sujet / effet / arrière-plan), et je les référence par index, y compris l'arrière-plan cité dans le désordre (« image 3 »). Au-delà de trois ou quatre images de référence, cette discipline n'est plus facultative — attribuez une tâche explicite à chaque image, sinon le modèle écartera silencieusement la plus faible. 1280*720, 5 secondes, environ 0,78 $. (Cette image est la couverture de l'article.)

Recette 4 — Format vertical pour les réseaux : une mascotte présente un produit

La dernière est une fusion 9:16 pensée pour les réseaux : une image pour la mascotte de la marque, une autre pour le produit qu'elle doit vendre. La tâche : faire en sorte que le personnage tienne le produit, en vertical, prêt pour un fil d'actualité.

Plan vertical. La mascotte renard de dessin animé orange de l'image de référence 1 brandit la canette d'eau pétillante vert menthe de l'image de référence 2, la présente à la caméra avec un petit saut joyeux, arrière-plan de studio aux couleurs pop vives, confettis qui tombent. Publicité sociale espiègle, éclairage dynamique et joyeux, bruits de bulles pétillants.

Ce qui a été fusionné, et ce que le modèle a inventé. Le renard conserve le design de l'image 1 (poils orange, écharpe verte, grands yeux), la canette conserve la surface vert menthe mat de l'image 2, et les pattes du personnage l'enserrent — le verbe « brandit… présente à la caméra » lie les deux images de référence en une seule action, plutôt qu'en deux objets partageant un cadre. L'arrière-plan aux couleurs pop et les confettis sont inventés. Il faut choisir un size vertical (720*1280) pour obtenir un format vertical ; il n'existe pas de champ aspect_ratio (voir plus bas). 4 secondes, environ 0,62 $.

Ce que j'ai appris en exécutant ces recettes

Cinq choses à savoir avant de dépenser des crédits, toutes issues de cette série de tests :

• Le rattachement par index est essentiel. Chaque clip ci-dessus a respecté la formule « le X de l'image de référence N ». Quand vous voulez que deux sujets interagissent, donnez à l'action un verbe qui les relie (« brandit », « posé sur… ») plutôt que de les énumérer côte à côte.
• Vous ancrez les objets ; le modèle invente le tissu conjonctif. Le comptoir, la lumière de toute la pièce, les confettis, la poudre tourbillonnante — rien de tout cela n'est dans les images de référence. Pour « un sujet dans un décor », c'est une caractéristique, mais cela signifie aussi que tout ce que vous devez conserver doit provenir des images de référence.
• Les pixels livrés sont légèrement inférieurs au size nominal. 1920*1080 est renvoyé en 1914×1084, 1280*720 en 1276×722, 720*1280 en 722×1276. Assez proche pour le web, mais ne codez pas en dur les dimensions exactes en aval.
• Sortie en H.264, directement intégrable. Contrairement au niveau 4K qui livre du HEVC, ces clips se lisent en ligne sans réencodage — chaque vidéo de cette page est le fichier renvoyé directement par l'API.
• L'« audio natif » ne produit pas d'audio. Chacun des quatre clips est renvoyé sous forme de MP4 muet, vidéo uniquement — malgré l'étiquette « audio natif » du modèle et des indices sonores dans mes prompts (« douces ambiances sonores de café », « puissant sifflement »). Les clips d'exemple Q3 Mix de la plateforme sont eux aussi muets. Prévoyez d'ajouter le son en post-production, ou utilisez un niveau avec entrée audio explicite si une piste vocale est indispensable — les recettes Vidu Q4 Preview couvrent le flux de travail avec référence vocale.

Reproduire n'importe quelle recette avec /v1/tasks

La génération de vidéo à partir de références fonctionne via une API de tâches asynchrones : soumettez la tâche, interrogez jusqu'à ce que le statut soit success, puis téléchargez le clip depuis output[0].url (cette URL est de courte durée — enregistrez le fichier immédiatement).

curl -X POST https://api.hiapi.ai/v1/tasks \
  -H "Authorization: Bearer $HIAPI_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "vidu-q3-mix/reference-to-video",
    "input": {
      "prompt": "le filtre de l'image de référence 1 posé sur la carafe de l'image de référence 2…",
      "reference_image_urls": [
        "https://your-host/dripper.png",
        "https://your-host/carafe.png"
      ],
      "duration": 5,
      "size": "1920*1080"
    }
  }'
# -> {"data":{"taskId":"tk-..."}}   puis GET /v1/tasks/tk-... jusqu'à status == "success"

import requests, time

H = {"Authorization": f"Bearer {TOKEN}"}
job = requests.post("https://api.hiapi.ai/v1/tasks", headers=H, json={
    "model": "vidu-q3-mix/reference-to-video",
    "input": {"prompt": PROMPT, "reference_image_urls": REFS,
              "duration": 5, "size": "1920*1080"},
}).json()["data"]["taskId"]

while True:
    t = requests.get(f"https://api.hiapi.ai/v1/tasks/{job}", headers=H).json()["data"]
    if t["status"] in ("success", "fail"):
        break
    time.sleep(5)

open("clip.mp4", "wb").write(requests.get(t["output"][0]["url"]).content)

Règles de champs à connaître avant de copier une recette :

• reference_image_urls accepte 1 à 7 images. Une huitième renvoie 400 maxItems: want 7.
• duration est un entier, de 1 à 16 secondes. Les nombres flottants comme 4.5 ou 99 sont refusés à la soumission.
• Le format est défini par size, et non par aspect_ratio — passer aspect_ratio (ou resolution) renvoie 400 additional properties not allowed. Les dix valeurs de size correspondent à cinq ratios d'image sur deux niveaux, 720 et 1080 ; choisissez les valeurs verticales pour le format portrait et les valeurs horizontales pour le 16:9.
• Aucun champ de référence audio — reference_audio_urls est refusé. Si vous devez piloter la voix avec un échantillon audio, c'est le niveau Q4 Preview, pas Q3 Mix.
• La facturation à la seconde (niveau 720 vs niveau 1080) se trouve sur la page de tarification ; les quatre clips ci-dessus coûtent chacun entre environ 0,62 $ et 0,93 $. Itérez d'abord sur la composition en size de niveau 720, puis relancez la version finale en 1080.

Questions fréquentes

Combien d'images de référence Q3 Mix peut-il fusionner ? De une à sept. Deux est le cas courant (sujet + décor) ; trois se composent encore proprement tant que chaque image assume un rôle nettement différent, comme dans la recette de la basket ci-dessus. Au-delà de quatre, attribuez à chaque image de référence une tâche explicite et non chevauchante, sinon le modèle commencera à écarter la plus faible.

Comment contrôler quelle image est le sujet et quelle image est l'arrière-plan ? Référencez-les par index et attribuez les rôles dans la même phrase : « la basket de l'image de référence 1… sur l'arrière-plan de l'image de référence 3. » L'ordre des URL dans reference_image_urls est l'ordre des index — l'image 1 est la première URL.

Q3 Mix ajoute-t-il automatiquement du son ? Pas dans mes tests. Malgré l'étiquette « audio natif », les quatre clips — ainsi que les exemples Q3 Mix de la plateforme — sont renvoyés en MP4 muet, même lorsque les prompts contiennent des mots liés au son. Considérez Q3 Mix comme un générateur d'image uniquement, ajoutez l'audio en post-production, ou passez à un niveau avec entrée audio explicite.

Peut-on obtenir de la 4K ou un ratio d'image personnalisé ? Pas de 4K — Q3 Mix plafonne aux valeurs de size de niveau 1080. Le ratio d'image est l'une des cinq formes proposées dans size (paysage, portrait, carré). Pour de la 4K ou une référence vocale, utilisez plutôt Vidu Q4 Preview.

Q3 Mix ou Q3 Ad — lequel choisir ? L'interface d'appel est presque identique (1 à 7 images, les mêmes dix valeurs de size, pas d'entrée audio), donc les prompts sont quasiment transposables tels quels. Choisissez Q3 Ad lorsque le besoin est une publicité produit — il est optimisé pour le montage intelligent et les mouvements de caméra marketing ; choisissez Q3 Mix pour une fusion multi-sujets générique. Les tarifs à la seconde sont proches sans être identiques ; consultez la page de tarification.

Pourquoi ma fusion ignore-t-elle une image de référence ? C'est presque toujours un problème de rattachement dans le prompt, pas une limite du modèle. Si une image de référence n'a pas de rôle explicite dans la phrase, elle entre en concurrence avec les autres et perd. Donnez-lui un verbe et une position (« brandit la canette de l'image de référence 2 »), et gardez à distance, en proportion, les images de référence qui entrent en conflit.

---

Prêt à essayer ? Ouvrez la page du modèle vidu-q3-mix/reference-to-video, obtenez une clé depuis le démarrage rapide, puis collez une recette ci-dessus et remplacez les URL par les vôtres. Vous voulez planifier les mouvements de caméra dans votre fusion ? Les prompts de mouvements de caméra cinématographiques s'appliquent directement à n'importe laquelle d'entre elles.