Utiliser happyhorse-1.1/reference-to-video via l'API HiAPI : recettes de prompts et flux de travail pour vidéos courtes

Ce que reference-to-video change dans votre flux de travail

La génération de vidéo à partir de texte seul exige que le modèle invente le sujet à partir d'une description, ce qui signifie que chaque exécution peut produire un visage, un vêtement ou une forme de produit différents. reference-to-video fait l'inverse : vous fournissez une ou plusieurs images et le modèle les utilise comme référence visuelle de ce qui apparaît à l'écran. Le prompt n'est plus une consigne de casting, mais une feuille d'instructions de réalisation.

Dans un flux de travail pour vidéos courtes, cela déplace le centre de gravité. Avec la génération à partir de texte seul, vous itérez principalement sur la formulation. Avec happyhorse-1.1/reference-to-video, ce que vous itérez d'abord, c'est le jeu d'images de référence, et le prompt ensuite. Si le sujet semble incorrect, la solution consiste généralement à remplacer une image par une meilleure ou à ajuster l'ordre des images, plutôt qu'à empiler des listes d'adjectifs plus longues.

Où cela s'inscrit

Une boucle typique ressemble à ceci :

1. Rassembler et sélectionner un petit ensemble d'images de référence pour le sujet et la scène.
2. Les classer par importance (la section suivante détaille cela).
3. Rédiger un prompt séquencé par plans, avec des attributs stables et un rythme explicite.
4. Générer, comparer aux images de référence, puis décider s'il faut changer les images ou le texte.

Le bénéfice réel est la cohérence sur une série. Si vous produisez plusieurs vidéos avec le même personnage, produit ou mascotte, un jeu d'images de référence stable est ce qui garantit que le troisième épisode ressemble encore au premier. Gérez les images comme des ressources versionnées dans un dépôt, et non comme des fichiers téléversés jetables.

Organiser votre jeu d'images de référence

Le modèle lit vos images comme un signal hiérarchisé. L'ordre et la sélection font eux-mêmes partie du prompt, alors décidez-en délibérément.

Choisir une image de sujet principale

La première image doit être la vue la plus nette et la plus représentative du sujet : de face, bien éclairée, sans obstruction, et avec un arrière-plan exempt de détails distrayants. Cette image ancre l'identité. Les autres images sont des informations secondaires.

N'ajouter un second angle que s'il apporte une réelle valeur

Une deuxième image est utile lorsqu'elle lève une ambiguïté que la première ne peut pas résoudre — une vue de profil, un autre état de vêtement, ou le dos d'un produit. Elle est nuisible lorsqu'elle introduit des détails contradictoires, comme deux coiffures ou deux logos. Si vous ne voulez pas que le modèle fasse une moyenne des deux, ne les mettez pas ensemble.

Séparer le sujet de l'environnement

Si la scène compte, ajoutez une image de référence d'environnement qui montre le décor sans concurrencer le sujet. Rendez-la visuellement distincte de l'image du sujet pour éviter que le modèle les mélange.

Une règle d'ordre simple

• Position 1 : sujet principal, propre et canonique.
• Position 2 : angle secondaire du sujet, uniquement si nécessaire.
• Position 3 et suivantes : références d'environnement ou de style.

Des règles qui épargnent plusieurs itérations

• Gardez le jeu de référence petit et cohérent en interne.
• Évitez les images où le sujet est trop petit, mal cadré ou trop filtré.
• Uniformisez les ratios d'aspect autant que possible ; des compositions très différentes rendent la coordination des vues plus difficile pour le modèle.
• Nommez les fichiers par rôle (subject-primary.png, scene-street.png) pour que l'équipe les traite comme un seul ensemble d'éléments.

En cas de doute, supprimez une image plutôt que d'en ajouter une.

Rédiger des prompts qui maintiennent la cohérence du sujet

La dérive d'identité vient souvent d'une formulation vague. Des descriptions génériques comme « une personne » ou « une tenue élégante » donnent au modèle la latitude d'improviser. La solution consiste à énoncer explicitement des attributs stables et observables, et à les maintenir identiques d'une phrase à l'autre.

Indiquer ce qui ne doit pas changer

Énumérez les attributs qui définissent le sujet : couleur et coupe du vêtement, coiffure, accessoires emblématiques, forme du produit, emplacement du logo. Répétez les éléments clés dans chaque description de plan plutôt que de présumer la continuité.

Distinguer ce qui est « verrouillé » de ce qui est « variable »

Mentalement, divisez le prompt en deux blocs : les attributs verrouillés du sujet, puis l'action et le plan de chaque scène. Vous repérez ainsi facilement quand une contradiction s'est glissée, par exemple une veste rouge au premier plan et une veste grise au troisième.

Des schémas de formulation efficaces

• Ancrez d'abord : commencez par le sujet et ses attributs verrouillés, puis décrivez le mouvement.
• Gardez les noms cohérents : si l'image de référence montre un trench, appelez-le trench à chaque fois, et non d'abord « veste » puis « manteau ».
• Le concret prime sur l'évaluation : « cheveux courts foncés, raie sur le côté » vaut mieux que « de beaux cheveux ».
• Précisez ce qui reste inchangé en mouvement : « le manteau conserve sa coupe lorsque le sujet se retourne » est plus utile que de laisser le modèle le déduire.
• Évitez d'empiler les synonymes : superposer des adjectifs dilue le signal.

Une comparaison rapide

Faible : « une femme élégante marche dans la rue, cinématographique. »

Plus fort : « la femme de l'image de référence — cheveux courts foncés, raie sur le côté, trench camel, bottes noires — avance vers la caméra d'un pas régulier ; le manteau et les bottes restent identiques tout du long. »

La deuxième version donne au modèle une liste, pas une ambiance.

Diriger le plan et le rythme dans un seul prompt

La réussite d'une vidéo courte tient au rythme. Une seule description statique produit une vidéo sans structure qui dérive au fil de l'eau. Rédigez le prompt comme une séquence ordonnée de plans, avec des indications de rythme explicites.

Organiser par temps forts

Décrivez deux à quatre temps forts, chacun contenant l'état du sujet, l'action et une note de caméra. Gardez chaque temps fort bref. Le modèle traite mieux une séquence claire de trois temps qu'un long paragraphe.

Écrire le rythme explicitement

Les mots de rythme pèsent lourd : « coupe rapide », « travelling avant lent », « pause d'un temps », « zoom brusque », « fin stabilisée ». Associez-les au langage caméra (travelling, panoramique, caméra à l'épaule) pour que le mouvement et la sensation temporelle se renforcent mutuellement.

Modèle de temps forts

Plan 1 (0-2 s) : [sujet + attributs verrouillés] [action], [mouvement de caméra], [indication de rythme].
Plan 2 (2-4 s) : [changement d'état du sujet] [action], [mouvement de caméra], [indication de rythme].
Plan 3 (4-6 s) : [temps fort de clôture], [caméra stabilisée], [indication de rythme].

Vous n'avez pas besoin d'horodatages précis, mais penser en secondes vous force à justifier chaque temps fort. Si un temps fort n'apporte pas de changement visuel clair, supprimez-le.

Erreurs de rythme courantes

• Trop de temps forts dans une vidéo courte, ce qui oblige le modèle à tout précipiter.
• Absence d'indications de caméra, d'où une composition plate et statique.
• Indications de rythme contradictoires sur la même ligne (« lent et énergique »).

Une fois la séquence écrite, lisez-la à voix haute et supprimez tout ce qui ne change pas le contenu de l'image.

Arbitrages entre résolution, durée et budget

Avant de générer en série, décidez quelle ressource vous dépensez : les pixels, les secondes ou les itérations. Elles sont en concurrence.

L'arbitrage central

Une résolution de sortie plus élevée (par exemple 1080P) et une durée plus longue augmentent toutes deux le coût de chaque génération. Comme la facturation suit la sortie demandée — résolution et longueur du clip comprises — une longue vidéo en 1080P est ce qu'il y a de plus coûteux à demander. Pour une vidéo courte, il est rare d'avoir besoin de pousser les deux à fond.

Un ordre de décision efficace

1. Fixez d'abord la durée. Une vidéo courte implique généralement une fenêtre temporelle serrée. Verrouillez la longueur exigée par la plateforme, puis traitez tout le reste comme ajustable.
2. Choisissez la résolution selon la cible de diffusion. Si le clip sera de toute façon compressé dans un fil d'actualité, une résolution plus basse peut être un choix par défaut plus judicieux, et vous permet de consacrer le budget à davantage d'essais.
3. Dépensez le budget en itérations, pas seulement en production. Une vidéo légèrement moins résolue, générée trois fois avec sélection du meilleur résultat, bat souvent une tentative coûteuse impossible à refaire.

Conseils pratiques

• Prototypez d'abord en résolution plus basse pour valider le prompt et le jeu de références.
• Ne passez en 1080P qu'une fois la séquence de plans et la cohérence d'identité validées.
• Soyez honnête sur la durée : un court-métrage compact aux temps forts nets est plus agréable qu'un long rempli de contenu de remplissage.

Consultez le panneau de tarification actuel pour connaître les tarifs exacts ; les chiffres changent et ne doivent pas être codés en dur dans vos scripts. Lors de la construction des requêtes, faites de la résolution et de la durée des paramètres commutables, pas des constantes enfouies dans le code.

Requête exécutable et bibliothèque de recettes de prompts

Voici la structure de requête pour appeler happyhorse-1.1/reference-to-video via l'API HiAPI, suivie de recettes de prompts prêtes à copier, assorties au flux de travail ci-dessus. Les noms de paramètres peuvent varier légèrement selon la version du SDK ; consultez la page du modèle pour le schéma canonique.

Structure de requête

import os, requests

resp = requests.post(
    "https://api.hiapi.ai/v1/video/generations",
    headers={"Authorization": f"Bearer {os.environ['HIAPI_API_KEY']}"},
    json={
        "model": "happyhorse-1.1/reference-to-video",
        "reference_images": [
            "https://your-cdn.example/subject-primary.png",
            "https://your-cdn.example/subject-angle.png",
            "https://your-cdn.example/scene-street.png",
        ],
        "prompt": "...texte de la recette...",
        "resolution": "1080P",
        "duration": 6,
    },
)
print(resp.json())

Gardez les images de référence sur des URL stables et dans l'ordre décrit plus haut : sujet principal, angle secondaire, environnement.

Recette 1 : visuel produit, un seul temps fort

Le produit de l'image de référence — flacon noir mat, bouchon cuivré, étiquette frontale — centré sur une surface en pierre. Travelling avant lent vers l'étiquette, éclairage de studio doux, sans coupe. Le flacon et le bouchon conservent exactement leur forme et leur couleur tout du long.

Recette 2 : personnage qui marche, trois temps forts

Plan 1 (0-2 s) : la femme de l'image de référence — cheveux courts foncés, raie sur le côté, trench camel, bottes noires — avance vers la caméra, plan moyen, caméra à l'épaule stable, démarche vive.
Plan 2 (2-4 s) : coupe rapide sur le profil ; le trench flotte lorsqu'elle se retourne, la caméra suit latéralement, même rythme vif.
Plan 3 (4-6 s) : elle s'arrête et fait face à l'avant, la caméra se stabilise en un lent travelling avant, clôture calme. Cheveux, trench et bottes restent identiques dans tous les plans.

Recette 3 : ouverture guidée par l'environnement

Plan 1 (0-2 s) : plan large de la rue de l'image de référence d'environnement, lumière du matin, lent panoramique vers la gauche.
Plan 2 (2-4 s) : le sujet de l'image de référence entre par la droite du cadre — même veste et même sac — la caméra reste fixe, rythme naturel.
Plan 3 (4-6 s) : resserrement en plan moyen, elle regarde vers la caméra ; la veste et le sac correspondent exactement à l'image de référence.

Vous pouvez ajuster la durée et la résolution par clip sans modifier le texte du prompt. Un guide dédié avec des exemples complets est disponible dans la documentation.

Examiner les résultats et itérer

C'est lors de l'examen que se produit l'essentiel du gain de qualité, et la discipline clé consiste à déterminer de quel type de problème il s'agit.

Évaluer par rapport aux références, pas de mémoire

Gardez le jeu d'images de référence ouvert à côté de la sortie. Vérifiez chaque attribut d'identité : visage et cheveux, couleur et coupe du vêtement, forme du produit, emplacement du logo. Une dérive que vous pouvez nommer est une dérive que vous pouvez corriger.

Classer les échecs en deux catégories

• Les problèmes d'identité ou d'apparence signifient généralement un jeu de références faible, incohérent ou mal ordonné. Corrigez d'abord les images ; écrire plus fort le prompt sauve rarement un jeu de références contradictoire.
• Les problèmes de composition, de mouvement ou de rythme signifient généralement que le prompt doit être amélioré : temps forts plus clairs, notes de caméra plus fortes, durée plus serrée.

Une boucle d'examen brève

1. Notez séparément l'identité, la composition et le rythme.
2. Si l'identité échoue, ajustez d'abord les images de référence, puis le prompt.
3. Si le rythme échoue, réécrivez la séquence de temps forts et supprimez-en un.
4. Ne changez qu'une variable par itération, pour savoir ce qui a fonctionné.
5. Une fois stable en résolution basse, passez en 1080P pour la version finale.

Tenez un bref journal des versions de prompt et de jeu de références pour chaque clip validé. Au sein d'une série, ce journal devient votre véritable bibliothèque de recettes : prompts fiables, images fiables, sorties prévisibles. Itérez sur le jeu de références et le texte, et laissez le modèle faire le reste.