Recettes de prompts text-to-video pour Kling 4.0 à destination des développeurs

Pourquoi la structure du prompt compte plus que la formulation

La plupart des équipes commencent par la formulation. Elles ajustent les adjectifs, remplacent les synonymes, en espérant que le prochain rendu sera meilleur. Cela fonctionne pour un clip isolé, mais dès qu'on entre dans un pipeline API — où un même prompt doit produire des résultats cohérents sur des dizaines voire des centaines de requêtes — cette approche échoue complètement.

La formulation est un détail de surface. La structure est ce qui rend la sortie prévisible.

Quand vous appelez kling-4.0/text-to-video, le modèle reçoit une chaîne de caractères. À l'intérieur de cette chaîne, le modèle doit résoudre simultanément plusieurs décisions indépendantes : quel est le sujet, à quoi ressemble l'environnement, comment la caméra se déplace, et quelle quantité de récit la durée demandée peut contenir. Si ces décisions sont enchevêtrées dans une phrase fluide, vous ne pouvez pas déterminer quelle phrase a causé un mauvais rendu, ni ajuster une dimension sans perturber les autres.

Un prompt structuré sépare ces décisions dans des emplacements stables. Cela apporte trois bénéfices concrets :

• Isolation. Quand la caméra ne semble pas juste, vous ne modifiez que l'emplacement caméra. La description de scène reste inchangée, donc votre comparaison a du sens.
• Réutilisabilité. Un même bloc de scène peut être combiné avec différents blocs de caméra dans un même lot, ce qui est précisément la manière d'explorer des variantes à faible coût.
• Diagnosticabilité. Quand une régression apparaît après un changement de modèle ou de paramètres, vous pouvez comparer les versions de prompt au lieu de deviner.

La structure l'emporte pour une deuxième raison : l'itération en génération vidéo coûte cher. Chaque rendu consomme du temps et du budget, et vous ne pouvez pas voir les états intermédiaires. Comme vous ne voyez que le clip final, le prompt est en réalité votre seule interface de débogage. Un prompt qui se lit comme une spécification vous donne quelque chose à raisonner ; un prompt qui se lit comme un poème ne le fait pas.

Enfin, un prompt structuré survit aux passations. Une recette qu'un coéquipier peut lire, remplir et versionner est un atout. Un prompt astucieux jetable vit dans le fichier de brouillon d'une personne, puis y meurt.

C'est pourquoi les recettes de ce guide s'organisent autour d'un squelette, et non d'une liste de phrases magiques. Les phrases comptent, mais seulement une fois enchâssées dans une forme que vous contrôlez.

Le squelette de prompt central

Chaque recette de ce guide est un remplissage du même modèle en quatre segments. Gardez l'ordre stable, afin que vos diffs restent lisibles.

[SUBJECT] + [SCENE] + [CAMERA] + [PACING]

Voici ce que chaque emplacement doit contenir :

Sujet (Subject)

De qui ou de quoi parle le clip, avec un ou deux détails physiques qui doivent se maintenir en mouvement. Restez concret et visuel. "une femme dans un trench détrempé par la pluie" vaut mieux que "une personne mystérieuse". Évitez ici les étiquettes émotionnelles abstraites ; le modèle rend des corps et des objets, pas des intentions.

Scène (Scene)

L'environnement, l'éclairage et le moment de la journée. C'est ici que se joue la qualité cinématographique. Spécifiez la direction et la texture de la lumière, pas des mots d'ambiance. "lumière du soleil en contre-plongée arrivant de la gauche du cadre, ombres dures, poussière en suspension" dit bien plus au modèle que "éclairage dramatique".

Caméra (Camera)

Le cadrage plus le mouvement, énoncés comme une proposition indépendante. Parce que c'est un emplacement distinct, vous pouvez le remplacer en bloc. Un plan large fixe et un lent travelling avant partagent le même sujet et la même scène, mais produisent des clips totalement différents.

Rythme (Pacing)

Ce qui doit se produire dans le clip, en cohérence avec la durée demandée. Un clip court supporte un seul temps fort ; un clip plus long peut contenir une petite arche narrative.

Voici un exemple rempli :

SUBJECT: a lone cyclist in a dark windbreaker, water beading on the helmet
SCENE: empty coastal road at dawn, overcast sky, wet asphalt reflecting grey light
CAMERA: wide shot, slow lateral tracking at walking pace
PACING: single continuous action, cyclist pedals steadily, no cuts

Aplatissez-le en une chaîne de requête envoyée à kling-4.0/text-to-video :

A lone cyclist in a dark windbreaker, water beading on the helmet, on an empty coastal road at dawn, overcast sky, wet asphalt reflecting grey light. Wide shot, slow lateral tracking at walking pace. Single continuous action, cyclist pedals steadily, no cuts.

Deux conventions font fonctionner ce squelette en pratique. Premièrement, utilisez des points entre les emplacements, pas des virgules. Cela donne au prompt un rythme naturel et sépare chaque décision. Deuxièmement, ne laissez jamais un emplacement vide par inadvertance. Si la caméra ne vous importe pas, écrivez tout de même un choix explicite, comme "static medium shot", pour que le modèle n'improvise pas.

Traitez le squelette comme un contrat. Quand vous le modifiez, faites-le consciemment et incrémentez le numéro de version du prompt.

Recettes de formulation pour scènes cinématographiques

Une sortie cinématographique provient de descriptions concrètes de la lumière et de l'espace, pas d'adjectifs qui sonnent cinéma. Les schémas ci-dessous remplacent les mots d'ambiance par des faits physiques.

Recette : éclairage directionnel

SCENE: interior workshop at night, single warm lamp from upper right casting long shadows across a cluttered bench, dust visible in the light beam, dark background falling into black

Remarquez ce qui agit : la source lumineuse, la direction, la texture, et ce que la lumière révèle. "Warm" et "night" fixent la tonalité ; "upper right" fixe la géométrie ; "dust visible in the beam" ajoute de la profondeur. Remplacez la lampe par une fenêtre et le même squelette produit une scène différente sans toucher au sujet ni à la caméra.

Recette : profondeur environnementale

SCENE: narrow alley after rain, foreground puddles with reflections, midground fire escape and hanging cables, distant streetlight haze behind, cool blue-grey palette

Décomposez explicitement le premier plan, le plan moyen et l'arrière-plan pour donner au modèle un plan de profondeur. Cela réduit aussi ce flou de milieu de cadre qui apparaît quand le prompt ne décrit qu'un seul plan.

Recette : action du sujet avec texture

SUBJECT: a chef in a white apron, flour dusting the forearms, hands working dough
PACING: continuous kneading motion, flour puffing with each press, no cuts

Décrivez l'action comme une boucle physique que le modèle peut maintenir en continu. Une action continue et répétable tient mieux la durée d'un clip qu'un événement unique — que le modèle risque d'achever trop tôt puis de laisser tourner à vide.

Recette : météo et atmosphère

SCENE: city rooftop at dusk, thin fog moving through the frame, wind pushing loose fabric, distant skyline softened by haze, low contrast, desaturated

Décrivez l'atmosphère comme quelque chose qui bouge, car la vidéo récompense les indices de mouvement. Brouillard, vent, pluie et particules en suspension donnent tous une texture continue à l'image.

Anti-modèles à éviter

• Empilement d'adjectifs. "Epic, stunning, cinematic, beautiful" n'ajoute aucune information que le modèle peut rendre.
• Mots de caméra mélangés à la scène. Gardez "slow dolly" hors de l'emplacement scène, pour pouvoir l'ajuster séparément.
• Contradictions. "Bright night scene" se résout de façon imprévisible. Choisissez un schéma d'éclairage et tenez-vous-y.
• Trop de sujets. Chaque personnage ou objet ajouté se dispute l'attention du modèle et augmente la probabilité qu'un d'eux soit déformé.

Recettes de contrôle de la caméra et du cadrage

La caméra est l'emplacement au plus fort effet de levier, car elle change le rendu d'un clip sans en changer le contenu. Gardez-la isolée pour pouvoir la remplacer dans un lot.

Vocabulaire des cadrages

Chaque proposition de caméra commence par un cadrage : très grand plan large, plan large, plan moyen, gros plan, très gros plan. Ce seul mot détermine quelle part du cadre le sujet occupe et quelle part de l'environnement reste visible.

CAMERA: medium close-up, static tripod

Recettes de mouvement

Chacune des propositions suivantes est une proposition de caméra directement interchangeable :

CAMERA: wide shot, slow push-in toward the subject
CAMERA: medium shot, lateral tracking left at walking pace
CAMERA: close-up, slow handheld drift with slight instability
CAMERA: wide shot, static, subject moves through frame
CAMERA: medium shot, slow tilt up from hands to face

La discipline clé est un seul mouvement par proposition. Combiner push-in, tilt et roll dans une même requête produit généralement un résultat pâteux, car le modèle doit mélanger des plans de mouvement contradictoires.

Modificateurs de vitesse

Pour la qualité perçue, la vitesse du mouvement compte plus que sa direction. Utilisez des modificateurs simples : slow, steady, walking pace, gradual. Évitez les vitesses numériques, car elles ne se traduisent pas de manière fiable dans le plan de mouvement du modèle.

Caméra à l'épaule vs stabilisée

Si vous voulez un réalisme documentaire, écrivez explicitement "handheld, slight instability". Si vous voulez un poli de niveau publicitaire, écrivez "stabilized, smooth motion". Ne pas spécifier cela est l'une des causes les plus fréquentes de clips qui semblent faux sans raison évidente.

Remplacer la caméra dans un lot

Comme la caméra est un emplacement distinct, vous pouvez garder le sujet, la scène et le rythme fixes et générer une comparaison contrôlée. Construisez un petit tableau de propositions de caméra, bouclez dessus, tout le reste étant figé :

cameras = [
    "wide shot, static tripod",
    "medium shot, slow push-in",
    "close-up, handheld with slight drift",
]
for cam in cameras:
    prompt = f"{subject}. {scene}. {cam}. {pacing}."
    # send prompt to kling-4.0/text-to-video

L'ensemble des sorties vous dit quelle composition se lit le mieux pour ce contenu, et la comparaison est honnête car une seule variable a bougé.

Recettes de durée et de rythme

Le détail du prompt doit correspondre à la longueur du clip. Un prompt qui décrit trois temps forts dans un clip court produit un résultat précipité et défaillant. Un prompt qui décrit une seule petite action dans un clip long produit du temps mort.

Clip court : un seul temps fort

Pour les durées courtes, décrivez une action unique et continue, sans progression narrative.

PACING: one continuous gesture, subject turns head slowly toward the light, nothing else changes

Retirez tout ce qui suggère une séquence. Des mots comme "then", "after" et "finally" incitent le modèle à compresser les événements et à perdre en cohérence.

Clip moyen : une action plus un mouvement environnemental

Ajoutez un mouvement environnemental plutôt qu'une seconde action du sujet.

PACING: subject stands still breathing, cloth shifting in the wind, background smoke drifting continuously

Le mouvement environnemental remplit le temps sans exiger du modèle qu'il orchestre de nouveaux événements.

Clip plus long : une petite arche

Si votre durée le permet, vous pouvez décrire un état de départ et un état d'arrivée. Gardez deux temps forts et rendez la transition physique.

PACING: subject begins facing away, slowly turns to face camera, expression settles into a neutral gaze by the end

Énoncez la position de départ, le mouvement et la position d'arrivée. Cela donne au modèle une trajectoire à interpoler, plutôt qu'une durée vide à remplir.

Faire correspondre les mots et les secondes

En règle générale, chaque temps fort décrit une action physique, et un clip court doit en gros budgéter un temps fort. Si vous vous surprenez à écrire plus de deux phrases dans la section rythme, soit le clip est assez long pour contenir une arche, soit vous surspécifiez.

Erreurs de rythme courantes

• Montage implicite. "Shot one, then shot two" fonctionne rarement ; une seule génération est un plan continu.
• Parler et bouger. Dialogue plus mouvement complexe est une combinaison difficile. Privilégiez l'un ou l'autre.
• Changements temporels. Un coucher de soleil dans un clip est difficile à contrôler ; choisissez un état d'éclairage et tenez-vous-y.
• Chorégraphie de foule. Plusieurs figures se déplaçant indépendamment se dégradent vite. Traitez la foule comme une texture, pas comme des acteurs.

Tester les recettes dans un pipeline

Une recette de prompt est du code. Elle doit être versionnée, testée et journalisée comme du code.

Versionner les prompts comme des actifs

Stockez chaque recette dans un fichier, avec un identifiant de version et les emplacements remplis. Ne les enterrez pas comme des chaînes dans la logique applicative. Quand vous modifiez une phrase, c'est une nouvelle version, et l'ancienne reste disponible pour comparaison et retour arrière.

{
  "id": "cyclist_coastal_v3",
  "subject": "a lone cyclist in a dark windbreaker...",
  "scene": "empty coastal road at dawn...",
  "camera": "wide shot, slow lateral tracking...",
  "pacing": "single continuous action..."
}

Lancer de petits lots comparatifs

Avant de promouvoir une recette en production, générez un petit lot — quelques variantes, pas des centaines. Ne changez qu'un emplacement à la fois. Notez les sorties sur les dimensions qui vous importent : fidélité du sujet, stabilité du mouvement, composition, et à quel point le clip remplit sa durée. Promouvez le gagnant et consignez la décision.

Journaliser ensemble prompt, paramètres et sortie

Chaque requête doit écrire un enregistrement contenant la version du prompt, les emplacements remplis, les paramètres de requête, l'identifiant de sortie et votre score de qualité. Quand une régression apparaît plus tard, ce journal fait la différence entre un diagnostic en cinq minutes et une journée de conjectures.

log = {
    "prompt_id": recipe["id"],
    "prompt": flattened_prompt,
    "params": {"prompt": flattened_prompt},
    "output": response_id,
    "score": manual_score,
}

Conserver un jeu de régression

Une fois une recette en production, conservez un petit ensemble figé de prompts et leurs sorties acceptées. Après tout changement de modèle ou de paramètres, relancez cet ensemble et comparez. Cela capture la dérive silencieuse avant que les utilisateurs ne la remarquent.

Une boucle de promotion simple

Rédigez une recette à partir du squelette, remplissez les emplacements, lancez un petit lot avec des alternatives pour un emplacement donné, notez, puis promouvez le gagnant en actif versionné avec journalisation complète. Répétez à mesure que les besoins de contenu évoluent.

Traitez chaque recette comme un artefact testable, et le pipeline cesse d'être une machine à sous. Vous pouvez commencer par le point de terminaison kling-4.0/text-to-video et construire votre propre bibliothèque versionnée par-dessus.