Du texte à l'image : conversion de concepts de storyboard en vidéo guidée par des images de référence

Cette démonstration illustre le fonctionnement du parcours de génération vidéo à partir d'images de référence de Vidu Q3 : on génère d'abord deux images de référence conceptuelles via le pipeline (le personnage principal et la direction artistique du décor), puis on les introduit à l'aide d'un prompt en langage naturel dans l'ordre Image1, Image2, pour produire un plan-séquence continu avec audio natif. Le champ reference_image_urls du schéma accepte de 1 à 7 images de référence, citées dans le prompt par leur index de tableau ; à l'étape du storyboard, il suffit donc de séparer le personnage, les accessoires et le décor en images de référence distinctes, puis de décrire en texte les mouvements de caméra, le rythme des actions et le son pour obtenir un extrait narratif cohérent sur le sujet. duration peut être réglé de 1 à 16 secondes ; ici, 8 secondes ont été choisies pour contenir le rythme complet « plan d'ensemble → travelling avant → action du personnage » ; size utilise le format paysage 1920*1080 avec audio activé, afin que les dialogues et les sons d'ambiance sortent directement synchronisés avec l'image. Cas d'usage : prévisualisation de storyboards pour des drames dessinés/séries courtes, validation de concepts pour des vidéos courtes publicitaires et e-commerce, production de courts métrages de série nécessitant la cohérence de plusieurs sujets. Les développeurs peuvent se référer directement aux structures base et assets de cet exemple, remplacer leurs propres images de personnages et de décors dans reference_image_urls, et reproduire ainsi un processus de génération similaire.