Vom Text zum Bild: Referenzbildgesteuerte Storyboard-Konzept-zu-Video-Konvertierung

Diese Demo zeigt die Funktionsweise der referenzbildgesteuerten Videolinie von Vidu Q3: Zunächst werden zwei Konzeptreferenzbilder (Hauptfigur und Szenenkunst) über die Pipeline generiert, dann werden sie mit natürlichsprachlichen Prompts in der Reihenfolge Image1, Image2 eingebunden, um eine zusammenhängende Einstellung mit nativem Audio auszugeben. Das Feld reference_image_urls im Schema unterstützt 1–7 Referenzbilder, die im Prompt über Array-Indizes benannt und referenziert werden. Daher müssen in der Storyboard-Phase nur Charaktere, Requisiten und Szenen als separate Referenzbilder aufgeteilt und Kamerabewegung, Aktionsrhythmus und Ton in Text beschrieben werden, um narrative Sequenzen mit konsistenten Subjekten zu erhalten. duration kann auf 1–16 Sekunden eingestellt werden; diese Demo verwendet 8 Sekunden, um den vollständigen Rhythmus von „Establishing Shot → Push-in → Charakteraktion“ abzudecken; size verwendet 1920*1080 Querformat und aktiviert audio, sodass Dialoge und Umgebungsgeräusche synchron mit dem Bild direkt ausgegeben werden. Anwendungsfälle: Storyboard-Previsualisierung für Comic-Dramen/Kurzdramen, Konzeptvalidierung für Werbe- und E-Commerce-Kurzvideos, Produktion von Serien-Kurzfilmen mit Anforderungen an Konsistenz mehrerer Subjekte. Entwickler können die base- und assets-Struktur dieses Beispiels direkt übernehmen und ihre eigenen Charakter- und Szenenbilder in reference_image_urls einsetzen, um denselben Generierungsprozess zu reproduzieren.