От текста к изображению: преобразование концепции раскадровки в видео на основе референсных изображений

В этом примере демонстрируется работа линии генерации видео по референсным изображениям Vidu Q3: сначала с помощью производственной линии создаются два концептуальных референсных изображения (образ главного героя и художественное оформление сцены), затем они вводятся с помощью подсказки на естественном языке в порядке Image1, Image2, и на выходе получается непрерывный кадр со встроенным аудио. Параметр reference_image_urls в schema поддерживает от 1 до 7 референсных изображений, в подсказке на них ссылаются по индексам массива, поэтому на этапе раскадровки достаточно разбить персонажей, реквизит и сцены на отдельные референсные изображения, описать текстом движение камеры, ритм действий и звук — и получится повествовательный фрагмент с согласованными субъектами. duration можно задать от 1 до 16 секунд; в этом примере выбрано 8 секунд, чтобы вместить полный ритм «установочный кадр → наезд → действие персонажа»; size — 1920*1080, горизонтальная ориентация, с включённым audio, чтобы диалоги и окружающие звуки выводились синхронно с изображением. Сценарии применения: предварительная визуализация раскадровки для аниме-сериалов и коротких драм, проверка концепции для рекламных и коммерческих коротких видео, создание серий коротких фильмов с согласованностью нескольких субъектов. Разработчики могут напрямую ориентироваться на структуру base и assets в этой записи, подставить собственные изображения персонажей и сцен в reference_image_urls и воспроизвести аналогичный процесс генерации.