От текста к изображению: концепт-видео первого кадра раскадровки Gen-4.5

Пример демонстрирует, как текстовое описание сначала превращается в изображение первого кадра, а затем это изображение используется как отправная точка для генерации движущегося плана через Runway Gen-4.5 image-to-video. Во входных данных авторского пайплайна есть только три категории: изображение первого кадра, описание движения и положения камеры, длительность и соотношение сторон. Поэтому в данной работе «текст в изображение» разбит на два шага: сначала из графического материала генерируется первый кадр раскадровки с чёткой композицией и освещением (16:9, средний план одного человека в помещении, различимое направление оконного света), затем в prompt с помощью языка киносъёмки описываются наезд камеры, изменение фокуса и амплитуда движений персонажа, чтобы модель развивала движение, сохраняя композицию первого кадра. Длительность берётся по умолчанию из schema — 5 секунд, соотношение сторон сохраняется 16:9 для соответствия первому кадру, чтобы центральное кадрирование не нарушило композицию. Подходит для предварительной раскадровки на ранних этапах кинопроизводства, концептуальных исследований рекламных и брендовых планов, а также для рабочих процессов, где сначала определяется изображение, а затем движение. Следует учесть, что это семейство моделей по-прежнему имеет известные ограничения в отношении причинно-следственного порядка и постоянства объектов между кадрами: появление или исчезновение объектов внутри длинного плана может отклоняться от ожидаемого, поэтому на практике рекомендуется сначала проверять направление движения на короткой длительности, а затем удлинять.