Kling 3.0

Общее описание

kling-3.0/motion-control — это модель генерации видео с управлением движением: на вход подаются референсное изображение человека и референсное видео с движением, на выходе получается новое видео, построенное на основе этого движения. Внешность персонажа берётся с изображения, движения и мимика — с видео, а необязательный промпт служит для дополнения сцены, стиля и ракурса. Подходит разработчикам, которым нужно перенести реальную игру на заданного персонажа, например для коротких сериалов, говорящих видео, презентаций товаров в электронной коммерции и других сценариев, где требуется переиспользовать один и тот же набор движений.

Ключевые особенности

• Раздельный ввод персонажа и движения — внешность персонажа определяется референсным изображением, ритм движений — референсным видео, так что одну и ту же игру можно применить к материалам разных персонажей.
• Длительность вывода зависит от режима ориентации персонажа — при следовании персонажа за видео можно выводить до 30 секунд, при следовании за изображением — до 10 секунд; режим выбирается по типу кадра.
• Поддержка сохранения оригинального звука референсного видео — по умолчанию звуковая дорожка референсного видео сохраняется, движение и звук выводятся синхронно, что избавляет от отдельной синхронизации дорожек.

Описание возможностей

Перенос движения по двум материалам: необходимо подать изображение персонажа и видео с движением — изображение определяет внешность персонажа, видео определяет движения и мимику, а результат наследует оба источника.

Переключение режима ориентации персонажа: для character_orientation доступны значения video или image: первый подходит для сложных движений с ограничением длительности 30 секунд; второй — для движения камеры с ограничением 10 секунд.

Промпт дополняет сцену и ракурс: необязательный prompt длиной до 2500 символов служит для дополнения сцены, стиля и направления камеры и не изменяет движения и мимику, заданные референсным видео.

Выбор разрешения и сохранение звуковой дорожки: можно выводить разрешение 720p или 1080p, а также выбирать, сохранять ли оригинальный звук референсного видео; высокое разрешение тарифицируется дороже.

Сценарии применения

• Авторы коротких сериалов и говорящих видео переиспользуют материалы движений — загрузите портрет персонажа и исполняемое видео и получите готовый ролик с этим персонажем в тех же движениях для серийного производства контента.
• Электронная коммерция и бренды создают презентации товаров с участием персонажа — комбинируя изображение модели или виртуального персонажа с видео демонстрации товара, создавайте презентационные ролики с человеком для карточек товара и рекламы.
• Контент с движениями, где нужно сохранить оригинальный звук — включив сохранение звука, получайте видео с синхронной звуковой дорожкой для публикации коротких роликов в социальных сетях.

Ограничения и рекомендации по выбору

К обоим входным материалам предъявляются жёсткие требования: на изображении персонажа должны быть чётко видны голова, плечи и торс, соотношение сторон должно быть в пределах от 2:5 до 5:2, размер — не более 10 МБ; референсное видео должно длиться от 3 до 30 секунд, быть непрерывным одним кадром с видимым субъектом и весить не более 100 МБ. Движения и мимику определяет референсное видео, а промпт может скорректировать только сцену и стиль, но не сами движения. Если требуется генерация только по тексту или видео из изображения, следует выбрать другие модели той же серии; длинные повествовательные материалы по-прежнему нужно генерировать по частям, а затем склеивать.