OmniHuman 2.0

Краткое описание

Это модель генерации видео с цифровым человеком на основе аудио: она принимает изображение реального человека или иллюстрированного персонажа и фрагмент речи или пения, а на выходе создаёт видео с исполнением, синхронизированным с аудио. Длительность видео соответствует аудио, а кадр сохраняет соотношение сторон исходного изображения; дополнительно можно использовать промпт для описания сцены, мимики, жестов и движения камеры. Модель подходит разработчикам и создателям контента, которым нужны кадры с говорящим, поющим или ведущим диалог персонажем: для коротких видео в соцсетях, рекламных роликов с лицом бренда и материалов с участием персонажа в приложениях цифровых людей.

Ключевые особенности

• Синхронизация губ и мимики под аудио — артикуляция, мимика и движения тела генерируются в соответствии с ритмом и интонацией речи и пения, а длительность видео совпадает с длительностью аудио.
• Изображение в видео с сохранением пропорций — достаточно загрузить изображение персонажа, чтобы получить видео с его исполнением; готовый ролик сохраняет соотношение сторон изображения, что упрощает встраивание в существующий макет.
• Управление исполнением и движением камеры через промпт — необязательный промпт описывает сцену, мимику, жесты и эффекты камеры, например медленное приближение.
• Один аудиофрагмент покрывает несколько минут исполнения — управляющее аудио поддерживается длительностью от 4 до 300 секунд, и готовое видео может следовать за аудио, что подходит для连续ных отрезков речи или пения.

Описание возможностей

Генерация видео с персонажем из изображения и аудио: при наличии изображения персонажа и управляющего аудио создаётся видео с исполнением этого персонажа; изображение может быть фотографией реального человека или иллюстрацией, а кадр готового видео сохраняет соотношение сторон исходного изображения.

Исполнение с синхронизацией губ: видео генерирует соответствующую артикуляцию и мимику в ритме управляющей речи или пения, что подходит для материалов с закадровым голосом, диалогами и пением; длина видео совпадает с длиной аудио.

Управление исполнением и камерой через промпт: необязательный промпт длиной до 300 символов описывает сцену, мимику, жесты и движение камеры.

Диапазон длины аудио: управляющее аудио должно быть в формате mp3 или wav, длительностью от 4 до 300 секунд и размером не более 15 МБ; длительность готового видео соответствует ему, что удобно для планирования длинных непрерывных исполнений.

Диапазон параметров изображения: изображение персонажа поддерживается в форматах jpeg, png или webp, размером не более 10 МБ, с соотношением сторон от 0.4 до 2.5 и сторонами от 300 до 6000 пикселей.

Сценарии применения

• Создатели видео с говорящим ведущим для соцсетей — загрузите портрет ведущего и аудиозапись объяснения, чтобы получить видео с говорящим персонажем и сразу использовать его для публикации коротких видео на социальных платформах и регулярного обновления аккаунта.
• Виртуальное пение и музыкальные выступления — используйте изображение певца или виртуального образа вместе с аудио песни, чтобы получить кадры исполнения персонажа в качестве материала для музыкального контента.
• Короткие ролики с лицом бренда — сочетайте изображение фирменного образа с озвучкой рекламного текста, чтобы создать короткий ролик с лицом бренда или ведущим для рекламы и страниц мероприятий.
• Разработчики приложений с цифровыми людьми — подключайтесь к API и пакетно отправляйте изображения персонажей и аудио, чтобы предоставлять приложениям для создания видео фрагменты с цифровыми людьми для досъёмки или генерации диалоговых кадров.

Ограничения и рекомендации по выбору

Управляющее аудио обязательно: содержимое видео определяется аудио, и при этом необходимо также предоставить изображение персонажа; длительность входного аудио должна быть от 4 до 300 секунд, задачи короче 4 секунд завершаются ошибкой с полным возвратом средств. Изображение персонажа должно соответствовать требованиям к формату и размеру: соотношение сторон от 0.4 до 2.5, стороны от 300 до 6000 пикселей. Промпт необязателен и может содержать до 300 символов.