Руководство по OmniHuman 2.0: одно изображение и один аудиофайл — и видео говорящего человека длиной до 5 минут

OmniHuman 2.0 — это модель цифрового человека от ByteDance: на вход подаются портрет и аудио, а на выходе получается видео, в котором человек говорит или поёт, а движение губ, мимика и движения головы следуют за аудио. В этой статье разобрано, что модель умеет, как её вызывать, как рассчитывается стоимость и когда стоит выбрать другую модель.

Что она умеет

• Видео из одного изображения и аудио: обязательны только портрет image_url и управляющее аудио audio_url; видеоматериал не нужен, предварительное обучение образа тоже не требуется.
• Длительность видео равна длительности аудио: аудио поддерживается от 4 до 300 секунд, один непрерывный кадр — до 5 минут. Длинный закадровый текст можно отправить одним аудиофайлом, без нарезки и склейки.
• Формат кадра и разрешение наследуются от портрета: из вертикального изображения получается вертикальное видео, из горизонтального — горизонтальное; например, портрет 960×960 даст видео 960×960. Отдельного параметра разрешения нет.
• Промпт управляет игрой и движением камеры: необязательный prompt (до 300 символов) задаёт мимику, жесты и движение камеры, например «улыбается и кивает, естественно раскрывает обе руки, медленный наезд камеры». Если его не указывать, картинка полностью управляется аудио.
• Готовое видео без водяного знака, с исходной звуковой дорожкой, его можно сразу монтировать.

Требования к входным данным

• Портрет: jpeg, png или webp, не более 10MB, соотношение сторон 0.4–2.5, каждая сторона 300–6000 пикселей. Чёткое фронтальное лицо и чистая композиция дают более стабильный результат.
• Аудио: mp3 или wav, 4–300 секунд, не более 15MB. Чистый голос с малым фоновым шумом обеспечивает более точную синхронизацию губ.
• Если аудио короче 4 секунд, задача завершится ошибкой, а стоимость будет полностью возвращена.

Как вызвать

Отправьте асинхронную задачу, получите taskId и опрашивайте результат:

curl https://api.hiapi.ai/v1/tasks \
  -H "Authorization: Bearer $HIAPI_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "omnihuman-2.0",
    "input": {
      "image_url": "https://example.com/portrait.png",
      "audio_url": "https://example.com/voice.mp3",
      "prompt": "Улыбается и кивает, естественно раскрывает обе руки, медленный наезд камеры"
    }
  }'

curl https://api.hiapi.ai/v1/tasks/<taskId> \
  -H "Authorization: Bearer $HIAPI_KEY"

После успешного завершения задачи в output находится адрес видео. Время генерации растёт с длительностью аудио, поэтому для длинного аудио рекомендуется увеличить интервал опроса.

Цены

Оплата по длительности выходного видео — $0.10 за секунду, без градаций:

• 10 секунд речи: около $1.00
• 1 минута объяснения: около $6.00
• 5 минут (максимум): около $30.00

При отправке предварительно списывается сумма по длительности аудио, а после завершения расчёт идёт по фактической длительности видео; за неудачные задачи стоимость возвращается полностью.

Как составить промпт

Пишите в порядке «выражение лица или эмоция → жест или действие → камера», за один раз указывая два-три чётких действия. Например:

• Новостная речь: Спокойное выражение лица, лёгкие кивки во время речи, медленный наезд камеры
• Презентация продукта: Дружелюбная улыбка, жесты одной рукой в сторону камеры

Когда выбрать другую модель

• Если нужно задать вывод 1080p или на изображении несколько человек и требуется указать, кто говорит: в OmniHuman 2.0 таких параметров нет, можно использовать OmniHuman 1.5.
• Если нужно переозвучить губы в существующем видео или сгенерировать видео из изображения без голоса: это не задачи OmniHuman 2.0, выберите соответствующую модель редактирования видео или генерации видео из изображения.

Чтобы сразу попробовать результат, загрузите портрет и аудио в HiAPI Playground.