Guia de introdução ao OmniHuman 2.0: um retrato e um áudio para gerar um vídeo falante de até 5 minutos

O OmniHuman 2.0 é o modelo de vídeo de avatar digital da ByteDance: você fornece um retrato e um áudio, e ele gera um vídeo da pessoa falando ou cantando, com movimentos labiais, expressões e movimentos de cabeça acompanhando o áudio. Este artigo explica o que ele faz, como chamá-lo, como os custos são calculados e quando é melhor usar outro modelo.

O que ele faz

• Uma imagem e um áudio geram um vídeo: os únicos campos obrigatórios são o retrato image_url e o áudio de condução audio_url; não é necessário material de vídeo nem treinar um avatar previamente.
• A duração do vídeo é igual à do áudio: o áudio aceita de 4 a 300 segundos, com um plano contínuo de até 5 minutos. Para narrações longas, basta enviar um único áudio, sem precisar dividir em trechos e depois juntá-los.
• Formato e resolução seguem a imagem do retrato: imagens verticais geram vídeos em modo retrato, imagens horizontais geram vídeos em modo paisagem; por exemplo, um retrato de 960×960 resulta em um vídeo de 960×960. Não há parâmetro separado de resolução.
• O prompt controla a atuação e o movimento de câmera: o campo opcional prompt (máximo de 300 caracteres) descreve expressões, gestos e movimentos de câmera, por exemplo "sorri e acena com a cabeça, abre as duas mãos naturalmente, a câmera se aproxima lentamente". Se não for preenchido, a imagem é totalmente conduzida pelo áudio.
• O vídeo final não tem marca d'água e inclui a trilha de áudio original, pronto para edição.

Requisitos de entrada

• Retrato: jpeg, png ou webp, até 10 MB, proporção de 0,4 a 2,5, com 300 a 6000 pixels por lado. Imagens com rosto frontal nítido e composição limpa produzem resultados mais estáveis.
• Áudio: mp3 ou wav, de 4 a 300 segundos, até 15 MB. Voz limpa e com pouco ruído de fundo resultam em sincronização labial mais precisa.
• Se o áudio tiver menos de 4 segundos, a tarefa falhará e o valor será totalmente reembolsado.

Como chamar

Envie uma tarefa assíncrona, obtenha o taskId e consulte o resultado repetidamente:

curl https://api.hiapi.ai/v1/tasks \
  -H "Authorization: Bearer $HIAPI_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "omnihuman-2.0",
    "input": {
      "image_url": "https://example.com/portrait.png",
      "audio_url": "https://example.com/voice.mp3",
      "prompt": "Sorri e acena com a cabeça, abre as duas mãos naturalmente, aproximação lenta"
    }
  }'

curl https://api.hiapi.ai/v1/tasks/<taskId> \
  -H "Authorization: Bearer $HIAPI_KEY"

Após o sucesso da tarefa, o campo output contém o endereço do vídeo. O tempo de geração aumenta conforme a duração do áudio; para áudios longos, recomenda-se aumentar o intervalo entre as consultas.

Preços

A cobrança é feita pela duração do vídeo de saída, a $0,10/segundo, sem faixas de preço:

• Fala de 10 segundos: cerca de $1,00
• Explicação de 1 minuto: cerca de $6,00
• 5 minutos (limite): cerca de $30,00

No envio, o valor é pré-cobrado com base na duração do áudio; após a conclusão, o acerto é feito pela duração real do vídeo. Tarefas que falham são totalmente reembolsadas.

Como escrever os prompts

Escreva na ordem "expressão ou emoção → gesto ou ação → câmera", descrevendo duas ou três ações claras por vez. Por exemplo:

• Locução de notícias: Expressão calma, leves acenos de cabeça enquanto fala, aproximação lenta
• Apresentação de produto: Sorriso amigável, gesticula em direção à câmera com uma das mãos

Quando escolher outro modelo

• Se precisar de saída em 1080p, ou se a imagem tiver várias pessoas e você quiser especificar quem fala: o OmniHuman 2.0 não tem esses parâmetros; use o OmniHuman 1.5.
• Se precisar reescrever a sincronização labial de um vídeo existente, ou gerar vídeo a partir de imagem sem voz humana: não é o uso do OmniHuman 2.0; escolha o modelo correspondente de edição de vídeo ou de geração de vídeo a partir de imagem.

Para testar o resultado diretamente, você pode enviar um retrato e um áudio no HiAPI Playground para gerar o vídeo.