Guide de prise en main d'OmniHuman 2.0 : un portrait et un audio pour générer une vidéo parlante de 5 minutes maximum

OmniHuman 2.0 est le modèle de vidéo d'avatar numérique de ByteDance : donnez-lui une image de portrait et un audio, et il génère une vidéo où le personnage parle ou chante, avec la synchronisation labiale, les expressions et les mouvements de tête qui suivent l'audio. Cet article explique clairement ce qu'il peut faire, comment l'appeler, comment se calcule le coût, et quand il vaut mieux choisir un autre modèle.

Ce qu'il sait faire

• Une image et un audio pour produire une vidéo : seuls le portrait image_url et l'audio de pilotage audio_url sont obligatoires ; aucune séquence vidéo n'est nécessaire, et aucun entraînement préalable de l'avatar n'est requis.
• La durée de la vidéo égale celle de l'audio : l'audio accepte de 4 à 300 secondes, soit un plan continu de 5 minutes maximum. Pour une longue narration, il suffit de la soumettre en un seul audio, sans découpage ni assemblage.
• Le format et la résolution suivent l'image du portrait : une image verticale donne un rendu vertical, une image horizontale un rendu horizontal ; par exemple, un portrait en 960×960 produit une vidéo en 960×960. Il n'existe pas de paramètre de résolution distinct.
• Le prompt contrôle le jeu et les mouvements de caméra : le paramètre facultatif prompt (300 caractères maximum) décrit les expressions, les gestes et les mouvements de caméra, par exemple « sourire et hochement de tête, mains ouvertes naturellement, léger travelling avant ». Sans prompt, l'image est entièrement pilotée par l'audio.
• La vidéo finale est sans filigrane, avec sa piste audio d'origine, et peut être montée directement.

Exigences d'entrée

• Portrait : jpeg, png ou webp, 10 Mo maximum, rapport largeur-hauteur entre 0,4 et 2,5, entre 300 et 6000 pixels par côté. Les images avec un visage de face net et une composition épurée donnent des résultats plus stables.
• Audio : mp3 ou wav, de 4 à 300 secondes, 15 Mo maximum. Une voix claire et un faible bruit de fond améliorent la précision de la synchronisation labiale.
• Si l'audio fait moins de 4 secondes, la tâche échoue et les frais sont intégralement remboursés.

Comment l'appeler

Soumettez une tâche asynchrone, récupérez le taskId puis interrogez le résultat :

curl https://api.hiapi.ai/v1/tasks \
  -H "Authorization: Bearer $HIAPI_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "omnihuman-2.0",
    "input": {
      "image_url": "https://example.com/portrait.png",
      "audio_url": "https://example.com/voice.mp3",
      "prompt": "Sourit et hoche la tête, ouvre les deux mains naturellement, léger travelling avant"
    }
  }'

curl https://api.hiapi.ai/v1/tasks/<taskId> \
  -H "Authorization: Bearer $HIAPI_KEY"

Une fois la tâche réussie, output contient l'adresse de la vidéo. Le temps de génération augmente avec la durée de l'audio ; pour les audios longs, il est conseillé d'espacer les intervalles d'interrogation.

Tarifs

La facturation se fait selon la durée de la vidéo de sortie, à 0,10 $/seconde, sans paliers :

• 10 secondes de parole face caméra : environ 1,00 $
• 1 minute d'explication : environ 6,00 $
• 5 minutes (maximum) : environ 30,00 $

Lors de la soumission, un montant est prélevé à titre provisoire selon la durée de l'audio ; une fois la tâche terminée, le règlement se fait selon la durée réelle de la vidéo ; les tâches échouées sont intégralement remboursées.

Comment rédiger le prompt

Rédigez dans l'ordre « expression ou émotion → geste ou action → caméra », en indiquant deux ou trois actions précises à la fois. Par exemple :

• Présentation d'actualités : Expression calme, léger hochement de tête en parlant, léger travelling avant
• Présentation de produit : Sourire amical, gestes vers la caméra avec une main

Quand choisir un autre modèle

• Si vous avez besoin d'une sortie en 1080p, ou que l'image contient plusieurs personnes et qu'il faut désigner qui parle : OmniHuman 2.0 ne propose pas ces paramètres ; utilisez OmniHuman 1.5.
• Si vous devez modifier la synchronisation labiale d'une vidéo existante, ou générer une vidéo à partir d'une image sans voix : ce n'est pas l'usage d'OmniHuman 2.0 ; choisissez le modèle d'édition vidéo ou de génération vidéo à partir d'une image correspondant.

Pour tester directement le rendu, vous pouvez téléverser un portrait et un audio dans le Playground HiAPI pour générer une vidéo.