OmniHuman 2.0

Présentation

Il s'agit d'un modèle de génération de vidéos de personnages numériques piloté par l'audio : il reçoit une image de personne réelle ou de personnage illustré ainsi qu'un enregistrement vocal ou chanté, et produit une vidéo de performance synchronisée avec l'audio. La durée de la vidéo suit celle de l'audio et l'image conserve le rapport largeur-hauteur de l'image d'origine ; un prompt peut éventuellement décrire la scène, les expressions, les gestes et les mouvements de caméra. Il convient aux développeurs et créateurs de contenu qui ont besoin de plans de personnage parlant face caméra, chantant ou dialoguant, pour des vidéos courtes destinées aux réseaux sociaux, des apparitions publicitaires et des séquences de jeu d'acteur dans des applications de personnages numériques.

Points clés

• Synchronisation labiale et expressive pilotée par l'audio — les mouvements de bouche, les expressions et les gestes corporels sont générés en fonction du rythme et du ton de la voix ou du chant, et la durée de la vidéo correspond à celle de l'audio.
• De l'image à la vidéo en conservant le ratio d'origine — il suffit de téléverser une image de personnage pour générer une vidéo de performance ; la vidéo finale reprend le rapport largeur-hauteur de l'image, ce qui facilite son intégration directe dans une mise en page existante.
• Contrôle de la performance et de la caméra par prompt — un prompt facultatif permet de décrire la scène, les expressions, les gestes et des effets de caméra comme un lent travelling avant.
• Un seul audio pour plusieurs minutes de performance — l'audio de pilotage accepte de 4 à 300 secondes, et la vidéo finale peut se prolonger au rythme de l'audio, ce qui convient aux séquences continues de discours face caméra ou de chant.

Description des capacités

Génération de vidéo de personnage à partir d'une image et d'un audio : il suffit de fournir une image de personnage et un audio de pilotage pour générer une vidéo où ce personnage se produit ; l'image peut représenter une personne réelle ou un personnage illustré, et la vidéo produite reprend le rapport largeur-hauteur de l'image d'origine.

Performance avec synchronisation labiale : la vidéo génère les mouvements de bouche et les expressions faciales correspondant au rythme de la voix ou du chant de pilotage ; elle convient aux contenus de narration, de dialogue et de chant, et sa durée correspond à celle de l'audio.

Contrôle de la performance et de la caméra par prompt : le prompt facultatif peut atteindre 300 caractères et sert à décrire la scène, les expressions, les gestes et les mouvements de caméra.

Plage de durée de l'audio : l'audio de pilotage doit être au format mp3 ou wav, durer de 4 à 300 secondes et ne pas dépasser 15 Mo ; la durée de la vidéo finale y correspond, ce qui facilite la planification de longues performances continues.

Plage de spécifications de l'image : l'image de personnage accepte les formats jpeg, png ou webp, ne doit pas dépasser 10 Mo, son rapport largeur-hauteur doit être compris entre 0,4 et 2,5 et chaque côté doit mesurer entre 300 et 6000 pixels.

Cas d'usage

• Créateurs de vidéos de discours face caméra pour les réseaux sociaux — téléversez le portrait d'un présentateur et un audio d'explication pour générer une vidéo où le personnage parle face caméra, directement utilisable pour publier des vidéos courtes sur les plateformes sociales et alimenter la mise à jour quotidienne d'un compte.
• Chant virtuel et performances musicales — associez l'image d'un chanteur ou d'un avatar virtuel à l'audio d'une chanson pour produire des images de chant du personnage, utilisables comme séquences de performance pour des contenus musicaux.
• Courts métrages d'ambassadeurs de marque — combinez l'image d'une marque avec la voix off d'un texte promotionnel pour générer un court métrage mettant en scène un ambassadeur ou un présentateur, destiné à l'affichage sur des publicités et des pages d'événements.
• Développeurs d'applications de personnages numériques — intégrez l'interface pour soumettre en lot des images de personnages et des audios, afin de fournir aux applications de création vidéo des séquences de personnages numériques à l'écran, pour des reprises de tournage ou la génération de plans de dialogue.

Limites et conseils de choix

L'audio de pilotage est une entrée obligatoire : le contenu de la vidéo est piloté par l'audio et une image de personnage doit également être fournie. La durée de l'audio d'entrée doit être comprise entre 4 et 300 secondes ; une tâche de moins de 4 secondes échouera et sera intégralement remboursée. L'image de personnage doit respecter les exigences de format et de dimensions : un rapport largeur-hauteur compris entre 0,4 et 2,5 et chaque côté entre 300 et 6000 pixels. Le prompt est facultatif et limité à 300 caractères.