OmniHuman 2.0

Positionierung und Kurzprofil

Dies ist ein audiogesteuertes Modell zur Erzeugung von Digital-Human-Videos. Es erhält ein Bild einer realen Person oder einer illustrierten Figur sowie eine Sprach- oder Gesangsaufnahme und gibt ein zur Audiospur synchrones Performance-Video aus. Die Videolänge richtet sich nach der Audiodauer, und das Bild behält das Seitenverhältnis des Ausgangsbildes bei. Optional kann ein Prompt zur Beschreibung von Szene, Mimik, Gestik und Kamerabewegung angegeben werden. Geeignet für Entwickler und Content-Creator, die Sprecher-, Gesangs- oder Dialogaufnahmen mit Charakteren benötigen – etwa für kurze Social-Media-Videos, Marketing-Botschafter oder Charakterauftritte in Digital-Human-Anwendungen.

Kernhighlights

• Audiogesteuerte Synchronisation von Lippenbewegungen und Mimik – passend zu Rhythmus und Tonfall von Sprache und Gesang werden Lippenbewegungen, Mimik und Körperbewegungen erzeugt; die Videolänge entspricht der Audiodauer.
• Bild-zu-Video unter Beibehaltung des Seitenverhältnisses – laden Sie ein Charakterbild hoch, um ein Performance-Video zu erzeugen; das fertige Video übernimmt das Seitenverhältnis des Bildes und lässt sich direkt in bestehende Layouts einbetten.
• Steuerung von Performance und Kameraführung per Prompt – ein optionaler Prompt beschreibt Szene, Mimik, Gestik und Kameraeffekte wie langsames Heranfahren.
• Mehrere Minuten Performance mit einer einzigen Audiospur – das treibende Audio kann 4 bis 300 Sekunden lang sein, und das fertige Video kann der Audiospur folgen; ideal für zusammenhängende Sprech- oder Gesangsabschnitte.

Funktionsbeschreibung

Charaktervideo aus Bild und Audio: Mit einem Charakterbild und treibendem Audio lässt sich ein Video der Performance dieses Charakters erzeugen. Das Bild kann eine reale Person oder eine illustrierte Figur zeigen; die Ausgabe übernimmt das Seitenverhältnis des Ausgangsbildes.

Performance mit Lippensynchronisation: Das Video erzeugt passend zum Rhythmus der treibenden Sprache oder des Gesangs entsprechende Lippenbewegungen und Gesichtsausdrücke. Geeignet für Off-Kommentare, Dialoge und Gesangsaufnahmen; die Videolänge entspricht der Audiodauer.

Steuerung von Performance und Kamera per Prompt: Ein optionaler Prompt von bis zu 300 Zeichen beschreibt Szene, Mimik, Gestik und Kamerabewegung.

Bereich der Audiolänge: Das treibende Audio muss im Format mp3 oder wav vorliegen, 4 bis 300 Sekunden lang sein und darf 15 MB nicht überschreiten. Die Länge des fertigen Videos entspricht dem Audio, was die Planung längerer zusammenhängender Performances erleichtert.

Bereich der Bildspezifikationen: Das Charakterbild kann im Format jpeg, png oder webp vorliegen, darf 10 MB nicht überschreiten, muss ein Seitenverhältnis zwischen 0,4 und 2,5 aufweisen und pro Seite 300 bis 6000 Pixel groß sein.

Anwendungsszenarien

• Creator von Social-Media-Sprechvideos – laden Sie ein Porträt der moderierenden Person und ein Erklär-Audio hoch, um ein Sprechvideo des Charakters zu erzeugen, das direkt für die Veröffentlichung von Kurzvideos auf sozialen Plattformen und die regelmäßige Aktualisierung von Konten genutzt werden kann.
• Virtueller Gesang und Musikauftritte – kombinieren Sie ein Bild einer Sängerin oder eines Sängers bzw. einer virtuellen Figur mit einem Song-Audio, um Gesangsaufnahmen des Charakters als Performance-Material für Musikinhalte zu erzeugen.
• Kurzfilme mit Marketing-Botschaftern – kombinieren Sie ein Markenbild mit einer Vertonung des Werbetexts, um einen Kurzfilm mit Botschafter oder Moderator zu erzeugen, der in Anzeigen und auf Aktionsseiten präsentiert wird.
• Entwickler von Digital-Human-Anwendungen – binden Sie die Schnittstelle an, um Charakterbilder und Audios im Batch zu übermitteln und Anwendungen zur Videogenerierung mit Digital-Human-Auftritten zu versorgen, etwa für Nachdrehs oder Dialogaufnahmen.

Einschränkungen und Auswahlhinweise

Das treibende Audio ist eine erforderliche Eingabe, und der Videoinhalt wird durch das Audio gesteuert; zusätzlich muss ein Charakterbild bereitgestellt werden. Die Dauer des eingegebenen Audios muss zwischen 4 und 300 Sekunden liegen; Aufgaben unter 4 Sekunden schlagen fehl und werden vollständig erstattet. Das Charakterbild muss die Format- und Größenanforderungen erfüllen: Seitenverhältnis zwischen 0,4 und 2,5 sowie 300 bis 6000 Pixel pro Seite. Der Prompt ist optional und darf höchstens 300 Zeichen lang sein.