OmniHuman 2.0 Einstiegsleitfaden: Ein Porträt plus eine Audiodatei erzeugt ein sprechendes Video mit bis zu 5 Minuten Länge

OmniHuman 2.0 ist ein Digital-Human-Videomodell von ByteDance: Man gibt ihm ein Porträtbild und eine Audiodatei, und es erzeugt ein Video, in dem die Person spricht oder singt – Lippenbewegungen, Mimik und Kopfbewegungen folgen der Audiodatei. Dieser Artikel erklärt, was das Modell kann, wie man es aufruft, wie die Kosten berechnet werden und wann man besser ein anderes Modell verwendet.

Was es kann

• Ein Bild plus eine Audiodatei ergeben ein Video: Pflicht sind nur das Porträtbild image_url und die treibende Audiodatei audio_url. Es wird kein Videomaterial benötigt, und die Figur muss nicht vorab trainiert werden.
• Die Videodauer entspricht der Audiodauer: Audio wird mit 4–300 Sekunden unterstützt, eine durchgehende Einstellung kann bis zu 5 Minuten lang sein. Lange Voice-Over-Texte reicht man einfach in einer einzigen Audiodatei ein, ohne sie in Abschnitte zu unterteilen und anschließend zusammenzufügen.
• Bildformat und Auflösung richten sich nach dem Porträtbild: Ein Hochformatbild ergibt ein Hochformatvideo, ein Querformatbild ein Querformatvideo; ein Porträt mit 960×960 ergibt beispielsweise ein Video mit 960×960. Es gibt keinen separaten Auflösungsparameter.
• Prompts steuern Darstellung und Kameraführung: Optional ist prompt (maximal 300 Zeichen) für Mimik, Gesten und Kamerabewegungen, zum Beispiel „lächelt und nickt, öffnet beide Hände natürlich, langsamer Kamera-Push-in“. Wird kein Prompt angegeben, wird das Bild vollständig von der Audiodatei gesteuert.
• Das fertige Video ist ohne Wasserzeichen und enthält die Originaltonspur, sodass es direkt geschnitten werden kann.

Eingabeanforderungen

• Porträtbild: jpeg, png oder webp, maximal 10 MB, Seitenverhältnis 0.4–2.5, pro Seite 300–6000 Pixel. Bilder mit klarem frontalem Gesicht und sauberem Bildaufbau liefern stabilere Ergebnisse.
• Audio: mp3 oder wav, 4–300 Sekunden, maximal 15 MB. Eine saubere Stimme mit wenig Hintergrundgeräuschen sorgt für genauere Lippenbewegungen.
• Ist die Audiodatei kürzer als 4 Sekunden, schlägt die Aufgabe fehl, und die Kosten werden vollständig erstattet.

So ruft man es auf

Eine asynchrone Aufgabe einreichen und nach Erhalt der taskId das Ergebnis abfragen:

curl https://api.hiapi.ai/v1/tasks \
  -H "Authorization: Bearer $HIAPI_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "omnihuman-2.0",
    "input": {
      "image_url": "https://example.com/portrait.png",
      "audio_url": "https://example.com/voice.mp3",
      "prompt": "lächelt und nickt, öffnet beide Hände natürlich, langsamer Push-in"
    }
  }'

curl https://api.hiapi.ai/v1/tasks/<taskId> \
  -H "Authorization: Bearer $HIAPI_KEY"

Nach erfolgreichem Abschluss der Aufgabe steht die Videoadresse in output. Die Generierungsdauer nimmt mit der Audiolänge zu; bei langen Audiodateien empfiehlt es sich, die Abfrageintervalle zu verlängern.

Preis

Die Abrechnung erfolgt nach der Dauer des Ausgabevideos mit $0.10/Sekunde, ohne Stufenstaffelung:

• 10 Sekunden Sprechvideo: etwa $1.00
• 1 Minute Erklärung: etwa $6.00
• 5 Minuten (Obergrenze): etwa $30.00

Bei der Einreichung wird anhand der Audiodauer ein Betrag vorab einbehalten; nach Abschluss wird nach der tatsächlichen Videodauer abgerechnet. Fehlgeschlagene Aufgaben werden vollständig erstattet.

Wie man Prompts schreibt

Schreiben Sie in der Reihenfolge „Mimik oder Emotion → Geste oder Aktion → Kamera“ und formulieren Sie jeweils zwei bis drei klare Aktionen. Zum Beispiel:

• Nachrichtensprecher: ruhiger Ausdruck, leichtes Nicken beim Sprechen, langsamer Push-in
• Produkterklärung: freundliches Lächeln, mit einer Hand zur Kamera gestikulieren

Wann man ein anderes Modell wählt

• Wenn eine 1080p-Ausgabe gefordert ist oder mehrere Personen im Bild sind und festgelegt werden soll, wer spricht: OmniHuman 2.0 bietet diese Parameter nicht, dafür kann OmniHuman 1.5 verwendet werden.
• Wenn die Lippenbewegungen in einem vorhandenen Video geändert werden sollen oder ein Bild-zu-Video ohne Stimme gewünscht ist: Das ist nicht der Anwendungsfall von OmniHuman 2.0; wählen Sie dafür das passende Videobearbeitungs- oder Bild-zu-Video-Modell.

Wer das Ergebnis direkt ausprobieren möchte, kann im HiAPI Playground ein Porträt und eine Audiodatei hochladen und generieren lassen.