Kurzvideos mit happyhorse-1.1/reference-to-video über die hiapi API erstellen

Die meisten „KI-Video"-Demos enden nach einem Clip und einer Einstellung. Sobald du aber brauchst, dass dieselbe Figur in der zweiten oder dritten Einstellung auftaucht – etwa ein Maskottchen, das ins Bild läuft, dann rennt und dann feiert –, beginnen Text-zu-Video und Einzelbild-zu-Video abzudriften: Bei jeder Neugenerierung ändern sich Gesicht, Kleidung und Beleuchtung. happyhorse-1.1/reference-to-video auf der hiapi API wurde genau für dieses Problem entwickelt. Du gibst ihm bis zu 9 Referenzbilder desselben Motivs sowie einen Prompt, der die Handlung über die Einstellungen hinweg beschreibt, und es liefert ein durchgehendes einzelnes Video zurück, in dem das Motiv durchgängig konsistent bleibt – statt einer Diashow aus mehreren unabhängigen Animationen, die du in der Schnittsoftware zusammensetzt.

Wir haben von Anfang bis Ende tatsächlich einen 8-sekündigen Clip in 720p produziert und ausgeliefert, um zu sehen, wie gut das in der Praxis funktioniert: Prompt, API-Aufruf, Kosten und Ergebnis. Hier ist der vollständige Ablauf.

Warum reference-to-video ein anderes Werkzeug ist

Text-zu-Video gibt dem Modell nichts, woran es die Identität festmachen kann, daher können sich Gesicht und Kleidung der Figur ändern, wenn du denselben Prompt erneut generierst. Einzelbild-zu-Video verankert eine Pose, was für einen einzelnen Beat funktioniert, aber versagt, sobald deine Geschichte einen zweiten Blickwinkel oder eine Bewegung benötigt, die das Quellbild nie gezeigt hat. reference-to-video liegt dazwischen: Mehrere Referenzbilder zeigen dem Modell dasselbe Motiv aus mehreren realen Perspektiven – frontal, in Aktionspose, was immer du bereitstellst – und diese Bilder dienen gemeinsam als Identitätsanker, sodass das Video mehrere Beats durchlaufen kann, ohne den Faden zu verlieren.

Das macht es geeignet für einen bestimmten, häufigen Kurzvideo-Bedarf: Maskottchen-Erklärclips, Social-Content mit einer wiederkehrenden Figur, Produktcharakter-Erzählungen – überall dort, wo dasselbe „Wer" in einer durchgehenden Einstellung mehrere „Was" überstehen muss.

Testfall: ein Kurierfuchs, drei Beats

Wir haben eine kleine Originalfigur entworfen – Bramble, einen Kurierfuchs – und vor dem eigentlichen Videobeginn zunächst zwei Referenzbilder generiert, um seine Identität festzulegen.

Verwendeter Prompt: „Eine kleine, großäugige Cartoon-Fuchsfigur namens Bramble: orange-rotes Fell, cremefarbene Schnauze und Brust, hoch aufragende spitze Ohren mit cremefarbener Innenseite, trägt ein türkisfarbenes Halstuch, hat eine abgenutzte braune Leder-Kurierumhängetasche dabei, am Riemen eine kleine runde blaue Plakette. 3D-Animationsfilm-Stil, weiches warmes Licht, frontale Ganzkörper-Drehpose in die Kamera, schlichter neutraler Hintergrund, konsistentes Charakterdesign."

Verwendeter Prompt: „Dieselbe Fuchsfigur Bramble – orange-rotes Fell, cremefarbene Schnauze, türkisfarbenes Halstuch, braune Leder-Kurierumhängetasche mit blauer Plakette – in dynamischer Dreiviertel-Aktionspose mitten im Lauf eingefroren, ein Arm nach vorne schwingend, Schwanz nach hinten wehend, große ausdrucksstarke Augen, gleicher 3D-Animationsfilm-Stil und gleiche Proportionen wie das Referenzblatt, schlichter neutraler Hintergrund."

Die beiden Bilder kosteten je $0.03. Zusammen sind sie der gesamte „Casting"-Schritt – bevor die Figur festgelegt ist, erfolgt kein Videoaufruf.

Die API aufrufen

reference-to-video ist wie alle anderen Modelle der Plattform ein aufgabenbasierter Endpunkt: absenden und dann abfragen, bis es fertig ist.

curl -s -X POST https://api.hiapi.ai/v1/tasks \
  -H "Authorization: Bearer $HIAPI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "happyhorse-1.1/reference-to-video",
    "input": {
      "prompt": "Bramble the fox courier picks up a glowing gift box at a warm, lantern-lit delivery station and looks at it with delight; cut to Bramble sprinting through a bustling night market strung with red lanterns, package tucked under one arm, tail flying; cut to Bramble standing proudly on a rooftop at golden-hour sunset, package delivered, looking out over the rooftops with a satisfied smile. Consistent character design throughout, cinematic 3D animated feature style, warm lighting, smooth camera motion.",
      "reference_image": [
        "https://static.hiapi.ai/blog/happyhorse-1-1-reference-to-video-short-form-video/01-bramble-front.png",
        "https://static.hiapi.ai/blog/happyhorse-1-1-reference-to-video-short-form-video/02-bramble-action.png"
      ],
      "duration": 8,
      "resolution": "720p",
      "aspect_ratio": "16:9"
    }
  }'

Dies gibt eine taskId zurück. Frage sie ab, bis status einen Endzustand erreicht:

curl -s https://api.hiapi.ai/v1/tasks/<taskId> \
  -H "Authorization: Bearer $HIAPI_API_KEY"

status durchläuft queued → handling → (manchmal) archiving → success oder fail. Bei Erfolg ist der fertige Clip eine zeitlich begrenzte URL unter output[0].url – lade ihn sofort herunter, der Link läuft ab.

Felder, die wir als funktionierend bestätigt haben

Feld	Typ	Unser Wert	Hinweis
prompt	String, erforderlich	Shot-Beschreibung mit 3 Beats	Schreibe ihn wie eine Mini-Storyboardliste, nicht als einen allgemeinen Satz
reference_image	Array von Bild-URLs	2 Bilder	Die Plattform gibt an, dass pro Clip bis zu 9 unterstützt werden
duration	Integer, Sekunden	8	Die happyhorse-1.1-Serie reicht von 3–15 Sekunden
resolution	String	"720p"	"1080p" ist ebenfalls verfügbar, zu einem höheren Preis
aspect_ratio	String	"16:9"	Standard-Seitenverhältnis-Enum

Ergebnis

Achte darauf, wie sich die Figur zwischen den Schnittpunkten verhält: gleiche Fellfarbe, gleiches türkisfarbenes Halstuch, gleiche Umhängetasche mit blauer Plakette, von der Abholung drinnen über den Lauf durch den Nachtmarkt bis zum Sonnenuntergang auf dem Dach. Genau das ist der Sinn von zwei Referenzbildern statt einem – bei Szenenwechseln hat das Modell mehr, woran es sich festhalten kann, als bei einem einzelnen Standbild. Der Clip enthält außerdem automatisch nativen Ton; es gibt kein separates Audiofeld, das konfiguriert werden müsste.

Wiederverwendbares Python-Beispiel

import json
import subprocess
import time

def generate_reference_video(prompt, reference_images, token,
                              duration=8, resolution="720p", aspect_ratio="16:9"):
    payload = {
        "model": "happyhorse-1.1/reference-to-video",
        "input": {
            "prompt": prompt,
            "reference_image": reference_images,
            "duration": duration,
            "resolution": resolution,
            "aspect_ratio": aspect_ratio,
        },
    }
    submit = subprocess.run(
        ["curl", "-s", "-X", "POST", "https://api.hiapi.ai/v1/tasks",
         "-H", f"Authorization: Bearer {token}",
         "-H", "Content-Type: application/json",
         "-d", json.dumps(payload)],
        capture_output=True, text=True, check=True,
    )
    task_id = json.loads(submit.stdout)["data"]["taskId"]

    while True:
        poll = subprocess.run(
            ["curl", "-s", f"https://api.hiapi.ai/v1/tasks/{task_id}",
             "-H", f"Authorization: Bearer {token}"],
            capture_output=True, text=True, check=True,
        )
        task = json.loads(poll.stdout)["data"]
        if task["status"] in ("success", "fail"):
            break
        time.sleep(5)

    if task["status"] != "success":
        raise RuntimeError(task.get("error"))
    return task["output"][0]["url"]

Was kostet es

Posten	Kosten
Referenzbild (frontal)	$0.03
Referenzbild (Aktionspose)	$0.03
8-Sekunden-Clip @ 720p ($0.16/Sekunde)	$1.28
Gesamt für diese Demo	$1.34

720p kostet $0.16/Sekunde; 1080p kostet $0.21/Sekunde, also würde derselbe 8-Sekunden-Clip in 1080p $1.68 kosten. Die aktuellen vollständigen Tarife findest du immer auf der Preisseite – schau dort nach, bevor du die Cliplänge oder Auflösung erhöhst.

Prompt-Tipps für Multishot-Konsistenz

• Schreibe den Prompt als Shot-Liste, nicht als einen Satz. „Beat 1 → Beat 2 → Beat 3", wobei jeder Beat eine klare Handlungsaktion hat, treibt wirklich unterschiedliche Einstellungen innerhalb eines Clips an – eine einzelne allgemeine Beschreibung verschwimmt dagegen leicht zu einer durchgehenden Bewegung.
• Sorge selbst für visuelle Konsistenz zwischen den Referenzbildern. Das Modell behält, was zwischen deinen Referenzbildern bereits konsistent ist; es gleicht Inkonsistenzen nicht aus. Wenn dein Frontbild und dein Aktionsbild unterschiedliche Fellfarbtöne haben oder die Plakette fehlt, setzt sich diese Ambiguität im Video fort.
• Gib ihm eine Pose, die ein Standbild nie gezeigt hat. Der Wert mehrerer Referenzbilder gegenüber einem einzelnen liegt darin, dass das Modell Bewegungen und Winkel zusammensetzen kann, die über das hinausgehen, was ein einzelnes Bild zeigt – ein frontales Drehblatt plus eine Aktionspose reicht aus, um ruhige und energiegeladene Beats zu tragen.
• Benenne Szenenwechsel ausdrücklich. „Schnitt zu", „dann" und konkrete Ortsnamen im Prompt entsprechen direkt den Schnittwechseln, die du in der Ausgabe siehst.

Häufige Fragen

Wie viele Referenzbilder kann ich verwenden? Bis zu 9 pro Clip. Für diese Demo haben wir 2 verwendet, was ausreichte, um die Identität über drei verschiedene Beats hinweg zu bewahren.

Wird 1080p unterstützt? Ja – 1080p kostet $0.21/Sekunde gegenüber $0.16/Sekunde bei 720p.

Was, wenn ich nur ein Referenzbild habe? Verwende stattdessen happyhorse-1.1/image-to-video – dieselbe Serie, ein einzelnes Startbild, keine Multireferenz-Identitätsverankerung.

Gibt es in derselben Serie eine reine Text-zu-Video-Option? Ja, happyhorse-1.1/text-to-video, mit derselben Sekundengebühr, geeignet, wenn du überhaupt kein Referenzstandbild hast.

Enthält die Ausgabe Ton? Ja, nativer Ton wird automatisch zusammen mit dem Bild generiert – es gibt keinen separaten Audioparameter, der gesetzt werden müsste.

Wie lang kann der Clip sein? Die happyhorse-1.1-Serie reicht von 3 bis 15 Sekunden; wir haben 8 Sekunden verwendet, um eine Drei-Beat-Erzählung darzustellen.

Wichtigste Erkenntnisse

• happyhorse-1.1/reference-to-video verwandelt 2–9 Standbilder in ein durchgehendes Video und behält in jeder Einstellung dieselbe Figur, Kleidung und denselben Kunststil bei.
• Eine vollständig lauffähige Demo – 2 Referenzbilder plus ein 8-Sekunden-720p-Clip – kostet über die hiapi API von Anfang bis Ende $1.34.
• Neben dem Prompt benötigt das Modell nur drei Felder: reference_image (URL-Array), duration (3–15 Sekunden) und resolution (720p oder 1080p).
• Schreibe den Prompt als Shot-Liste (Beat 1 → Beat 2 → Beat 3) statt als eine allgemeine Beschreibung – das ist es, was wirklich die Multishot-Struktur antreibt.
• Nativer Ton wird automatisch mit dem Video generiert, ohne separaten Audiogenerierungsschritt.

Bereit, es mit deiner eigenen Figur auszuprobieren? Beginne auf der happyhorse-1.1/reference-to-video-Modellseite oder schau dir einen ähnlichen Kurzvideo-Workflow in unserem praktischen Seedance 2.0 Mini-Tutorial an.