happyhorse-1.1/reference-to-video über die HiAPI API verwenden: Prompt-Rezepte und Kurzvideo-Workflows

Was reference-to-video in deinem Workflow verändert

Reine Text-zu-Video-Generierung verlangt vom Modell, das Subjekt allein aus der Beschreibung heraus zu erschaffen, was bedeutet, dass jeder Lauf ein anderes Gesicht, andere Kleidung oder eine andere Produktform erzeugen kann. reference-to-video funktioniert genau umgekehrt: Du lieferst ein oder mehrere Bilder, und das Modell verwendet sie als visuelle Referenz für das, was im Bild erscheint. Der Prompt ist keine Casting-Anforderung mehr, sondern wird zu einer Regieanweisung.

In Kurzvideo-Workflows verschiebt das den Schwerpunkt. Bei der reinen Textgenerierung iterierst du vor allem an der Formulierung. Bei happyhorse-1.1/reference-to-video iterierst du zuerst am Referenzbild-Set und erst danach am Prompt. Wenn das Subjekt falsch aussieht, besteht die Lösung meist darin, ein besseres Bild zu verwenden oder die Bildreihenfolge anzupassen, statt längere Adjektivlisten anzuhäufen.

Wo es im Ablauf hingehört

Ein typischer Zyklus sieht in etwa so aus:

1. Ein kleines Set an Referenzbildern für Subjekt und Szene sammeln und kuratieren.
2. Nach Wichtigkeit sortieren (der nächste Abschnitt erklärt das im Detail).
3. Einen nach Shots geordneten Prompt schreiben, der stabile Eigenschaften und Tempo festlegt.
4. Generieren, gegen die Referenzbilder prüfen und dann entscheiden, ob Bild oder Text geändert wird.

Der eigentliche Nutzen liegt in der Konsistenz von Serieninhalten. Wenn du mehrere Videos mit derselben Person, demselben Produkt oder demselben Maskottchen produzierst, ist ein stabiles Referenzbild-Set genau der Schlüssel dafür, dass Folge drei noch wie Folge eins aussieht. Behandle die Bilder wie versionierte Assets im Repository und nicht wie Wegwerf-Uploads.

Dein Referenzbild-Set organisieren

Das Modell liest deine Bilder als priorisiertes Signal. Reihenfolge und Auswahl sind selbst Teil des Prompts, also entscheide bewusst.

Ein Hauptsubjektbild wählen

Das erste Bild sollte die klarste und repräsentativste Ansicht des Subjekts sein: frontal ausgerichtet, gut beleuchtet, unverdeckt und mit einem Hintergrund ohne ablenkende Unruhe. Dieses Bild verankert die Identität. Alle weiteren Bilder sind sekundäre Informationen.

Eine zweite Perspektive nur hinzufügen, wenn sie echten Mehrwert bietet

Ein zweites Bild ist nützlich, wenn es eine Mehrdeutigkeit auflöst, die das erste nicht beseitigen kann – etwa eine Seitenansicht, ein anderer Kleidungszustand oder die Rückseite eines Produkts. Es ist schädlich, wenn es widersprüchliche Details einführt, etwa zwei Frisuren oder zwei Logos. Wenn du nicht willst, dass das Modell beides mittelt, füge nicht beide gleichzeitig ein.

Subjekt und Umgebung trennen

Wenn die Szene wichtig ist, füge ein Umgebungsreferenzbild hinzu, das das Setting zeigt, ohne mit dem Subjekt um Aufmerksamkeit zu konkurrieren. Gestalte es visuell deutlich anders als das Subjektbild, damit das Modell sie nicht vermischt.

Eine einfache Faustregel zur Sortierung

• Position 1: Hauptsubjekt, sauber und kanonisch.
• Position 2: sekundäre Ansicht des Subjekts, nur bei Bedarf hinzugefügt.
• Position 3 und folgende: Umgebungs- oder Styling-Referenzen.

Konventionen, die dir viele Iterationen ersparen

• Halte das Referenzbild-Set klein und in sich konsistent.
• Vermeide Bilder, auf denen das Subjekt zu klein, seltsam zugeschnitten oder übermäßig gefiltert ist.
• Vereinheitliche möglichst das Seitenverhältnis; stark abweichende Bildkompositionen erschweren es dem Modell, verschiedene Ansichten in Einklang zu bringen.
• Benenne Dateien nach ihrer Rolle (subject-primary.png, scene-street.png), damit das Team sie als ein Asset-Set behandelt.

Im Zweifel lieber ein Bild entfernen als eines hinzufügen.

Prompts schreiben, die die Subjektkonsistenz wahren

Identitätsdrift entsteht meist aus vager Formulierung. Allgemeine Beschreibungen wie „eine Person“ oder „ein modisches Outfit“ geben dem Modell Raum zu improvisieren. Die Lösung besteht darin, stabile, beobachtbare Eigenschaften explizit zu benennen und sie über alle Sätze hinweg konstant zu halten.

Benennen, was sich nicht ändern soll

Liste die Eigenschaften auf, die das Subjekt definieren: Farbe und Schnitt der Kleidung, Frisur, charakteristische Accessoires, Produktform, Logoposition. Wiederhole die Schlüsselelemente in jeder Shot-Beschreibung, statt Kontinuität vorauszusetzen.

„Gesperrt“ von „veränderlich“ unterscheiden

Teile den Prompt gedanklich in zwei Blöcke: gesperrte Subjekteigenschaften und dann die Shot-für-Shot-Aktion und Kamera. So erkennst du leicht, wann du versehentlich einen Widerspruch eingeführt hast, etwa im ersten Shot eine rote Jacke und im dritten eine graue.

Formulierungsmuster, die funktionieren

• Zuerst verankern: Beginne mit dem Subjekt und seinen gesperrten Eigenschaften, bevor du Bewegung beschreibst.
• Substantive konsistent halten: Wenn das Referenzbild einen Trenchcoat zeigt, nenne ihn jedes Mal Trenchcoat und nicht erst „Jacke“ und dann „Mantel“.
• Konkret statt bewertend: „dunkles, kurzes Haar mit Seitenscheitel“ ist besser als „schönes Haar“.
• Beschreiben, was sich in Bewegung nicht ändert: „der Mantel behält seine Passform, während sich das Subjekt umdreht“ ist nützlicher, als es dem Modell zu überlassen.
• Keine Synonyme stapeln: Häufung von Adjektiven verwässert das Signal.

Ein schneller Vergleich

Schwächer: „Eine modische Frau geht die Straße entlang, filmisch.“

Stärker: „Die Frau aus dem Referenzbild – dunkles, kurzes Haar mit Seitenscheitel, kamelfarbener Trenchcoat, schwarze Stiefel – geht mit gleichmäßigen Schritten auf die Kamera zu; Mantel und Stiefel bleiben durchgehend gleich.“

Die zweite Version gibt dem Modell eine Checkliste statt einer Atmosphäre.

Kamera und Tempo in einem Prompt steuern

Kurzvideo steht und fällt mit dem Tempo. Eine einzige statische Beschreibung erzeugt ein strukturloses Video, das vor sich hin treibt. Schreibe den Prompt als geordnete Shot-Sequenz mit klaren Tempohinweisen.

Nach Beats organisieren

Beschreibe zwei bis vier Beats, jeder mit Subjektzustand, Aktion und Kameranotiz. Halte jeden Beat kurz. Das Modell verarbeitet eine klare Drei-Beat-Sequenz besser als einen einzigen langen Textblock.

Tempo explizit machen

Tempowörter haben Gewicht: „schneller Schnitt“, „langsames Heranfahren“, „einen Beat verweilen“, „rasanter Zoom“, „ruhiger Abschluss“. Kombiniere sie mit Kamerasprache (Dolly, Schwenk, Handkamera), damit Bewegung und Zeitgefühl sich gegenseitig verstärken.

Beat-Vorlage

Shot 1 (0–2 s): [Subjekt + gesperrte Eigenschaften] [Aktion], [Kamerabewegung], [Tempohinweis].
Shot 2 (2–4 s): [Änderung des Subjektzustands] [Aktion], [Kamerabewegung], [Tempohinweis].
Shot 3 (4–6 s): [Abschluss-Beat], [Kamera stabil], [Tempohinweis].

Du brauchst keine exakten Zeitstempel, aber in Sekunden zu denken zwingt dich, jeden Beat zu begründen. Wenn ein Beat keine klare visuelle Veränderung hat, streiche ihn.

Häufige Tempo-Fehler

• Zu viele Beats in ein Kurzvideo packen, was das Modell zwingt, alles zu überhasten.
• Keine Kameraführung, was zu flacher, statischer Bildkomposition führt.
• Widersprüchliche Tempohinweise in derselben Zeile („langsam und energiegeladen“).

Lies die Sequenz nach dem Schreiben einmal laut vor und streiche alles, was den Bildinhalt nicht verändert.

Abwägungen zwischen Auflösung, Dauer und Budget

Entscheide vor der Batch-Generierung, welche Ressource du ausgeben willst: Pixel, Sekunden oder Iterationen. Sie konkurrieren miteinander.

Die zentrale Abwägung

Höhere Ausgabeauflösung (z. B. 1080P) und längere Dauer erhöhen beide die Kosten pro Generierung. Da die Abrechnung der angeforderten Ausgabe folgt – einschließlich Auflösung und Clip-Länge –, ist ein langes 1080P-Video das Teuerste, was du anfordern kannst. Für Kurzvideos musst du selten beides voll ausreizen.

Eine sinnvolle Entscheidungsreihenfolge

1. Zuerst die Dauer festlegen. Kurzvideo bedeutet meist ein knappes Zeitfenster. Lege die von der Plattform benötigte Länge fest und behandle alles andere als anpassbar.
2. Auflösung nach Ausgabeziel wählen. Wenn der Clip im Feed ohnehin komprimiert wird, kann eine niedrigere Auflösung die klügere Voreinstellung sein und dir das Budget für mehr Versuche lassen.
3. Budget in Iterationen investieren, nicht nur in Output. Ein etwas niedriger aufgelöstes Video, das dreimal generiert und aus dem das beste Ergebnis ausgewählt wird, ist oft besser als ein teurer Versuch, den du dir nicht leisten kannst zu wiederholen.

Praktische Empfehlungen

• Prototypisiere zuerst in niedrigerer Auflösung, um Prompt und Referenzbild-Set zu validieren.
• Erhöhe erst auf 1080P, wenn Shot-Sequenz und Identitätskonsistenz stimmen.
• Sei ehrlich bei der Dauer: Ein kompakter Kurzfilm mit klaren Beats sieht besser aus als ein langer Film voller Füllmaterial.

Sieh im aktuellen Preispaneel nach den genauen Tarifen; Zahlen ändern sich und sollten nicht fest in Skripte einprogrammiert werden. Gestalte beim Aufbau der Anfrage Auflösung und Dauer als umschaltbare Parameter statt als hart kodierte Konstanten.

Lauffähige Anfrage und Prompt-Rezeptbibliothek

Im Folgenden die Anfragestruktur für den Aufruf von happyhorse-1.1/reference-to-video über die HiAPI API, gefolgt von direkt kopierbaren Prompt-Rezepten passend zum obigen Workflow. Parameternamen können je nach SDK-Version leicht abweichen; sieh auf der Modellseite nach dem kanonischen Schema.

Anfragestruktur

import os, requests

resp = requests.post(
    "https://api.hiapi.ai/v1/video/generations",
    headers={"Authorization": f"Bearer {os.environ['HIAPI_API_KEY']}"},
    json={
        "model": "happyhorse-1.1/reference-to-video",
        "reference_images": [
            "https://your-cdn.example/subject-primary.png",
            "https://your-cdn.example/subject-angle.png",
            "https://your-cdn.example/scene-street.png",
        ],
        "prompt": "...Rezepttext...",
        "resolution": "1080P",
        "duration": 6,
    },
)
print(resp.json())

Halte die Referenzbilder unter stabilen URLs und ordne sie wie zuvor beschrieben: Hauptsubjekt, sekundäre Ansicht, Umgebung.

Rezept 1: Produkt-Key-Visual, einzelner Beat

Das Produkt aus dem Referenzbild – mattschwarzer Flakon, kupferfarbener Verschluss, Frontetikett – zentriert auf einer steinernen Oberfläche. Langsames Heranfahren auf das Etikett, weiches Studiolicht, kein Schnitt. Flakon und Verschluss behalten durchgehend exakte Form und Farbe.

Rezept 2: Gehende Person, drei Beats

Shot 1 (0–2 s): Die Frau aus dem Referenzbild – dunkles, kurzes Haar mit Seitenscheitel, kamelfarbener Trenchcoat, schwarze Stiefel – geht auf die Kamera zu, mittlere Einstellung, ruhige Handkamera, flotter Schritt.
Shot 2 (2–4 s): Schneller Wechsel zur Seitenansicht; der Trenchcoat schwingt, während sie sich dreht, die Kamera folgt seitlich, gleiches flottes Tempo.
Shot 3 (4–6 s): Sie bleibt stehen und blickt nach vorn, die Kamera wird stabil und fährt langsam heran, ruhiger Abschluss. Haar, Trenchcoat und Stiefel bleiben in allen Shots gleich.

Rezept 3: Eröffnung mit Umgebungsführung

Shot 1 (0–2 s): Weitwinkel der Straße aus dem Umgebungsreferenzbild, Morgenlicht, langsamer Schwenk nach links.
Shot 2 (2–4 s): Das Subjekt aus dem Referenzbild tritt von rechts ins Bild – gleiche Jacke und gleiche Tasche –, die Kamera bleibt ruhig, natürliches Tempo.
Shot 3 (4–6 s): Enger Schnitt auf mittlere Einstellung, sie blickt zur Kamera; Jacke und Tasche stimmen exakt mit dem Referenzbild überein.

Dauer und Auflösung lassen sich pro Clip anpassen, ohne den Prompt-Text zu ändern. In der Dokumentation gibt es einen eigenen Leitfaden mit vollständigen Beispielen.

Ausgaben prüfen und iterieren

Beim Prüfen entsteht der größte Qualitätsgewinn, und die entscheidende Disziplin ist zu beurteilen, mit welcher Art von Problem du es zu tun hast.

Gegen die Referenzbilder bewerten, nicht aus dem Gedächtnis

Halte das Referenzbild-Set neben der Ausgabe geöffnet. Prüfe die Identitätseigenschaften Punkt für Punkt: Gesicht und Haar, Farbe und Schnitt der Kleidung, Produktform, Logoposition. Drift, die du benennen kannst, ist Drift, die du beheben kannst.

Fehler in zwei Kategorien einteilen

• Identitäts- oder Aussehensprobleme bedeuten meist ein schwaches, inkonsistentes oder schlecht sortiertes Referenzbild-Set. Repariere zuerst die Bilder; ein noch so intensiv formulierter Prompt rettet selten ein in sich widersprüchliches Referenzbild-Set.
• Kompositions-, Bewegungs- oder Tempoprobleme bedeuten meist, dass der Prompt verbessert werden muss: klarere Beats, stärkere Kameranotizen, kompaktere Dauer.

Ein kurzer Prüfzyklus

1. Bewerte Identität, Komposition und Tempo getrennt.
2. Wenn die Identität nicht stimmt, passe zuerst die Referenzbilder an und erst dann den Prompt.
3. Wenn das Tempo nicht stimmt, schreibe die Beat-Sequenz neu und streiche einen Beat.
4. Ändere pro Iteration nur eine Variable, damit du weißt, was gewirkt hat.
5. Sobald es bei niedrigerer Auflösung stabil ist, erhöhe für die finale Version auf 1080P.

Führe für jeden bestandenen Clip ein kurzes Protokoll über Prompt-Version und Referenzbild-Set-Version. In einer Serie wird dieses Protokoll zu deiner eigentlichen Rezeptbibliothek: verlässliche Prompts, verlässliche Bilder, vorhersehbare Ergebnisse. Iteriere an Referenzbild-Set und Text, den Rest übernimmt das Modell.