Ein handgezeichnetes Animations-MV mit Opus 5.5 und HiAPI erstellen

Das Sehenswerteste an diesem über zweiminütigen „Made of Everything“ ist nicht, wie schön ein einzelnes Bild ist, sondern dass Claude Opus 5.5 ausgehend von einem einzigen Gedanken Songtext, Storyboard, Einzelbild-für-Einzelbild-Zeichnung und Renderaufgaben zu einer Kette verbindet. Der Song wird mit MiniMax Music 2.6 erzeugt, Takt und Untertitel werden anschließend per Skript abgeglichen, und am Ende steht ein handgezeichnetes Animations-MV mit Ton.

Das ist ein durchgängiger Agent-Workflow: Opus 5.5 verwandelt die abstrakte Idee in Songtext, ausführbare Kameraeinstellungen und Zeichencode, MiniMax Music 2.6 macht aus Songtext und Stil-Prompt einen Song, und Skripte bündeln Musik, Animation und Untertitel zu einem einzigen fertigen Video. Der Ersteller kann an den beiden entscheidenden Stellen – Storyboard und Songtext – weiterhin eingreifen und muss das Ergebnis nicht einer Blackbox überlassen.

Das Titelbild des Artikels ist eine schematische Darstellung des Produktionsablaufs, kein Screenshot aus den Beispielvideos des Repositories.

Zuerst das echte fertige Video und das Storyboard ansehen

Dieses Skill-Repository stellt zwei vollständige Beispielvideos sowie deren Storyboard und Songtext-Zeitachse bereit. Wer zuerst das fertige Video ansieht und dann den Ablauf unten liest, kann leichter beurteilen, ob diese Vorgehensweise zum eigenen Thema passt.

„Made of Everything“, 2 Min. 37 Sek.

„Just One More Prompt“, 2 Min. 26 Sek.

• Storyboard zu Made of Everything und Songtext mit Zeitachse
• Storyboard zu Just One More Prompt und Songtext mit Zeitachse

Diese Links verweisen auf die Originalwerke und Produktionsmaterialien im Repository, nicht auf eigens für den Artikel erzeugte Effektbilder.

Die Bilder entstehen nicht durch Text-zu-Bild, sondern durch Code

Die handgezeichneten Bilder dieses Videos wurden nicht direkt einem Text-zu-Bild- oder Text-zu-Video-Modell übergeben. Das Skill lässt den Coding-Agent Code schreiben, der jedes Einzelbild zeichnet, und rendert diesen dann zu einer fortlaufenden Einstellung.

Als visuelle Engine kommt p5.brush zum Einsatz: flächige Farbaufträge mit Aquarellverlauf, darüber eine Schicht Tuschelinien. Die Linien werden mit leichten Variationen mehrfach nachgezogen, eine Papiertextur liegt über dem Bild, und insgesamt bleibt alles 2D, ohne 3D und ohne Text im Bild. Die zugrunde liegende Engine und der Produktionsleitfaden stammen aus ClaudeAnimationBase.

Das bedeutet: Kontrollierbar ist das Bild über Code und Storyboard, nicht durch wiederholtes Generieren auf gut Glück. Wie eine Figur läuft, wie die Kamera schneidet, in welcher Sekunde ein Objekt erscheint – all das lässt sich in das Einstellungs-Skript schreiben. Für einen Langfilm mit einheitlichem Stil ist es so deutlich leichter, die Kontinuität zu wahren, als jede Einstellung einer separaten Generierungsaufgabe zu überlassen.

Songtext, Musik, Takt und Bild entstehen getrennt

Die Teile, für die ein API-Key nötig ist, sind das Schreiben des Songtexts und das Komponieren. Das Skill nutzt standardmäßig Claude Opus 5.5, um aus einer Idee Songtext und Musikstil-Prompt zu entwickeln, und erzeugt dann über MiniMax Music 2.6 einen Song mit Gesang. Um die passende Version zu finden, können mehrere Takes parallel generiert und anschließend derjenige ausgewählt werden, der dem Storyboard am nächsten kommt.

Steht die Musik fest, berechnet align.py den Takt, den ersten Downbeat und die Zeitpunkte der Songtextzeilen. Die Animations-Engine plant darauf basierend Bewegungen und Untertitel, assemble.sh übernimmt das Rendern Bild für Bild, das Zusammenführen der Audiospur, das Einbrennen der Untertitel und den Export als MP4.

Der Ablauf lässt sich so beschreiben: ein Gedanke → Songtext und Stil → Song generieren → Takt und Songtext abgleichen → Einstellungen per Code zeichnen → Audio und Untertitel zusammenführen. Der Ton läuft über HiAPI, das Bild über Code, und jeder Schritt hat klar definierte Eingaben und überprüfbare Ausgaben.

Schematische Darstellung des Ablaufs von der Idee über Musik und Einstellungszeichnung bis zum fertigen Video.

Was am Ende genau geliefert wird

Ein fertiges Werk besteht nicht nur aus einer MP4-Datei. Man erhält gleichzeitig Storyboard, Songtext und Stil-Prompt, die Song-Takes, den Songtext mit Zeitpunkten, die gerenderten Einstellungen und das fertige Video mit eingebrannten Untertiteln. Dadurch müssen spätere Änderungen am Songtext, ein Musiktausch, das Nezeichnen einer Einstellung oder eine Untertiteländerung nicht von vorn beginnen.

Wie dieser Ablauf zu einem Skill wird

Die Aufgabe des Skills ist nicht, den Agent nach einem einzigen Satz blind durchlaufen zu lassen. Es klärt zuerst Thema und Länge und zeigt dann das Storyboard; wenn ein Song erzeugt werden soll, wird der Songtext zuerst zur Bestätigung vorgelegt; beim eigentlichen Zeichnen werden die Einstellungen einzeln erzeugt und per Contact Sheet geprüft. Ausgeliefert wird am Ende die MP4-Datei, das Skill veröffentlicht das Werk nicht von sich aus auf externen Plattformen.

Das öffentliche Repository liegt unter HiAPIAI/hiapi-hand-painted-animation-skill und lässt sich mit folgendem Befehl installieren:

npx -y github:HiAPIAI/hiapi-hand-painted-animation-skill -y
export HIAPI_API_KEY=your_key

HIAPI_API_KEY wird nur für das Schreiben des Songtexts und das Generieren des Songs verwendet. Wer einen handgezeichneten Kurzfilm ohne Musik und ohne Dialog machen möchte, kann diese Konfiguration überspringen.

Was man zum Loslegen braucht

Lokal werden Node 18+, ffmpeg, uv, git sowie Google Chrome oder Chromium benötigt. Im Repository bereitet setup-animation.sh das Projekt vor, write-lyrics.mjs schreibt aus einer Idee Songtext und Stil-Prompt, make-song.mjs erzeugt mehrere Song-Takes, align.py gleicht Takt und Songtext ab, und assemble.sh erledigt Rendern, Audiomischung und das Einbrennen der Untertitel.

Bei der ersten Verwendung empfiehlt es sich, zuerst ein Beispiel aus dem Repository zu reproduzieren. Wenn auf dem eigenen Rechner zuverlässig eine MP4-Datei entsteht, wechselt man zum eigenen Thema. So lässt sich leichter unterscheiden, ob es ein Umgebungsproblem, ein Problem bei der Songgenerierung oder eine Anpassung des Codes für eine bestimmte Einstellung ist.

Für welche Themen es besonders geeignet ist

Diese Vorgehensweise eignet sich für Geschichten, erklärende Inhalte und Markenkurzfilme. Zum Beispiel, um den CPU-Cache als einminütige kleine Animation zu erklären, einen Produktlaunch als kurzes Lied zu gestalten oder für ein Teamjubiläum ein MV mit festen Figuren und einheitlichem Stil zu produzieren.

Sie eignet sich nicht für realistische Realfilm-Optik, komplexe 3D-Einstellungen oder die sofortige Massenproduktion von Werbematerial. Der Vorteil des handgezeichneten Stils ist Einheitlichkeit, Kontrollierbarkeit und eine persönliche Handschrift – der Preis dafür ist, dass für jede Einstellung Storyboard und Renderzeit eingeplant werden müssen.

Lizenz und Weiterführung

Das Skill steht unter der MIT-Lizenz, ClaudeAnimationBase ebenfalls. Die Beispiele und die Art der Materialorganisation im Repository können als Ausgangspunkt dienen, doch für eigene Werke sollten die Rechte an Songtext, Musik, Figuren und Markenmaterial weiterhin separat geklärt werden.

Wer es ausprobieren möchte, kann mit einem Thema von 30 bis 60 Sekunden beginnen, dem Agent einen einzigen Gedanken übergeben und ihn dann über das Storyboard Schritt für Schritt zu einem Video verdichten.