Creare un MV in animazione disegnata a mano con Opus 5.5 e HiAPI

La cosa più interessante di questo Made of Everything di due minuti abbondanti non è quanto sia bella una singola immagine, ma il fatto che partendo da una sola idea, Claude Opus 5.5 abbia concatenato testo, storyboard, disegno frame per frame e attività di rendering. La canzone è generata con MiniMax Music 2.6, il beat e i sottotitoli sono allineati tramite script e infine viene prodotto un MV in animazione disegnata a mano con audio.

Questo è un workflow Agent coerente: Opus 5.5 trasforma l'idea astratta in testo, inquadrature eseguibili e codice di disegno, MiniMax Music 2.6 trasforma il testo e il prompt di stile in canzone, e lo script riunisce musica, animazione e sottotitoli in un unico filmato. Il creatore può comunque intervenire nei due punti chiave, storyboard e testo, senza dover affidare il risultato a una scatola nera.

La copertina dell'articolo è uno schema del processo di produzione, non uno screenshot del campione del repository.

Prima guarda il filmato reale e lo storyboard

Questo repository Skill fornisce due campioni completi, insieme ai loro storyboard e alle timeline del testo. Guardare prima i filmati e poi leggere il processo qui sotto permette di capire più facilmente se questo approccio è adatto al proprio tema.

Made of Everything, 2 min 37 s

Just One More Prompt, 2 min 26 s

• Storyboard di Made of Everything e testo con timeline
• Storyboard di Just One More Prompt e testo con timeline

Questi link sono le opere originali e i materiali di produzione presenti nel repository, non immagini di effetto generate appositamente per l'articolo.

Le immagini non sono testo-in-immagine, sono disegnate dal codice

Le immagini disegnate a mano di questo filmato non sono state affidate direttamente a modelli di testo-in-immagine o testo-in-video. La Skill fa scrivere al coding agent il codice che disegna ogni frame, per poi eseguirne il rendering in inquadrature continue.

Il motore visivo usa p5.brush: tinte piatte con sfumature ad acquerello, avvolte da uno strato di linee a inchiostro. Le linee vengono ripassate più volte con leggere variazioni, la texture della carta ricopre l'immagine e l'insieme resta 2D, senza 3D e senza testo all'interno dell'inquadratura. Il motore di base e la guida di produzione provengono da ClaudeAnimationBase.

Ciò significa che i punti controllabili dell'immagine sono il codice e lo storyboard, non l'estrazione casuale ripetuta. Come si muovono i personaggi, come si susseguono le inquadrature, in quale secondo appare un oggetto: tutto può essere scritto nella sceneggiatura delle inquadrature. Per un lungometraggio che richiede uno stile grafico coerente, questo rende più facile mantenere la continuità rispetto ad affidare ogni inquadratura a un'attività di generazione indipendente.

Testo, musica, beat e immagini si realizzano separatamente

Le parti che richiedono una API Key sono la scrittura del testo e la composizione. La Skill usa per impostazione predefinita Claude Opus 5.5 per espandere un'idea in testo e prompt di stile musicale, poi genera la canzone con voce tramite MiniMax Music 2.6. Per scegliere la versione giusta, può generare più take in parallelo e selezionare infine quella più fedele allo storyboard.

Una volta definita la musica, align.py calcola il beat, il primo downbeat e i punti temporali delle righe del testo. Il motore di animazione organizza di conseguenza azioni e sottotitoli, mentre assemble.sh si occupa del rendering frame per frame, della sintesi audio, dell'inserimento dei sottotitoli e dell'esportazione in MP4.

Il processo può essere riassunto così: un'idea → testo e stile → generazione della canzone → allineamento di beat e testo → disegno delle inquadrature tramite codice → sintesi di audio e sottotitoli. L'audio passa da HiAPI, le immagini dal codice, e ogni fase ha input chiari e output verificabili.

Schema del processo dall'idea, alla musica e al disegno delle inquadrature, fino alla composizione del filmato.

Quali sono esattamente i deliverable

Un'opera completa non si riduce a un MP4. Si ottengono contemporaneamente storyboard, testo e prompt di stile, take della canzone, testo con punti temporali, risultati del rendering delle inquadrature e il filmato finale con sottotitoli. Tutto ciò permette di modificare in seguito il testo, cambiare la musica, ridisegnare un'inquadratura o correggere i sottotitoli senza ricominciare da zero.

Come questo processo è stato trasformato in una Skill

La funzione della Skill non è far correre l'agent a testa bassa non appena riceve una frase. Prima conferma il tema e la durata, poi mostra lo storyboard; quando serve generare la canzone, fa prima confermare il testo a una persona; durante il disegno vero e proprio, genera in base alle inquadrature e controlla il contact sheet. Il deliverable finale è un MP4 e la Skill non pubblica autonomamente l'opera su piattaforme esterne.

Il repository pubblico è HiAPIAI/hiapi-hand-painted-animation-skill e si installa con il comando seguente:

npx -y github:HiAPIAI/hiapi-hand-painted-animation-skill -y
export HIAPI_API_KEY=your_key

HIAPI_API_KEY serve solo per scrivere il testo e generare la canzone. Se si realizza un cortometraggio disegnato a mano senza musica né dialoghi, si può saltare questa configurazione.

Cosa serve per farlo girare

In locale servono Node 18+, ffmpeg, uv, git e Google Chrome o Chromium. Nel repository, setup-animation.sh prepara il progetto, write-lyrics.mjs scrive testo e prompt di stile a partire dall'idea, make-song.mjs genera più take della canzone, align.py allinea beat e testo, assemble.sh completa rendering, sintesi audio e inserimento dei sottotitoli.

Al primo utilizzo è consigliabile riprodurre prima un campione del repository. Dopo aver verificato che la macchina locale produca senza problemi un MP4, si può passare al proprio tema. Così è più facile distinguere se il problema riguarda l'ambiente, la generazione della canzone o il codice di una determinata inquadratura da modificare.

Quali temi sono particolarmente adatti

Questo approccio si adatta a storie, contenuti esplicativi e cortometraggi di brand. Ad esempio, raccontare la cache della CPU in una piccola animazione di un minuto, trasformare un lancio di prodotto in una breve canzone, o realizzare per l'anniversario del team un MV con personaggi e stile grafico fissi.

Non è adatto a chi cerca riprese realistiche con persone reali, inquadrature 3D complesse o materiali per campagne massicce e immediate. Il vantaggio dello stile disegnato a mano è la coerenza, il controllo e il senso d'autore, ma il prezzo è dover pianificare storyboard e tempi di rendering per ogni inquadratura.

Licenza ed estensioni

La Skill usa la licenza MIT e anche ClaudeAnimationBase usa la licenza MIT. I campioni del repository e il modo in cui sono organizzati i materiali possono servire da punto di partenza, ma per le proprie opere occorre comunque gestire separatamente i confini dei diritti su testo, musica, personaggi e materiali di brand.

Per provare, si può iniziare con un tema da 30 a 60 secondi, affidare una frase all'agent e poi rifinirla passo dopo passo in un filmato grazie allo storyboard.