Créer un clip d'animation dessiné à la main avec Opus 5.5 et HiAPI

Ce qui mérite le plus le détour dans ce Made of Everything de plus de deux minutes, ce n'est pas la beauté d'une image en particulier, mais le fait que, à partir d'une simple idée, Claude Opus 5.5 enchaîne les paroles, le storyboard, le dessin image par image et les tâches de rendu. La chanson est générée avec MiniMax Music 2.6, le tempo et les sous-titres sont ensuite alignés par script, et le résultat final est un clip d'animation dessiné à la main, avec le son.

Il s'agit d'un workflow d'Agent cohérent : Opus 5.5 transforme l'idée abstraite en paroles, en plans exécutables et en code de dessin, MiniMax Music 2.6 transforme les paroles et les indications de style en chanson, et le script réunit musique, animation et sous-titres dans un même film. Le créateur peut toujours intervenir aux deux points clés que sont le storyboard et les paroles, sans confier le résultat à une boîte noire.

L'image de couverture illustre le processus de production ; ce n'est pas une capture d'un exemple du dépôt.

D'abord, les films réels et leurs storyboards

Ce dépôt de Skill fournit deux films complets, ainsi que leurs storyboards et la chronologie de leurs paroles. Regarder d'abord les films, puis lire le processus ci-dessous, permet de mieux juger si cette approche convient à son propre sujet.

« Made of Everything », 2 min 37 s

« Just One More Prompt », 2 min 26 s

• Storyboard de Made of Everything et paroles synchronisées
• Storyboard de Just One More Prompt et paroles synchronisées

Ces liens renvoient aux œuvres et aux éléments de production d'origine du dépôt, et non à des images d'illustration générées spécialement pour l'article.

Les images ne sont pas issues de la génération texte-image, elles sont dessinées par du code

Les images dessinées à la main de ce film n'ont pas été confiées directement à un modèle texte-image ou texte-vidéo. Le Skill demande à un coding agent d'écrire le code qui dessine chaque image, puis de le rendre en plans continus.

Le moteur visuel utilise p5.brush : aplats de couleur et lavis aquarelle, le tout souligné d'un trait à l'encre. Les lignes sont retracées plusieurs fois avec de légères variations, une texture de papier recouvre l'image, et l'ensemble reste en 2D, sans 3D et sans texte dans l'image. Le moteur sous-jacent et le guide de production proviennent de ClaudeAnimationBase.

Cela signifie que les points contrôlables de l'image se trouvent dans le code et le storyboard, et non dans des tirages répétés. La façon dont un personnage se déplace, le passage d'un plan à l'autre, la seconde où un objet apparaît : tout peut être écrit dans le script des plans. Pour un film long nécessitant une unité de style, il est plus facile de préserver la continuité ainsi que de confier chaque plan à une tâche de génération indépendante.

Paroles, musique, tempo et images sont traités séparément

Les parties qui nécessitent une clé API sont l'écriture des paroles et la composition. Par défaut, le Skill utilise Claude Opus 5.5 pour développer une idée en paroles et en indications de style musical, puis génère une chanson avec voix via MiniMax Music 2.6. Pour choisir la bonne version, il peut générer plusieurs prises en parallèle et retenir finalement celle qui colle le mieux au storyboard.

Une fois la musique fixée, align.py calcule le tempo, le premier temps fort et les points temporels des lignes de paroles. Le moteur d'animation s'appuie dessus pour organiser les mouvements et les sous-titres, et assemble.sh se charge du rendu image par image, de la composition audio, de l'incrustation des sous-titres et de l'export MP4.

Le processus peut se résumer ainsi : une idée → paroles et style → génération de la chanson → alignement du tempo et des paroles → dessin des plans par code → composition audio et sous-titres. Le son passe par HiAPI, l'image par le code, et chaque étape a des entrées claires et des sorties vérifiables.

Schéma du processus, de l'idée et de la musique au dessin des plans, jusqu'au montage final.

Quels sont exactement les livrables

Une œuvre terminée, ce n'est pas seulement un MP4. Vous obtenez en même temps le storyboard, les paroles et les indications de style, les prises de la chanson, les paroles synchronisées, les rendus des plans et le film final sous-titré. Ils permettent de modifier ensuite les paroles, changer la musique, redessiner un plan ou corriger les sous-titres sans repartir de zéro.

Comment ce processus devient un Skill

Le rôle du Skill n'est pas de laisser l'agent foncer jusqu'au bout dès qu'il reçoit une phrase. Il confirme d'abord le sujet et la durée, puis présente le storyboard ; lorsqu'il faut générer la chanson, il fait d'abord valider les paroles ; lors du dessin proprement dit, il génère plan par plan et vérifie les contact sheets. Le livrable final est un MP4, et le Skill ne publie pas de lui-même l'œuvre sur des plateformes externes.

Le dépôt public se trouve sur HiAPIAI/hiapi-hand-painted-animation-skill et peut être installé avec la commande suivante :

npx -y github:HiAPIAI/hiapi-hand-painted-animation-skill -y
export HIAPI_API_KEY=your_key

HIAPI_API_KEY ne sert qu'à écrire les paroles et à générer la chanson. Pour un court métrage dessiné à la main sans musique ni dialogue, cette configuration peut être ignorée.

Ce qu'il faut pour se lancer

En local, il faut Node 18+, ffmpeg, uv, git, ainsi que Google Chrome ou Chromium. Dans le dépôt, setup-animation.sh prépare le projet, write-lyrics.mjs écrit les paroles et les indications de style à partir d'une idée, make-song.mjs génère plusieurs prises de la chanson, align.py aligne le tempo et les paroles, et assemble.sh réalise le rendu, la composition audio et l'incrustation des sous-titres.

Pour une première utilisation, il est conseillé de reproduire d'abord un exemple du dépôt. Vérifiez que votre machine produit bien un MP4, puis remplacez par votre propre sujet. Il est ainsi plus facile de distinguer un problème d'environnement, un problème de génération de chanson, ou un code de plan à ajuster.

Les sujets particulièrement adaptés

Cette approche convient aux récits, aux contenus explicatifs et aux films de marque. Par exemple, transformer le cache d'un CPU en une animation d'une minute, raconter le lancement d'un produit sous forme de chanson courte, ou réaliser pour l'anniversaire d'une équipe un clip avec des personnages et un style graphique fixes.

Elle ne convient pas à ceux qui recherchent du réel photoréaliste, des plans 3D complexes ou une production massive de contenus instantanée. L'avantage du style dessiné à la main, c'est l'unité, le contrôle et la patte d'auteur ; le prix à payer, c'est le temps nécessaire pour organiser le storyboard et le rendu de chaque plan.

Licence et prolongements

Le Skill est sous licence MIT, et ClaudeAnimationBase également. Les exemples du dépôt et l'organisation des ressources peuvent servir de point de départ, mais vos propres œuvres doivent encore gérer séparément les droits sur les paroles, la musique, les personnages et les éléments de marque.

Pour essayer, commencez par un thème de 30 à 60 secondes, confiez une idée à l'agent, puis resserrez-la progressivement en film à l'aide du storyboard.