Hacer un MV de animación dibujada a mano con Opus 5.5 y HiAPI

Lo más digno de ver de este «Made of Everything» de más de dos minutos no es lo bonito que pueda ser tal o cual plano, sino que parte de una sola idea y Claude Opus 5.5 encadena la letra, el storyboard, el dibujo fotograma a fotograma y las tareas de renderizado. La canción se genera con MiniMax Music 2.6, el ritmo y los subtítulos se alinean mediante un script, y al final se exporta un MV de animación dibujada a mano con sonido.

Este es un flujo de trabajo de Agent coherente: Opus 5.5 se encarga de convertir la idea abstracta en letra, planos ejecutables y código de dibujo; MiniMax Music 2.6 convierte la letra y las indicaciones de estilo en una canción; y el script reúne música, animación y subtítulos en un mismo montaje final. El creador sigue pudiendo intervenir en dos puntos clave, el storyboard y la letra, sin tener que dejar el resultado en manos de una caja negra.

La portada del artículo es un esquema del proceso de producción, no una captura de los ejemplos del repositorio.

Primero, los montajes finales reales y sus storyboards

Este repositorio de Skill ofrece dos muestras completas, junto con sus storyboards y la línea de tiempo de la letra. Ver primero los montajes finales y luego leer el proceso que sigue ayuda a juzgar con más facilidad si este enfoque encaja con el tema propio.

«Made of Everything», 2 min 37 s

«Just One More Prompt», 2 min 26 s

• Storyboard de Made of Everything y letra con marca de tiempo
• Storyboard de Just One More Prompt y letra con marca de tiempo

Estos enlaces son las obras originales y los materiales de producción del repositorio, no imágenes de efecto generadas temporalmente para el artículo.

Las imágenes no se generan con texto a imagen, se dibujan con código

Las imágenes dibujadas a mano de este corto no se entregaron directamente a un modelo de texto a imagen ni de texto a vídeo. La Skill hace que el coding agent escriba código para dibujar cada fotograma y luego lo renderice como un plano continuo.

El motor visual usa p5.brush: color plano más difuminado de acuarela, con una capa de línea de tinta por encima. Las líneas se retrazan repetidamente con ligeras variaciones, la textura de papel cubre la imagen y el conjunto se mantiene en 2D, sin 3D y sin texto dentro de la imagen. El motor subyacente y la guía de producción provienen de ClaudeAnimationBase.

Esto significa que los puntos controlables de la imagen están en el código y el storyboard, no en generar variaciones una y otra vez. Cómo camina un personaje, cómo se corta un plano, en qué segundo aparece un objeto: todo puede escribirse en el guion de planos. Para piezas largas que necesitan un estilo visual unificado, esto facilita mantener la continuidad mucho más que entregar cada plano a una tarea de generación independiente.

Letra, música, ritmo e imagen se hacen por separado

Las partes que necesitan una API Key son la escritura de la letra y la composición. La Skill usa por defecto Claude Opus 5.5 para ampliar una idea en letra e indicaciones de estilo musical, y luego genera una canción con voz mediante MiniMax Music 2.6. Para elegir la versión adecuada, puede generar varios takes en paralelo y quedarse con el que mejor se ajusta al storyboard.

Una vez fijada la música, align.py calcula el ritmo, el primer tiempo fuerte y los puntos temporales de cada línea de la letra. El motor de animación organiza a partir de ahí los movimientos y los subtítulos, y assemble.sh se encarga del renderizado fotograma a fotograma, la mezcla del audio, el quemado de subtítulos y la exportación a MP4.

El flujo puede resumirse así: una idea → letra y estilo → generación de la canción → alineación de ritmo y letra → dibujo de planos con código → mezcla de audio y subtítulos. El sonido va por HiAPI, la imagen va por código, y cada etapa tiene entradas claras y salidas verificables.

Esquema del flujo desde la idea, la música y el dibujo de planos hasta el montaje final.

Qué entregables hay exactamente

Una obra terminada no es solo un MP4. También obtienes el storyboard, la letra y las indicaciones de estilo, los takes de la canción, la letra con marcas de tiempo, los resultados del renderizado de planos y el montaje final con subtítulos. Todo ello permite cambiar la letra, sustituir la música, redibujar un plano o modificar los subtítulos más adelante sin empezar de cero.

Cómo se convierte este flujo en una Skill

La función de la Skill no es que el agent reciba una frase y se ponga a correr hasta el final sin más. Primero confirma el tema y la duración, y luego muestra el storyboard; cuando hay que generar la canción, primero da la letra a revisar; durante el dibujo formal, genera y revisa la hoja de contactos por plano. La entrega final es un MP4, y la Skill no publica por su cuenta la obra en plataformas externas.

El repositorio público está en HiAPIAI/hiapi-hand-painted-animation-skill y puede instalarse con el siguiente comando:

npx -y github:HiAPIAI/hiapi-hand-painted-animation-skill -y
export HIAPI_API_KEY=your_key

HIAPI_API_KEY solo se usa para escribir la letra y generar la canción. Si se hace un corto dibujado a mano sin música ni diálogos, se puede omitir esta configuración.

Qué hace falta para ponerlo en marcha

En local se necesita Node 18+, ffmpeg, uv, git y Google Chrome o Chromium. En el repositorio, setup-animation.sh sirve para preparar el proyecto, write-lyrics.mjs se encarga de escribir la letra y las indicaciones de estilo a partir de la idea, make-song.mjs genera varios takes de canción, align.py alinea el ritmo y la letra, y assemble.sh completa el renderizado, la mezcla de audio y el quemado de subtítulos.

La primera vez conviene reproducir primero un ejemplo del repositorio. Cuando se confirme que el equipo local puede exportar el MP4 sin problemas, se puede pasar al tema propio. Así es más fácil distinguir si el problema es del entorno, de la generación de la canción o de que el código de algún plano necesita ajustes.

Qué temas encajan especialmente bien

Este método va bien para historias, contenido explicativo y cortos de marca. Por ejemplo, convertir la caché de una CPU en una animación de un minuto, contar el lanzamiento de un producto en una canción breve o hacer un MV con personajes y estilo visual fijos para el aniversario de un equipo.

No es adecuado para perseguir personas reales fotorrealistas, planos 3D complejos o material para campañas masivas inmediatas. La ventaja del estilo dibujado a mano es la uniformidad, el control y la sensación de autoría; el precio es que hay que planificar el storyboard y el tiempo de renderizado de cada plano.

Licencia y extensiones

La Skill usa licencia MIT, y ClaudeAnimationBase también usa licencia MIT. Los ejemplos y la forma de organizar los materiales del repositorio pueden servir de punto de partida, pero las obras propias deben gestionar por separado los límites de derechos de la letra, la música, los personajes y los materiales de marca.

Si quieres probarlo, empieza con un tema de 30 a 60 segundos: entrega una sola idea al agent y luego acota poco a poco con el storyboard hasta convertirla en un corto.