Fazer um MV de animação desenhada à mão com Opus 5.5 e HiAPI

O que mais vale a pena ver neste 《Made of Everything》, com mais de dois minutos, não é o quão bonita é uma imagem específica, mas o fato de que, a partir de uma frase de ideia, o Claude Opus 5.5 já encadeia letra, storyboard, desenho quadro a quadro e tarefas de renderização. A música é gerada com o MiniMax Music 2.6, a batida e as legendas são alinhadas por script, e no final sai um MV de animação desenhada à mão com som.

Este é um fluxo de trabalho Agent contínuo: o Opus 5.5 é responsável por transformar a ideia abstrata em letra, planos executáveis e código de desenho, o MiniMax Music 2.6 transforma a letra e as dicas de estilo em música, e o script reúne música, animação e legendas em um único filme final. O criador ainda pode intervir nos dois pontos-chave, o storyboard e a letra, sem precisar entregar o resultado a uma caixa-preta.

A capa do artigo é uma ilustração do processo de produção, não uma captura de tela dos exemplos do repositório.

Veja primeiro o filme real e o storyboard

Este repositório de Skill oferece dois filmes completos, junto com seus storyboards e a linha do tempo da letra. Ver primeiro o filme e depois ler o processo abaixo facilita avaliar se esta abordagem serve para o seu próprio tema.

《Made of Everything》, 2 min 37 s

《Just One More Prompt》, 2 min 26 s

• Storyboard de Made of Everything e letra com linha do tempo
• Storyboard de Just One More Prompt e letra com linha do tempo

Estes links são as obras originais e os materiais de produção do repositório, não imagens de efeito geradas temporariamente para o artigo.

As imagens não são texto-para-imagem, são desenhadas por código

As imagens desenhadas à mão deste filme não foram entregues diretamente a modelos de texto-para-imagem ou texto-para-vídeo. A Skill faz o coding agent escrever código para desenhar cada quadro, que depois é renderizado em planos contínuos.

O motor visual usa p5.brush: pintura plana com aguada de aquarela, envolta em uma camada de traço a tinta. As linhas são redesenhadas repetidamente com pequenas variações, a textura de papel cobre a imagem, e o conjunto permanece 2D, sem 3D e sem texto dentro do quadro. O motor subjacente e o guia de produção vêm do ClaudeAnimationBase.

Isso significa que o que é controlável na imagem está no código e no storyboard, não em tentativas repetidas de sorte. Como o personagem se move, como o plano corta, em que segundo o objeto aparece, tudo pode ser escrito no script do plano. Para uma longa-metragem que precisa de estilo visual unificado, isso facilita manter a continuidade muito mais do que entregar cada plano a uma tarefa de geração independente.

Letra, música, batida e imagem são feitas separadamente

A parte que precisa de API Key é a escrita da letra e a composição. A Skill usa por padrão o Claude Opus 5.5 para expandir uma ideia em letra e dicas de estilo musical, e depois gera a música com vocais através do MiniMax Music 2.6. Para escolher a versão adequada, ela pode gerar vários takes em paralelo e, no final, escolher o que mais se aproxima do storyboard.

Depois de definida a música, o align.py calcula a batida, o primeiro tempo forte e os pontos no tempo das linhas da letra. O motor de animação organiza as ações e as legendas com base nisso, e o assemble.sh é responsável pela renderização quadro a quadro, pela mixagem do áudio, pela gravação das legendas e pela exportação do MP4.

O fluxo pode ser descrito como: uma frase de ideia → letra e estilo → geração da música → alinhamento da batida e da letra → desenho dos planos por código → mixagem de áudio e legendas. O som vai pelo HiAPI, a imagem vai por código, e cada etapa tem entradas claras e saídas verificáveis.

Ilustração do fluxo da ideia, passando pela música e pelo desenho dos planos, até a montagem do filme final.

Quais são exatamente os entregáveis

Uma obra concluída não é apenas um MP4. Você recebe ao mesmo tempo o storyboard, a letra e as dicas de estilo, os takes da música, a letra com marcações de tempo, os resultados da renderização dos planos e o filme final com legendas. Eles permitem alterar a letra, trocar a música, redesenhar um plano ou mudar as legendas posteriormente sem começar do zero.

Como este processo foi transformado em Skill

O papel da Skill não é fazer o agent receber uma frase e seguir em frente sem parar. Ela primeiro confirma o tema e a duração, depois mostra o storyboard; quando é preciso gerar a música, ela primeiro mostra a letra para confirmação; na hora do desenho propriamente dito, gera por plano e verifica o contact sheet. O que é entregue no final é o MP4, e a Skill não publica a obra por conta própria em plataformas externas.

O repositório público está em HiAPIAI/hiapi-hand-painted-animation-skill e pode ser instalado com o comando abaixo:

npx -y github:HiAPIAI/hiapi-hand-painted-animation-skill -y
export HIAPI_API_KEY=your_key

O HIAPI_API_KEY é usado apenas para escrever a letra e gerar a música. Se você fizer um curta desenhado à mão sem música e sem diálogo, pode pular esta configuração.

O que é necessário para rodar

No local é necessário Node 18+, ffmpeg, uv, git, além de Google Chrome ou Chromium. No repositório, o setup-animation.sh serve para preparar o projeto, o write-lyrics.mjs é responsável por escrever a letra e as dicas de estilo a partir da ideia, o make-song.mjs gera vários takes da música, o align.py alinha a batida e a letra, e o assemble.sh conclui a renderização, a mixagem de áudio e a gravação das legendas.

No primeiro uso, recomenda-se reproduzir primeiro um exemplo do repositório. Confirme que a sua máquina consegue gerar o MP4 sem problemas e depois troque para o seu próprio tema. Assim fica mais fácil distinguir se é um problema de ambiente, de geração da música ou se o código de algum plano precisa de ajuste.

Para quais temas isso é especialmente adequado

Esta abordagem serve para histórias, conteúdo explicativo e curtas de marca. Por exemplo, transformar o cache da CPU em uma animação de um minuto, transformar um lançamento de produto em uma canção curta, ou fazer um MV com personagens e estilo visual fixos para o aniversário da equipe.

Ela não é adequada para buscar pessoas reais realistas, planos 3D complexos ou produção em massa de materiais para veiculação imediata. A vantagem do estilo desenhado à mão é a uniformidade, o controle e a sensação de autoria, ao custo de precisar planejar o storyboard e o tempo de renderização para cada plano.

Licença e extensões

A Skill usa a licença MIT, e o ClaudeAnimationBase também usa a licença MIT. Os exemplos do repositório e a forma de organização dos materiais podem servir como ponto de partida, mas as suas próprias obras ainda devem tratar separadamente os limites de direitos sobre letra, música, personagens e materiais de marca.

Se quiser experimentar, comece com um tema de 30 a 60 segundos, entregue uma frase de ideia ao agent e use o storyboard para ir refinando-a até virar um filme.