Создание рисованного анимационного клипа с помощью Opus 5.5 и HiAPI

В этом двухминутном «Made of Everything» самое ценное — не красота отдельного кадра, а то, что начиная с одной идеи Claude Opus 5.5 связывает воедино текст песни, раскадровку, покадровую отрисовку и задачи рендеринга. Песня создаётся с помощью MiniMax Music 2.6, затем скрипт выравнивает такт и субтитры, и на выходе получается рисованный анимационный клип со звуком.

Это цельный агентный рабочий процесс: Opus 5.5 превращает абстрактную идею в текст песни, исполнимые кадры и код отрисовки, MiniMax Music 2.6 превращает текст и стилевой промпт в песню, а скрипт сводит музыку, анимацию и субтитры в один готовый клип. Автор по-прежнему может вмешаться на двух ключевых этапах — раскадровке и тексте песни, — не отдавая результат на откуп чёрному ящику.

Обложка статьи — схема процесса производства, а не скриншот из примеров репозитория.

Сначала посмотрите готовые клипы и раскадровки

Этот репозиторий Skill предоставляет два полных примера, а также их раскадровки и таймлайны текста песни. Сначала посмотрите готовые клипы, а затем прочитайте описанный ниже процесс — так проще понять, подходит ли этот подход для вашей темы.

«Made of Everything», 2 мин 37 с

«Just One More Prompt», 2 мин 26 с

• Раскадровка Made of Everything и текст песни с таймингом
• Раскадровка Just One More Prompt и текст песни с таймингом

Эти ссылки ведут на оригинальные работы и материалы производства в репозитории, а не на иллюстрации, созданные специально для статьи.

Кадры не генерируются из текста — они рисуются кодом

Рисованные кадры этого клипа не передавались напрямую моделям текст-в-изображение или текст-в-видео. Skill заставляет coding agent писать код, который рисует каждый кадр, а затем рендерит его в непрерывный план.

Визуальный движок — p5.brush: заливка с акварельными подтёками и контур тушью поверх. Линии многократно перерисовываются с лёгкими вариациями, текстура бумаги накладывается на изображение, в целом сохраняется 2D, без 3D и без текста внутри кадра. Базовый движок и руководство по производству взяты из ClaudeAnimationBase.

Это значит, что управляемость кадра находится в коде и раскадровке, а не в повторных генерациях в надежде на удачу. Как движется персонаж, как переключается камера, в какую секунду появляется объект — всё это можно прописать в сценарии кадров. Для длинного фильма с единым стилем это гораздо проще сохранить целостность, чем отдавая каждый кадр отдельной задаче генерации.

Текст, музыка, такт и изображение делаются по отдельности

Часть, требующая API Key, — это написание текста и сочинение музыки. По умолчанию Skill использует Claude Opus 5.5, чтобы развернуть идею в текст песни и стилевой промпт, а затем через MiniMax Music 2.6 создаёт песню с вокалом. Чтобы выбрать подходящую версию, он может параллельно генерировать несколько дублей и в итоге выбрать тот, что лучше всего соответствует раскадровке.

После того как музыка определена, align.py вычисляет такт, первый сильный удар и временные точки строк текста. Анимационный движок на основе этого выстраивает движения и субтитры, а assemble.sh отвечает за покадровый рендеринг, сведение аудио, вжигание субтитров и экспорт MP4.

Процесс можно описать так: одна идея → текст и стиль → генерация песни → выравнивание такта и текста → отрисовка кадров кодом → сведение аудио и субтитров. Звук идёт через HiAPI, изображение — через код, и у каждого этапа есть чёткие входы и проверяемые выходы.

Схема процесса от идеи, музыки и отрисовки кадров до сведения готового клипа.

Что именно входит в результат

Готовая работа — это не только MP4. Вы одновременно получаете раскадровку, текст песни и стилевой промпт, дубли песни, текст с таймингом, результаты рендеринга кадров и финальный клип с субтитрами. Благодаря им последующие правки текста, замена музыки, перерисовка кадра или изменение субтитров не требуют начинать с нуля.

Как этот процесс оформлен в Skill

Задача Skill — не в том, чтобы агент получил одну фразу и молча всё доделал. Сначала он уточняет тему и длительность, затем показывает раскадровку; когда нужно создать песню, сначала даёт человеку проверить текст; при основной отрисовке генерирует по кадрам и проверяет contact sheet. В итоге поставляется MP4, и Skill не публикует работу на внешних платформах самостоятельно.

Публичный репозиторий — HiAPIAI/hiapi-hand-painted-animation-skill, установить его можно командой ниже:

npx -y github:HiAPIAI/hiapi-hand-painted-animation-skill -y
export HIAPI_API_KEY=your_key

HIAPI_API_KEY используется только для написания текста и генерации песни. Если вы делаете рисованный короткометражный фильм без музыки и диалогов, эту настройку можно пропустить.

Что нужно для запуска

Локально требуются Node 18+, ffmpeg, uv, git, а также Google Chrome или Chromium. В репозитории setup-animation.sh используется для подготовки проекта, write-lyrics.mjs отвечает за написание текста и стилевого промпта из идеи, make-song.mjs генерирует несколько дублей песни, align.py выравнивает такт и текст, assemble.sh выполняет рендеринг, сведение аудио и вжигание субтитров.

При первом использовании рекомендуется сначала воспроизвести пример из репозитория. Убедитесь, что на вашей машине без проблем получается MP4, и только потом переходите к своей теме. Так проще отличить проблему окружения, проблему генерации песни от необходимости поправить код конкретного кадра.

Какие темы подходят особенно хорошо

Этот подход подходит для историй, объяснительного контента и брендовых короткометражек. Например, превратить кэш CPU в минутную анимацию, превратить анонс продукта в короткую песню или сделать для годовщины команды клип с постоянными персонажами и стилем.

Он не подходит для реалистичных живых людей, сложных 3D-кадров или оперативного массового производства материалов. Преимущество рисованного стиля — единство, управляемость и авторское начало, а цена — необходимость продумывать раскадровку и время рендеринга для каждого кадра.

Лицензия и дальнейшее развитие

Skill распространяется по лицензии MIT, ClaudeAnimationBase также использует лицензию MIT. Примеры и организация материалов в репозитории могут служить отправной точкой, но права на текст, музыку, персонажей и брендовые материалы в собственной работе всё равно нужно оформлять отдельно.

Если хотите попробовать, начните с темы на 30–60 секунд, дайте агенту одну идею, а затем шаг за шагом доведите её до клипа с помощью раскадровки.