Opus 5.5와 HiAPI로 수작업 애니메이션 MV 만들기

2분이 넘는 《Made of Everything》에서 가장 볼 만한 점은 특정 장면이 얼마나 아름다운지가 아니라, 한 줄의 아이디어에서 시작해 Claude Opus 5.5가 가사, 스토리보드, 프레임별 드로잉, 렌더링 작업을 한데 엮어낸다는 점입니다. 곡은 MiniMax Music 2.6으로 생성하고, 비트와 자막은 스크립트로 정렬한 뒤 마지막에 사운드가 포함된 수작업 애니메이션 MV로 출력합니다.

이것은 일관된 Agent 워크플로입니다. Opus 5.5는 추상적인 아이디어를 가사, 실행 가능한 숏, 드로잉 코드로 바꾸고, MiniMax Music 2.6은 가사와 스타일 프롬프트를 곡으로 만들며, 스크립트는 음악, 애니메이션, 자막을 하나의 완성본으로 모읍니다. 창작자는 여전히 스토리보드와 가사라는 두 가지 핵심 지점에서 개입할 수 있어, 결과를 블랙박스에 맡길 필요가 없습니다.

글의 커버 이미지는 제작 흐름을 나타낸示意图이며, 저장소 샘플 영상의 스크린샷이 아닙니다.

먼저 실제 완성본과 스토리보드 보기

이 Skill 저장소는 두 편의 완성된 샘플과 그 스토리보드, 가사 타임라인을 제공합니다. 먼저 완성본을 보고 아래 흐름을 읽으면 이 방식이 자신의 소재에 맞는지 더 쉽게 판단할 수 있습니다.

《Made of Everything》, 2분 37초

《Just One More Prompt》, 2분 26초

• Made of Everything 스토리보드와 타임라인 가사
• Just One More Prompt 스토리보드와 타임라인 가사

이 링크들은 저장소에 있는 원본 작품과 제작 소재이며, 글을 위해 임시로 생성한 효과 이미지가 아닙니다.

화면은 텍스트-이미지가 아니라 코드로 그립니다

이 영상의 수작업 화면은 텍스트-이미지나 텍스트-비디오 모델에 직접 맡기지 않았습니다. Skill은 coding agent가 코드를 작성해 매 프레임을 그리고, 이를 렌더링해 연속된 숏으로 만듭니다.

시각 엔진은 p5.brush를 사용합니다. 평면 채색에 수채화 번짐을 더하고, 바깥에 먹선을 한 겹 둡니다. 선은 약간의 변화를 주며 반복해서 다시 긋고, 종이 질감을 화면 위에 덮으며, 전체적으로 2D를 유지하고 3D와 화면 내 텍스트는 사용하지 않습니다. 기반 엔진과 제작 가이드는 ClaudeAnimationBase에서 가져왔습니다.

이는 화면에서 제어할 수 있는 지점이 반복적인 뽑기(생성)가 아니라 코드와 스토리보드에 있다는 뜻입니다. 캐릭터가 어떻게 움직이고, 카메라가 어떻게 전환되며, 물체가 몇 초에 등장하는지를 모두 숏 스크립트에 적을 수 있습니다. 통일된 화풍이 필요한 장편의 경우, 각 숏을 개별 생성 작업에 맡기는 것보다 연속성을 유지하기가 더 쉽습니다.

가사, 곡, 비트, 화면을 각각 만듭니다

API Key가 필요한 부분은 가사 작성과 작곡입니다. Skill은 기본적으로 Claude Opus 5.5로 아이디어를 가사와 음악 스타일 프롬프트로 확장하고, MiniMax Music 2.6을 통해 보컬이 포함된 곡을 생성합니다. 적합한 버전을 고르기 위해 여러 take를 병렬로 생성한 뒤, 스토리보드에 가장 가까운 한 곡을 선택할 수 있습니다.

음악이 정해지면 align.py가 비트, 첫 번째 강박, 가사 행의 시점을 계산합니다. 애니메이션 엔진은 이를 바탕으로 동작과 자막을 배치하고, assemble.sh는 프레임별 렌더링, 오디오 합성, 자막 굽기, MP4 내보내기를 담당합니다.

흐름은 다음과 같이 쓸 수 있습니다. 한 줄 아이디어 → 가사와 스타일 → 곡 생성 → 비트와 가사 정렬 → 코드로 숏 그리기 → 오디오와 자막 합성. 소리는 HiAPI, 화면은 코드로 처리하며, 각 단계에는 명확한 입력과 검사 가능한 출력이 있습니다.

아이디어, 음악, 숏 드로잉에서 완성본 합성까지의 흐름示意图.

산출물에는 무엇이 있을까

완성된 작품은 MP4만 있는 것이 아닙니다. 스토리보드, 가사와 스타일 프롬프트, 곡 take, 타임코드가 붙은 가사, 숏 렌더링 결과, 최종 자막 완성본을 함께 얻습니다. 덕분에 이후에 가사를 고치거나, 음악을 바꾸거나, 한 숏을 다시 그리거나, 자막을 수정할 때 처음부터 시작하지 않아도 됩니다.

이 흐름이 Skill로 만들어지는 방식

Skill의 역할은 agent가 한마디를 듣고 혼자 끝까지 달리게 하는 것이 아닙니다. 먼저 소재와 길이를 확인한 뒤 스토리보드를 보여줍니다. 곡을 생성해야 할 때는 먼저 가사를 사람이 확인하게 하고, 실제 드로잉 단계에서는 숏별로 생성하고 contact sheet를 검사합니다. 최종 전달물은 MP4이며, Skill이 스스로 작품을 외부 플랫폼에 게시하지는 않습니다.

공개 저장소는 HiAPIAI/hiapi-hand-painted-animation-skill이며, 아래 명령으로 설치할 수 있습니다:

npx -y github:HiAPIAI/hiapi-hand-painted-animation-skill -y
export HIAPI_API_KEY=your_key

HIAPI_API_KEY는 가사 작성과 곡 생성에만 사용됩니다. 음악과 대사가 없는 수작업 단편을 만든다면 이 설정은 건너뛸 수 있습니다.

실행에 필요한 것

로컬에는 Node 18+, ffmpeg, uv, git, 그리고 Google Chrome 또는 Chromium이 필요합니다. 저장소의 setup-animation.sh는 프로젝트를 준비하고, write-lyrics.mjs는 아이디어에서 가사와 스타일 프롬프트를 작성하며, make-song.mjs는 여러 곡 take를 생성하고, align.py는 비트와 가사를 정렬하며, assemble.sh는 렌더링, 오디오 합성, 자막 굽기를 완료합니다.

처음 사용할 때는 저장소 샘플 하나를 먼저 재현해 보는 것이 좋습니다. 본인 환경에서 MP4가 문제없이 출력되는 것을 확인한 뒤 자신의 소재로 바꾸세요. 그래야 환경 문제인지, 곡 생성 문제인지, 아니면 특정 숏의 코드를 조정해야 하는지 더 쉽게 구분할 수 있습니다.

특히 잘 맞는 소재

이 방식은 스토리, 설명형 콘텐츠, 브랜드 단편에 적합합니다. 예를 들어 CPU 캐시를 1분짜리 짧은 애니메이션으로 만들거나, 제품 출시를 짧은 노래로 쓰거나, 팀 창립 기념일을 위해 고정 캐릭터와 화풍을 가진 MV를 만들 수 있습니다.

사실적인 실사, 복잡한 3D 숏, 즉시 대량으로 소재를 배포하는 용도에는 적합하지 않습니다. 수작업 화풍의 장점은 통일성, 제어 가능성, 작가적 감각이며, 대가는 각 숏마다 스토리보드와 렌더링 시간을 배정해야 한다는 점입니다.

라이선스와 확장

Skill은 MIT 라이선스를 사용하며, ClaudeAnimationBase도 MIT 라이선스를 사용합니다. 저장소 샘플과 소재 구성 방식은 출발점으로 삼을 수 있지만, 자신의 작품에서는 가사, 음악, 인물, 브랜드 소재의 권리 경계를 별도로 처리해야 합니다.

시도해 보고 싶다면 30초에서 60초 분량의 주제로 시작해, 한 줄 아이디어를 agent에게 맡기고 스토리보드를 통해 점차 영상으로 다듬어 가면 됩니다.