Opus 5.5 と HiAPI で手描きアニメ MV を作る

この 2 分強の《Made of Everything》で最も見る価値があるのは、ある 1 枚の画面がどれだけ美しいかではなく、1 つのアイデアから始まって、Claude Opus 5.5 が歌詞、絵コンテ、フレームごとの描画、レンダリングのタスクをつなげてしまう点です。楽曲は MiniMax Music 2.6 で生成し、ビートと字幕はスクリプトで揃え、最後に音声付きの手描きアニメ MV として出力します。

これは一貫したエージェントワークフローです。Opus 5.5 が抽象的なアイデアを歌詞、実行可能なショット、描画コードに変え、MiniMax Music 2.6 が歌詞とスタイルプロンプトを楽曲に変え、スクリプトが音楽、アニメーション、字幕を同じ完成映像にまとめ上げます。制作者は絵コンテと歌詞という 2 つの重要な節目で介入でき、結果をブラックボックスに任せる必要はありません。

記事のカバーは制作フローの示意图であり、リポジトリのサンプル映像のスクリーンショットではありません。

まずは実際の完成映像と絵コンテを見る

この Skill リポジトリには 2 本の完全なサンプル映像と、それらの絵コンテおよび歌詞タイムラインが用意されています。まず完成映像を見てから以下のフローを読むと、このやり方が自分の題材に合うか判断しやすくなります。

《Made of Everything》、2 分 37 秒

《Just One More Prompt》、2 分 26 秒

• Made of Everything 絵コンテ と タイムライン歌詞
• Just One More Prompt 絵コンテ と タイムライン歌詞

これらのリンクはリポジトリ内のオリジナル作品と制作素材であり、記事用に一時生成したイメージ画像ではありません。

画面は text-to-image ではなく、コードで描かれている

この作品の手描き画面は、text-to-image や text-to-video モデルに直接任せていません。Skill は coding agent にコードを書かせて 1 フレームずつ描画し、それを連続したショットとしてレンダリングします。

ビジュアルエンジンには p5.brush を使用しています。フラット塗りに水彩のにじみを加え、その上に墨線のレイヤーを重ねます。線はわずかな変化を伴って何度も描き直され、紙の質感が画面全体を覆い、全体として 2D を保ち、3D なし、画面内テキストなしとしています。基盤エンジンと制作ガイドは ClaudeAnimationBase に由来します。

つまり、画面を制御できるのはコードと絵コンテであり、何度もガチャを回すことではありません。キャラクターがどう動くか、カメラがどう切り替わるか、物体が何秒目に現れるかは、すべてショットスクリプトに書き込めます。画風を統一する必要がある長編では、各ショットを個別の生成タスクに任せるよりも連続性を保ちやすい方法です。

歌詞、楽曲、ビート、画面はそれぞれ別に作る

API Key が必要な部分は作詞と作曲です。Skill はデフォルトで Claude Opus 5.5 を使い、1 つのアイデアを歌詞と音楽スタイルプロンプトに広げ、続いて MiniMax Music 2.6 でボーカル入りの楽曲を生成します。適切なバージョンを選ぶため、複数のテイクを並行生成し、最後に絵コンテに最も近いものを選べます。

楽曲が決まると、align.py がビート、最初の強拍、歌詞行のタイミングを計算します。アニメーションエンジンはこれに基づいて動きと字幕を配置し、assemble.sh がフレームごとのレンダリング、音声の合成、字幕の焼き込み、MP4 のエクスポートを担当します。

フローは次のように書けます。1 つのアイデア → 歌詞とスタイル → 楽曲生成 → ビートと歌詞の揃え → コードによるショット描画 → 音声と字幕の合成。音声は HiAPI、画面はコード。各段階に入力と検査可能な出力があります。

アイデア、音楽、ショット描画から完成映像の合成までのフロー示意图。

成果物には何があるのか

完成した作品は MP4 だけではありません。絵コンテ、歌詞とスタイルプロンプト、楽曲テイク、タイミング付き歌詞、ショットのレンダリング結果、最終字幕入り完成映像が同時に得られます。これらがあれば、後から歌詞を変える、音楽を差し替える、1 つのショットを描き直す、字幕を修正するといった作業を最初からやり直す必要はありません。

このフローはどう Skill になっているか

Skill の役割は、agent が一言受け取ったら黙って最後まで走ることではありません。まず題材と長さを確認し、次に絵コンテを提示します。楽曲生成が必要なときは、まず歌詞を人に確認してもらいます。本番の描画では、ショットごとに生成してコンタクトシートを確認します。最終的に納品されるのは MP4 であり、Skill が自ら作品を外部プラットフォームに公開することはありません。

公開リポジトリは HiAPIAI/hiapi-hand-painted-animation-skill にあり、以下のコマンドでインストールできます。

npx -y github:HiAPIAI/hiapi-hand-painted-animation-skill -y
export HIAPI_API_KEY=your_key

HIAPI_API_KEY は作詞と楽曲生成にのみ使います。音楽もセリフもない手描き短編を作る場合は、この設定をスキップできます。

動かすのに必要なもの

ローカルには Node 18+、ffmpeg、uv、git、および Google Chrome または Chromium が必要です。リポジトリ内の setup-animation.sh はプロジェクトの準備に、write-lyrics.mjs はアイデアから歌詞とスタイルプロンプトを書き出すのに、make-song.mjs は複数の楽曲テイクを生成するのに、align.py はビートと歌詞を揃えるのに、assemble.sh はレンダリング、音声合成、字幕の焼き込みを完了するのに使います。

初めて使うときは、まずリポジトリのサンプルを再現することをおすすめします。自分の環境で問題なく MP4 を出力できることを確認してから、自分の題材に切り替えてください。そうすれば、環境の問題なのか、楽曲生成の問題なのか、それともあるショットのコードを調整する必要があるのかを区別しやすくなります。

どんな題材に特に向いているか

この方法は物語、解説型コンテンツ、ブランド短編に向いています。たとえば CPU キャッシュを 1 分の小アニメにする、ある製品発表を短い歌にする、チームの周年記念に固定キャラクターと画風の MV を作る、といった用途です。

写実的な実写、複雑な 3D ショット、即時のバッチ配信素材を求める用途には向きません。手描きスタイルの強みは統一感、制御しやすさ、作者性であり、その代償として各ショットに絵コンテとレンダリング時間を割り当てる必要があります。

ライセンスと発展

Skill は MIT ライセンスを使用し、ClaudeAnimationBase も MIT ライセンスを使用しています。リポジトリのサンプルと素材の構成方法は出発点として使えますが、自分の作品については歌詞、音楽、人物、ブランド素材の権利境界を別途処理する必要があります。

試してみたいときは、30 秒から 60 秒のテーマから始め、1 つのアイデアを agent に渡し、絵コンテを使って少しずつ映像にまとめ上げていくとよいでしょう。