Claude Code automatisch Vlogs schneiden lassen: ein reproduzierbarer Workflow

Die Methode in diesem Artikel stammt aus einem Praxistest, den Pieter Levels (@levelsio) im November 2026 auf X geteilt hat. Originalbeitrag: https://x.com/levelsio/status/2116959423117857026 . Seine ergänzende Antwort zur Toolchain: https://x.com/levelsio/status/2116961807315169718 . Im Folgenden findet sich unsere Aufschlüsselung und Reproduktionsanleitung zu seinem Beitrag.

Pieter Levels übergibt das mit einer DJI aufgenommene Material an Claude Code und lässt es zu einem etwa 10-minütigen Vlog schneiden; er selbst nimmt nur wenige Anpassungen vor und erfährt erst hinterher, welche Tools es konkret verwendet hat.

Das lohnt sich genauer anzusehen, weil es das vage „KI schneidet Video“ in einen reproduzierbaren Engineering-Workflow verwandelt.

Was genau es getan hat

Die Reihenfolge der gesamten Kette sieht so aus:

1. Transkription: Mit mlx-whisper wird das Audio in Text mit Zeitstempeln umgewandelt
2. Frame-Extraktion: In festen Intervallen werden Bilder aufgenommen und zu einem Bildraster zusammengesetzt
3. Sprechertrennung: Das ECAPA-Modell von SpeechBrain unterscheidet, wer welchen Satz gesagt hat
4. Entscheidung: Claude liest gleichzeitig Transkripttext und Bildraster und entscheidet, welche Zeitabschnitte behalten werden
5. Ausgabe: Es wird eine JSON-Schnittliste erzeugt, nicht direkt das Video geschnitten
6. Rendering: Gemäß der Liste wird mit ffmpeg geschnitten und zusammengefügt
7. Ergänzung: OpenCV mit YuNet erzeugt Gesichts-Vorschaubilder, Pillow zeichnet die Eröffnungsuntertitel

Entscheidend sind Schritt 4 und 5. Das Modell tut nicht „Video schneiden“, sondern „zwei strukturierte Datensätze lesen und eine Schnittentscheidung ausgeben“.

Warum dieses Design funktioniert

Kann man das Video nicht einfach direkt in das Modell geben? Technisch ja, aber die Kosten geraten außer Kontrolle. Eine Stunde Material, nach Frames gerechnet, ergibt astronomische Token-Zahlen.

Dieser Workflow führt zwei Kompressionen durch:

Die erste Kompression liegt auf der Audioseite. Eine Stunde Sprechtext wird zu etwa zehntausend Zeichen Text, den das Modell günstig lesen kann. Die Zeitstempel bleiben erhalten, sodass es weiß, wo jeder Satz im Video liegt.

Die zweite Kompression liegt auf der Bildseite. Frames werden in festen Intervallen extrahiert und zu einem Raster zusammengesetzt; in einem Bild sind Bilder mehrerer Zeitpunkte zu sehen. Das Modell beurteilt anhand des Bildes, ob „diese Szene ein Lauf ist“ oder „es hier Landschaft gibt“, ohne kontinuierliche Frames sehen zu müssen.

Nach den beiden Kompressionen wird aus mehreren Stunden Material eine Eingabe, die das Modell in einem Durchgang lesen kann, und die Entscheidungskosten sinken auf ein akzeptables Maß.

Beim Selbstbauen ist die Reihenfolge wichtig

Schritt eins: Zuerst die Transkription gut machen

Die Tonspur wird getrennt und in Text mit Zeitstempeln umgewandelt. Die Qualität dieses Schritts bestimmt alle nachfolgenden Urteile.

Bei Vlogs mit überwiegend gesprochenem Inhalt beeinflusst die Transkriptionsgenauigkeit direkt, ob das Modell die Grenze „dieser Absatz ist zu Ende“ finden kann. Bei Material mit lautem Hintergrundgeräusch gehen bei der Transkription Wörter verloren, und die darauf basierenden Schnittabschnitte enden leicht mitten im Satz.

Schritt zwei: Das Format der Schnittliste gut entwerfen

Das Modell soll nicht natürlichsprachlich „behalte 00:12 bis 01:47“ ausgeben, sondern JSON mit festem Schema:

{
  "segments": [
    {"start": 12.4, "end": 107.2, "reason": "Ankunft an der Unterkunft, Vorstellung des Zimmers"},
    {"start": 340.1, "end": 402.8, "reason": "Zeitraffer des Sonnenuntergangs am Meer"}
  ],
  "total_duration": 596.1
}

Mit einem festen Format kann das Skript direkt konsumieren, ohne natürliche Sprache zu parsen. Das Feld reason sorgt dafür, dass bei der menschlichen Prüfung klar ist, warum jeder Abschnitt behalten wurde.

Schritt drei: Das Rendering ffmpeg überlassen

Das Modell gibt nur Entscheidungen aus, Schneiden und Zusammenfügen übernimmt ffmpeg. So lässt sich jeder Abschnitt einzeln debuggen: Wenn die Schnittentscheidung falsch ist, ändert man den Prompt oder wechselt das Modell; wenn das Bild falsch ist, prüft man die ffmpeg-Parameter.

Ein minimales Schneiden nach Liste und anschließendes Zusammenfügen:

# 按清单逐段切割
ffmpeg -ss 12.4 -to 107.2 -i input.mp4 -c copy seg_01.mp4

# 拼接
printf "file 'seg_01.mp4'\nfile 'seg_02.mp4'\n" > list.txt
ffmpeg -f concat -safe 0 -i list.txt -c copy out.mp4

-c copy kodiert nicht neu und ist um Größenordnungen schneller. Voraussetzung ist, dass die Kodierparameter aller Abschnitte übereinstimmen; daher vor dem Schneiden einmal die Kodierparameter vereinheitlichen.

Schritt vier: Die Entscheidung dem Modell überlassen

Hierfür reicht der Anschluss an HiAPI. Die Konfiguration für Claude Code steht unter Claude Code und Codex an HiAPI anbinden; nach dem Einrichten des Keys läuft die Inferenz in Claude Code über Opus 5.5 (Input $2.02, Output $10.08 pro Million Token).

Für eine Stunde Material mit Transkripttext plus einigen Dutzend Bildrastern liegt die Eingabe bei etwa zwanzig- bis dreißigtausend Token. Zum Eingabepreis von Opus 5.5 kostet eine vollständige Entscheidung zwischen einigen Cent und etwa einem Zehntel Euro. Verglichen mit einer Arbeitsstunde manuellen Schnitts muss man bei dieser Größenordnung nicht zögern.

Szenario wechseln und wiederverwenden

Dieselbe Struktur ergibt mit einer anderen Eingabequelle ein anderes Produkt:

Szenario	Eingabe	Schnittziel
Podcast-Ausschnitte	Langes Audio + Transkript	Eigenständige Aussagen herausfiltern
Meeting-Rückblick	Bildschirmaufnahme + Transkript	Beschlüsse und To-dos behalten
Kurszuschnitt	Vorlesungsvideo	Pausen und Wiederholungen entfernen
Interview-Highlights	Mehrere Kameras	Nach Themen neu zusammenstellen

Die Prompts sind für jede Kategorie unterschiedlich, aber das Grundgerüst „Transkription → Kompression → Entscheidung → Rendering“ bleibt gleich.

Fallstricke

Zeitstempel-Versatz. Die Zeitstempel-Basis verschiedener Tools kann um einige Dutzend Millisekunden abweichen, wodurch am Anfang der geschnittenen Abschnitte Wörter verschluckt werden. Lösung: Zuerst mit einem kurzen Materialstück kalibrieren.

Das Modell behält tendenziell zu viel. Beim ersten Lauf wird oft nicht aggressiv genug geschnitten, und die Ausgabe ist länger als die Zielzeit. Im Prompt die Zielzeit klar angeben und erklären, dass bei Überschreitung neu ausgewählt werden muss.

Schnittpunkte landen mitten im Satz. Gibt man dem Modell nur Zeitstempel, kann es mitten im Satz schneiden. Man übergibt ihm auch die Satzgrenzen des Transkripts, damit es nach Satzgrenzen auswählt.

Neukodierung dauert. Wenn die Kodierparameter der Abschnitte nicht übereinstimmen, schlägt -c copy fehl und es wird auf Neukodierung zurückgefallen; eine Stunde Material braucht dann sehr lange. Der Schritt der Parametervereinheitlichung darf nicht entfallen.

Häufige Fragen

Muss man Claude Code verwenden?

Nicht unbedingt. Jedes Modell, das lange Texte lesen und JSON nach Schema ausgeben kann, kann diesen Entscheidungsschritt übernehmen. Der Vorteil von Claude Code ist, dass es selbst Skripte schreibt, ffmpeg ausführt und die Ergebnisse ansieht und nachjustiert, was den manuellen Verkettungsaufwand spart.

Läuft mlx-whisper ohne Apple-Chip?

Nein, mlx ist ein Framework von Apple. Auf Nicht-Apple-Rechnern nimmt man faster-whisper oder whisper.cpp; die Logik ist dieselbe.

Wie lange dauert der gesamte Ablauf?

Die Transkription des Materials macht den größten Teil aus; eine Stunde Material dauert auf M-Chips etwa zehn bis mehrere zehn Minuten, je nach Modellgröße. Der Entscheidungsschritt dauert einige Minuten. Das Rendering ist mit -c copy schnell.

Kann man das Geschnittene direkt verwenden?

Levels selbst sagt, er habe wenige Anpassungen vorgenommen. Der automatische Workflow löst den zeitaufwendigsten Teil, nämlich „aus mehreren Stunden Material zehn Minuten auswählen“; Rhythmus und Übergänge im Detail lassen sich von Hand schneller justieren.

Wichtigste Erkenntnisse

Der Kern, warum dieser Workflow funktioniert, ist nicht, wie klug das Modell ist, sondern dass das Video in Daten verwandelt wird, die das Modell lesen kann. Die Transkription komprimiert das Audio, das Frame-Raster komprimiert das Bild, das Modell trifft nur die Auswahlentscheidung, und das Rendering geht zurück an ffmpeg. Wer es nachbauen will, beginnt mit dem Schritt „Material in Text mit Zeitstempeln umwandeln“; der Rest ist Engineering-Arbeit.

---

Quellen

• Ursprünglicher Beitrag: Pieter Levels (@levelsio), https://x.com/levelsio/status/2116959423117857026
• Ergänzende Erläuterung zur Toolchain (Antwort des Autors): https://x.com/levelsio/status/2116961807315169718
• Die Aufschlüsselung des Workflows, Codebeispiele und Hinweise in diesem Artikel wurden von HiAPI zusammengestellt und stammen nicht vom ursprünglichen Autor