Far tagliare i vlog automaticamente a Claude Code: un processo replicabile

Il metodo di questo articolo deriva da un test condiviso da Pieter Levels (@levelsio) su X nel novembre 2026; post originale: https://x.com/levelsio/status/2116959423117857026 . La sua risposta con ulteriori dettagli sulla toolchain: https://x.com/levelsio/status/2116961807315169718 . Qui sotto trovi la nostra analisi della sua condivisione e le istruzioni per replicarla.

Pieter Levels ha affidato a Claude Code il materiale girato con la DJI, chiedendogli di montarlo in un vlog di circa 10 minuti; lui ha fatto solo poche modifiche e ha scoperto solo dopo quali strumenti avesse usato concretamente.

Vale la pena analizzarlo, perché trasforma un vago «montaggio video con l'AI» in un processo ingegneristico replicabile.

Cosa ha fatto esattamente

L'ordine dell'intera catena è questo:

1. Trascrizione: usa mlx-whisper per convertire l'audio in testo con timestamp
2. Estrazione fotogrammi: cattura le immagini a intervalli fissi e le compone in un'immagine a griglia
3. Separazione degli speaker: il modello ECAPA di SpeechBrain distingue chi pronuncia ogni frase
4. Decisione: Claude legge insieme il testo trascritto e la griglia delle immagini e decide quali intervalli temporali mantenere
5. Output: genera una lista di montaggio JSON, non taglia direttamente il video
6. Rendering: taglia e concatena con ffmpeg secondo la lista
7. Complementi: OpenCV con YuNet per le miniature dei volti, Pillow per disegnare i sottotitoli iniziali

Il punto chiave sono i passaggi 4 e 5. Il modello non fa «montaggio video», ma «legge due set di dati strutturati e produce una decisione di montaggio».

Perché questo design funziona

Inviare direttamente il video al modello sarebbe possibile? Tecnicamente sì, ma i costi sfuggirebbero di mano. Un'ora di materiale, contata in fotogrammi, è un numero di token astronomico.

Questo processo opera due compressioni:

La prima compressione è sul lato audio. Un'ora di parlato diventa circa diecimila caratteri di testo, che il modello può leggere a poco prezzo. I timestamp vengono conservati, così sa dove si trova ogni frase nel video.

La seconda compressione è sul lato visivo. L'estrazione periodica dei fotogrammi li compone in una griglia, e in un'unica immagine si vedono più momenti. Il modello guarda l'immagine e giudica «questa parte è una camminata» o «questa parte ha un paesaggio», senza bisogno di vedere fotogrammi continui.

Dopo queste due compressioni, il materiale di diverse ore diventa un input che il modello può leggere in una volta sola, e il costo decisionale scende a un livello accettabile.

Se lo costruisci da solo, l'ordine è importante

Primo passo: fare bene la trascrizione

Estrai la traccia audio e convertila in testo con timestamp. La qualità di questo passo determina tutte le valutazioni successive.

Nei vlog prevalentemente parlati, l'accuratezza della trascrizione influisce direttamente sulla capacità del modello di individuare il confine di «questa frase è finita». Con materiale dal rumore di fondo, la trascrizione perde parole e i segmenti tagliati dal modello tendono a spezzarsi a metà frase.

Secondo passo: progettare bene il formato della lista di montaggio

Non far produrre al modello un linguaggio naturale come «mantieni da 00:12 a 01:47», ma un JSON con schema fisso:

{
  "segments": [
    {"start": 12.4, "end": 107.2, "reason": "Arrivo al B&B, presentazione della stanza"},
    {"start": 340.1, "end": 402.8, "reason": "Time-lapse del tramonto sul mare"}
  ],
  "total_duration": 596.1
}

Con un formato fisso, lo script può consumarlo direttamente senza interpretare linguaggio naturale. Includendo il campo reason, chi rivede sa perché ogni segmento è stato mantenuto.

Terzo passo: affidare il rendering a ffmpeg

Il modello produce solo decisioni; taglio e concatenazione li fa ffmpeg. Così ogni fase si può debuggare separatamente: se la decisione di montaggio è sbagliata, cambi il prompt o il modello; se l'immagine è sbagliata, controlli i parametri di ffmpeg.

Un esempio minimo di taglio secondo la lista e successiva concatenazione:

# Taglia segmento per segmento secondo la lista
ffmpeg -ss 12.4 -to 107.2 -i input.mp4 -c copy seg_01.mp4

# Concatena
printf "file 'seg_01.mp4'\nfile 'seg_02.mp4'\n" > list.txt
ffmpeg -f concat -safe 0 -i list.txt -c copy out.mp4

-c copy non ricodifica e velocizza di ordini di grandezza. Il presupposto è che i parametri di codifica dei segmenti siano coerenti, quindi prima di tagliare uniforma una volta i parametri di codifica.

Quarto passo: affidare la decisione al modello

Per questo passo basta collegare HiAPI. La configurazione di Claude Code è in Connettere Claude Code e Codex a HiAPI; una volta impostata la Key, le inferenze eseguite in Claude Code passano per Opus 5.5 ($2.02 in input, $10.08 in output per milione di token).

Per un'ora di materiale, il testo trascritto più decine di griglie di immagini sono circa venti-trentamila token in input. Al prezzo di input di Opus 5.5, una decisione completa costa da pochi centesimi a un decimo di euro. Confrontato con le ore di lavoro del montaggio manuale, questo ordine di grandezza non lascia dubbi.

Si riutilizza cambiando scenario

Con la stessa struttura, cambiando la fonte di input ottieni un altro prodotto:

Scenario	Input	Obiettivo di montaggio
Clip di podcast	Audio lungo + trascrizione	Selezionare opinioni che stanno in piedi da sole
Riepilogo di riunioni	Registrazione schermo + trascrizione	Conservare decisioni e cose da fare
Montaggio didattico	Video di lezione	Eliminare pause e ripetizioni
Compilation di interviste	Multicamera	Riorganizzare per tema

I prompt cambiano per ogni categoria, ma lo scheletro «trascrizione → compressione → decisione → rendering» resta lo stesso.

Le trappole da evitare

Scostamento dei timestamp. I timestamp di trascrizione di strumenti diversi possono avere basi differenti di decine di millisecondi, e l'inizio dei segmenti tagliati perde parole. La soluzione è calibrare prima con un breve materiale.

Il modello tende a conservare troppo. Al primo tentativo di solito non taglia abbastanza e l'output supera la durata target. Nel prompt indica chiaramente la durata target e specifica che se la supera deve riselezionare.

Il punto di taglio cade a metà frase. Se dai al modello solo i timestamp, può tagliare a metà frase. Passagli anche i confini delle frasi della trascrizione, così sceglie in base ai confini di frase.

La ricodifica richiede tempo. Quando i parametri di codifica dei segmenti non coincidono, -c copy fallisce e si ricade nella ricodifica, che per un'ora di materiale richiede molto tempo. Il passaggio di uniformare i parametri non si può saltare.

Domande frequenti

È obbligatorio usare Claude Code?

No. Qualsiasi modello che sappia leggere testi lunghi e produrre JSON secondo uno schema può svolgere questa fase decisionale. Il vantaggio di Claude Code è che scrive da solo gli script, esegue ffmpeg e guarda i risultati per poi ritoccare, risparmiandoti il tempo di concatenare manualmente il processo.

Si può usare mlx-whisper senza chip Apple?

No, mlx è un framework di Apple. Su macchine non Apple usa faster-whisper o whisper.cpp; la logica è identica.

Quanto dura l'intero processo?

La trascrizione del materiale è la voce principale: un'ora di materiale su chip della serie M richiede dai dieci minuti circa alla decina di minuti, a seconda della dimensione del modello. La fase decisionale richiede qualche minuto. Il rendering con -c copy è molto veloce.

Il risultato è utilizzabile direttamente?

Secondo Levels stesso, ha fatto poche modifiche. Il processo automatico risolve la parte più dispendiosa in tempo, cioè «scegliere dieci minuti da ore di materiale»; ritmo e transizioni nei dettagli si regolano ancora più in fretta a mano.

Conclusione chiave

Il nucleo che fa funzionare questo processo non è quanto sia intelligente il modello, ma il trasformare il video in dati che il modello può permettersi di leggere. La trascrizione comprime l'audio, la griglia dei fotogrammi comprime le immagini, il modello fa solo la scelta dei segmenti e il rendering torna a ffmpeg. Per replicarlo, parti dal passo «convertire il materiale in testo con timestamp»: il resto è lavoro di ingegneria.

---

Fonti

• Condivisione originale: Pieter Levels (@levelsio), https://x.com/levelsio/status/2116959423117857026
• Ulteriori dettagli sulla toolchain (risposta dell'autore): https://x.com/levelsio/status/2116961807315169718
• L'analisi del processo, gli esempi di codice e le note di questo articolo sono stati curati da HiAPI e non provengono dall'autore originale