Cómo dejar que Claude Code edite un vlog automáticamente: un flujo replicable

El método de este artículo proviene de la prueba real que Pieter Levels (@levelsio) compartió en X en noviembre de 2026, publicación original: https://x.com/levelsio/status/2116959423117857026 . Su respuesta complementaria sobre la cadena de herramientas: https://x.com/levelsio/status/2116961807315169718 . A continuación, nuestro desglose de su publicación y la explicación para replicarlo.

Pieter Levels le entregó el material grabado con una DJI a Claude Code para que lo editara en un vlog de unos 10 minutos; él solo hizo unos pocos ajustes y se enteró después de qué herramientas había usado exactamente.

Vale la pena analizarlo porque convierte un vago «edición de video con IA» en un flujo de ingeniería replicable.

Qué hizo exactamente

El orden de toda la cadena es el siguiente:

1. Transcripción: usar mlx-whisper para convertir el audio en texto con marcas de tiempo
2. Extracción de fotogramas: capturar imágenes a intervalos fijos y unirlas en una cuadrícula de imágenes
3. Separación de hablantes: el modelo ECAPA de SpeechBrain distingue quién dice cada frase
4. Decisión: Claude lee simultáneamente la transcripción y la cuadrícula de imágenes y decide qué segmentos conservar
5. Salida: genera una lista de edición en JSON, no edita el video directamente
6. Renderizado: cortar y unir con ffmpeg según la lista
7. Complementos: OpenCV con YuNet para miniaturas de rostros, Pillow para dibujar los subtítulos del inicio

La clave está en los pasos 4 y 5. Lo que hace el modelo no es «editar video», sino «leer dos conjuntos de datos estructurados y producir una decisión de edición».

Por qué este diseño funciona

¿Se puede alimentar el video directamente al modelo? Técnicamente sí, pero el costo se descontrola. Una hora de material, contada por fotogramas, da una cantidad astronómica de tokens.

Este flujo hace dos compresiones:

La primera compresión está en el lado del audio. Una hora de voz hablada se convierte en texto de unos diez mil caracteres; leerlo con el modelo es muy barato. Las marcas de tiempo se conservan, así que sabe en qué posición del video está cada frase.

La segunda compresión está en el lado de la imagen. Los fotogramas extraídos a intervalos fijos se unen en una cuadrícula; en una sola imagen se ven fotogramas de varios momentos. El modelo mira la imagen y juzga «¿esta parte es caminando?», «¿esta parte tiene paisaje?», sin necesidad de ver fotogramas continuos.

Tras las dos compresiones, un material de varias horas se convierte en una entrada que el modelo puede leer de una vez, y el costo de decisión baja a un rango aceptable.

Si lo montas tú, el orden importa

Primer paso: hacer bien la transcripción

Separa la pista de audio y conviértela en texto con marcas de tiempo. La calidad de este paso determina todos los juicios posteriores.

En vlogs con predominio de voz hablada, la precisión de la transcripción afecta directamente si el modelo puede detectar el límite de «esta frase ya terminó». En material con ruido de fondo, la transcripción pierde palabras y los segmentos que el modelo corta según ella suelen quedar partidos a mitad de frase.

Segundo paso: diseñar bien el formato de la lista de edición

Lo que el modelo debe emitir no es lenguaje natural como «conservar de 00:12 a 01:47», sino un JSON con esquema fijo:

{
  "segments": [
    {"start": 12.4, "end": 107.2, "reason": "llegada a la casa rural, presentación de la habitación"},
    {"start": 340.1, "end": 402.8, "reason": "timelapse del atardecer en la costa"}
  ],
  "total_duration": 596.1
}

Con un formato fijo, el script puede consumirlo directamente sin analizar lenguaje natural. Incluir el campo reason permite saber por qué se conserva cada segmento al revisar manualmente.

Tercer paso: delegar el renderizado a ffmpeg

El modelo solo emite decisiones; el corte y la unión los hace ffmpeg. Así cada eslabón se puede depurar por separado: si la decisión de edición está mal, cambia el prompt o el modelo; si la imagen está mal, revisa los parámetros de ffmpeg.

Un ejemplo mínimo de cortar según la lista y luego unir:

# 按清单逐段切割
ffmpeg -ss 12.4 -to 107.2 -i input.mp4 -c copy seg_01.mp4

# 拼接
printf "file 'seg_01.mp4'\nfile 'seg_02.mp4'\n" > list.txt
ffmpeg -f concat -safe 0 -i list.txt -c copy out.mp4

-c copy no recodifica, así que es varios órdenes de magnitud más rápido. El requisito es que los parámetros de codificación de todos los segmentos sean iguales, así que antes de cortar, unifica una vez los parámetros de codificación.

Cuarto paso: delegar la decisión al modelo

Para este paso basta con conectar HiAPI. La configuración de Claude Code está en Claude Code y Codex conectados a HiAPI; tras configurar la Key, la inferencia que corre en Claude Code usa Opus 5.5 (entrada $2.02, salida $10.08 por millón de tokens).

Para una hora de material, con la transcripción más unas decenas de cuadrículas de imágenes, la entrada es de unos veinte o treinta mil tokens. Con el precio de entrada de Opus 5.5, el costo de una decisión completa va de unos centavos a una décima de dólar. Comparado con las horas de trabajo de una edición manual, este orden de magnitud no deja lugar a dudas.

Cambiar de escenario permite reutilizarlo

Con la misma estructura, cambiar la fuente de entrada da otro producto:

Escenario	Entrada	Objetivo de edición
Clips de pódcast	Audio largo + transcripción	Seleccionar ideas que puedan formar un segmento independiente
Resumen de reuniones	Grabación de pantalla + transcripción	Conservar decisiones y tareas pendientes
Edición fina de cursos	Video de clase	Eliminar pausas y repeticiones
Recopilación de entrevistas	Múltiples cámaras	Reorganizar por tema

El prompt es distinto para cada tipo, pero el esqueleto «transcripción → compresión → decisión → renderizado» es el mismo.

Errores que se van a encontrar

Desfase de marcas de tiempo. La base de las marcas de tiempo de transcripción de distintas herramientas puede diferir en decenas de milisegundos, y el inicio de los segmentos cortados se come palabras. La solución es calibrar primero con un material corto.

El modelo tiende a conservar demasiado. La primera ejecución suele cortar poco y la salida supera la duración objetivo. Indica claramente la duración objetivo en el prompt y explica que si se excede hay que volver a seleccionar.

El punto de corte cae en medio de una frase. Si solo das marcas de tiempo al modelo, puede cortar a mitad de frase. Dale también los límites de oración de la transcripción para que elija según esos límites.

La recodificación tarda. Cuando los parámetros de codificación de los segmentos no coinciden, -c copy falla y se degrada a recodificación, lo que con una hora de material tarda mucho. El paso de unificar parámetros no se puede omitir.

Preguntas frecuentes

¿Es obligatorio usar Claude Code?

No necesariamente. Cualquier modelo que pueda leer textos largos y emitir JSON según un esquema puede hacer este paso de decisión. La ventaja de Claude Code es que él mismo escribe scripts, ejecuta ffmpeg, mira resultados y ajusta, ahorrándote el tiempo de encadenar el flujo a mano.

¿Se puede ejecutar mlx-whisper sin chip de Apple?

No, mlx es un framework de Apple. En máquinas que no son Apple, cambia a faster-whisper o whisper.cpp; la lógica es la misma.

¿Cuánto tarda todo el flujo?

La transcripción del material se lleva la mayor parte: una hora de material en chips de la serie M tarda aproximadamente de diez y pico a varias decenas de minutos, según el tamaño del modelo. El paso de decisión toma unos minutos. El renderizado con -c copy es rápido.

¿Se puede usar directamente lo editado?

Según Levels, él hizo unos pocos ajustes. El flujo automático resuelve la parte más laboriosa: «seleccionar diez minutos de varias horas de material»; el ritmo de los detalles y las transiciones siguen siendo más rápidos de ajustar a mano.

Conclusiones clave

Lo central de este flujo no es lo inteligente que sea el modelo, sino convertir el video en datos que el modelo pueda permitirse leer. La transcripción comprime el audio, la cuadrícula de fotogramas comprime la imagen, el modelo solo toma decisiones de selección de segmentos y el renderizado vuelve a ffmpeg. Si quieres replicarlo, empieza por «convertir el material en texto con marcas de tiempo»; el resto es trabajo de ingeniería.

---

Fuentes

• Publicación original: Pieter Levels (@levelsio), https://x.com/levelsio/status/2116959423117857026
• Aclaración sobre la cadena de herramientas (respuesta del autor): https://x.com/levelsio/status/2116961807315169718
• El desglose del flujo, los ejemplos de código y las advertencias de este artículo fueron elaborados por HiAPI, no son contenido del autor original