Kling 3.0

Descripción general

kling-3.0/motion-control es una línea de generación de vídeo basada en movimiento: recibe una imagen de referencia de una persona y un vídeo de referencia con movimiento, y genera un nuevo vídeo cuya coreografía proviene de ese movimiento. La apariencia del personaje procede de la imagen, el movimiento y las expresiones faciales proceden del vídeo, y el prompt opcional sirve para complementar la escena, el estilo y el encuadre. Está pensado para desarrolladores que necesitan trasladar una actuación real a un personaje concreto, por ejemplo en miniseries, vídeos hablados a cámara o demostraciones de comercio electrónico, donde se reutiliza un mismo material de movimiento.

Puntos clave

• Entradas desacopladas de personaje y movimiento: la apariencia del personaje la determina la imagen de referencia y el ritmo del movimiento lo determina el vídeo de referencia, por lo que una misma actuación puede aplicarse a distintos materiales de personaje.
• Duración de salida adaptable según el modo de orientación del personaje: si el personaje sigue al vídeo, la salida puede llegar a 30 segundos; si sigue a la imagen, hasta 10 segundos. Se elige según el tipo de plano.
• Conserva el audio original del vídeo de referencia: de forma predeterminada se mantiene la pista de audio del vídeo de referencia, de modo que movimiento y sonido se generan sincronizados y se evita el paso de alinear el audio por separado.

Descripción de capacidades

Transferencia de movimiento impulsada por dos materiales: es obligatorio aportar la imagen de la persona y el vídeo de movimiento; la imagen define el aspecto del personaje y el vídeo define el movimiento y las expresiones faciales, y el resultado generado hereda ambos.

Cambio del modo de orientación del personaje: character_orientation admite video o image. La primera opción es adecuada para movimientos complejos, con un límite de 30 segundos; la segunda es adecuada para movimientos de cámara, con un límite de 10 segundos.

El prompt complementa la escena y el encuadre: el prompt opcional admite hasta 2500 caracteres y sirve para complementar la escena, el estilo y la evolución del encuadre, sin alterar el movimiento ni las expresiones faciales que determina el vídeo de referencia.

Resolución seleccionable y conservación de la pista de audio: la salida puede ser 720p o 1080p, y se puede elegir si se conserva el audio original del vídeo de referencia; la alta resolución conlleva una facturación mayor.

Casos de uso

• Creadores de miniseries y vídeos hablados a cámara que reutilizan material de movimiento: suben una foto de la imagen del personaje y un vídeo de actuación y obtienen una pieza final del personaje con el mismo movimiento, para producir contenido seriado.
• Comercio electrónico y marcas que hacen demostraciones de producto con personajes: combinan la imagen de una modelo o de un avatar virtual con un vídeo de movimiento de demostración del producto y producen un corto de presentación del personaje para la página de detalles y para publicidad.
• Contenido de movimiento que necesita conservar el audio original: al activar la conservación del audio original se obtiene directamente un vídeo con pista de audio sincronizada, listo para publicar como vídeo corto en redes sociales.

Limitaciones y recomendaciones de selección

Ambos materiales de entrada tienen requisitos estrictos: la imagen de la persona debe mostrar con claridad la cabeza, los hombros y el torso, con una relación de aspecto entre 2:5 y 5:2 y un tamaño máximo de 10 MB; el vídeo de referencia debe durar entre 3 y 30 segundos, ser un plano único continuo con el sujeto visible y no superar los 100 MB. El movimiento y las expresiones faciales los determina el vídeo de referencia, y el prompt solo puede ajustar la escena y el estilo, no reescribir el movimiento en sí. Si se necesita generación solo a partir de texto o vídeo a partir de imagen, conviene elegir otras líneas de la misma serie; el contenido narrativo de larga duración sigue requiriendo generar por segmentos y unirlos después.