Kling 3.0

Kurzprofil

kling-3.0/motion-control ist ein Pfad zur bewegungsgesteuerten Videogenerierung: Als Eingabe dienen ein Referenzbild einer Person und ein Referenzvideo mit Bewegung; ausgegeben wird ein neues Video, dessen Bewegung aus diesem Video stammt. Das Aussehen der Figur stammt aus dem Bild, Bewegungen und Mimik aus dem Video, und ein optionaler Prompt ergänzt Szene, Stil und Kameraführung. Geeignet für Entwickler, die echte Schauspielleistungen auf eine bestimmte Figur übertragen wollen, etwa bei Kurzdramen, Sprechvideos oder E-Commerce-Präsentationen, wo dasselbe Bewegungsmaterial wiederverwendet werden soll.

Kernhighlights

• Entkoppelte Eingabe von Figur und Bewegung – Das Aussehen der Figur bestimmt das Referenzbild, den Bewegungsrhythmus das Referenzvideo; dieselbe Performance lässt sich auf verschiedene Figurenmaterialien anwenden.
• Ausgabelänge passt sich dem Charakter-Ausrichtungsmodus an – Folgt die Figur dem Video, sind bis zu 30 Sekunden Ausgabe möglich; folgt sie dem Bild, bis zu 10 Sekunden – je nach Kameratyp wählbar.
• Originalton des Referenzvideos kann erhalten bleiben – Standardmäßig bleibt die Tonspur des Referenzvideos erhalten, Bewegung und Ton werden synchron ausgegeben, ein separates Abgleichen der Spuren entfällt.

Funktionsbeschreibung

Bewegungstransfer durch zwei Materialquellen: Es müssen sowohl ein Personenbild als auch ein Bewegungsvideo bereitgestellt werden; das Bild bestimmt das Aussehen der Figur, das Video Bewegungen und Mimik, und das Ergebnis erbt beides.

Umschalten des Charakter-Ausrichtungsmodus: character_orientation kann auf video oder image gesetzt werden: Ersteres eignet sich für komplexe Bewegungen mit einer Obergrenze von 30 Sekunden; Letzteres für Kamerabewegungen mit einer Obergrenze von 10 Sekunden.

Prompt ergänzt Szene und Kameraführung: Der optionale Prompt umfasst bis zu 2500 Zeichen und ergänzt Szene, Stil und Kamerarichtung, ohne die durch das Referenzvideo bestimmten Bewegungen und Mimik zu verändern.

Wählbare Auflösung und Beibehaltung der Tonspur: Die Ausgabe ist wahlweise in 720p oder 1080p möglich, und es kann gewählt werden, ob der Originalton des Referenzvideos erhalten bleibt; höhere Auflösung bedeutet höhere Abrechnung.

Anwendungsfälle

• Kurz- und Sprechvideo-Creator verwenden Bewegungsmaterial wieder – Charakterbild und ein Performance-Video hochladen und ein fertiges Video derselben Figur mit derselben Bewegung erhalten, für serielle Content-Produktion.
• E-Commerce und Marken erstellen figurbasierte Produktdemonstrationen – Ein Bild eines Models oder einer virtuellen Figur mit einem Produktdemonstrations-Bewegungsvideo kombinieren und einen Kurzfilm zur Figurenpräsentation für Detailseiten und Werbeausspielung erzeugen.
• Bewegungsinhalte mit erhaltenem Originalton – Nach Aktivierung der Originalton-Beibehaltung direkt ein Video mit synchroner Tonspur ausgeben, etwa für die Veröffentlichung als Social-Media-Kurzvideo.

Einschränkungen und Auswahlhinweise

Beide Eingabematerialien haben feste Anforderungen: Das Personenbild muss Kopf, Schultern und Oberkörper klar zeigen, ein Seitenverhältnis zwischen 2:5 und 5:2 aufweisen und darf 10 MB nicht überschreiten; das Referenzvideo muss 3 bis 30 Sekunden lang, eine durchgehende Einstellung und das Motiv sichtbar sein und darf 100 MB nicht überschreiten. Bewegungen und Mimik werden durch das Referenzvideo bestimmt; der Prompt kann nur Szene und Stil anpassen, nicht die Bewegung selbst umschreiben. Wer reine Text-zu-Video- oder Bild-zu-Video-Generierung benötigt, sollte andere Pfade derselben Serie wählen; lang erzählende Inhalte müssen weiterhin abschnittsweise generiert und anschließend zusammengesetzt werden.