Рецепты промптов для преобразования текста в видео в Kling 4.0 для разработчиков

Почему структура промпта важнее формулировки

Большинство команд начинают с формулировок. Они перебирают прилагательные, заменяют синонимы и надеются, что следующий рендер получится лучше. Для отдельного клипа это работает, но как только вы попадаете в API-конвейер — где один и тот же промпт должен давать согласованные результаты в десятках или даже сотнях запросов — этот подход полностью перестаёт работать.

Формулировка — это поверхностная деталь. Структура — ключ к предсказуемости вывода.

Когда вы вызываете kling-4.0/text-to-video, модель получает строку. Внутри этой строки модель должна одновременно решить несколько независимых задач: что является субъектом, как выглядит окружение, как движется камера и сколько повествования может вместить запрошенная длина клипа. Если эти решения переплетены в одном плавном предложении, вы не можете определить, какое именно предложение привело к плохому рендеру, и не можете настроить одно измерение, не затронув другие.

Структурированные промпты разделяют эти решения по стабильным слотам. Это даёт три практических преимущества:

• Изоляция. Когда камера кажется неправильной, вы меняете только слот камеры. Описание сцены остаётся неизменным, поэтому ваше сравнение имеет смысл.
• Переиспользование. Один и тот же блок сцены можно комбинировать с разными блоками камеры в одном пакете — именно так исследуют вариации с низкими затратами.
• Диагностируемость. Когда после изменения модели или параметров вывод регрессирует, вы можете сравнить версии промпта, а не гадать.

Есть и вторая причина, по которой структура побеждает: итерации в генерации видео дорогостоящи. Каждый рендер стоит времени и бюджета, и вы не можете увидеть промежуточное состояние. Поскольку вы видите только конечный клип, промпт фактически является вашим единственным интерфейсом отладки. Промпт, который читается как спецификация, даёт вам то, о чём можно рассуждать; промпт, который читается как стихотворение, — нет.

Наконец, структурированные промпты выдерживают передачу. Рецепт, который коллега может прочитать, заполнить и версионировать, — это актив. Хитроумный одноразовый промпт живёт в чьём-то черновом файле, а затем умирает там.

Вот почему рецепты в этом руководстве организованы вокруг скелета, а не списка волшебных фраз. Фразы важны, но они работают только внутри формы, которую вы контролируете.

Базовый скелет промпта

Каждый рецепт в этом руководстве — это заполнение одного и того же четырёхчастного шаблона. Сохраняйте порядок стабильным, чтобы ваши diff-ы были читаемыми.

[SUBJECT] + [SCENE] + [CAMERA] + [PACING]

Вот что должен содержать каждый слот:

Субъект (Subject)

Кто или что в клипе, с одной-двумя физическими деталями, которые должны сохраняться в движении. Оставайтесь конкретными и визуальными. "Женщина в плаще, промокшем от дождя" лучше, чем "таинственный человек". Избегайте здесь абстрактных эмоциональных ярлыков; модель рендерит тела и объекты, а не намерения.

Сцена (Scene)

Окружение, освещение и время. Именно здесь формируется кинематографичное качество. Указывайте направление и характер света, а не слова о настроении. "Низкое солнечное освещение с левой стороны кадра, жёсткие тени, пыль в воздухе" сообщает модели больше, чем "драматическое освещение".

Камера (Camera)

Крупность плана плюс движение, выраженные как отдельное предложение. Поскольку это независимый слот, вы можете заменить его целиком. Фиксированный общий план и медленный наезд разделяют один и тот же субъект и сцену, но дают совершенно разные клипы.

Темп (Pacing)

Что должно произойти в клипе, в соответствии с запрошенной вами длительностью. Короткий клип поддерживает один такт; более длинный клип может вместить небольшую арку.

Пример заполнения:

SUBJECT: a lone cyclist in a dark windbreaker, water beading on the helmet
SCENE: empty coastal road at dawn, overcast sky, wet asphalt reflecting grey light
CAMERA: wide shot, slow lateral tracking at walking pace
PACING: single continuous action, cyclist pedals steadily, no cuts

Сплющено в одну строку запроса, отправляемую в kling-4.0/text-to-video:

A lone cyclist in a dark windbreaker, water beading on the helmet, on an empty coastal road at dawn, overcast sky, wet asphalt reflecting grey light. Wide shot, slow lateral tracking at walking pace. Single continuous action, cyclist pedals steadily, no cuts.

Два соглашения делают этот скелет работающим на практике. Во-первых, между слотами ставьте точки, а не запятые. Это придаёт промпту естественный ритм, разделяя решения. Во-вторых, никогда случайно не оставляйте слот пустым. Если вам не важна камера, напишите явный выбор, например "static medium shot", чтобы модель не импровизировала.

Относитесь к скелету как к контракту. Когда вы его меняете, меняйте осознанно и повышайте номер версии промпта.

Рецепты формулировок кинематографичных сцен

Кинематографичный вывод получается из конкретных описаний света и пространства, а не из прилагательных, звучащих как кино. Приведённые ниже шаблоны заменяют эмоциональные слова физическими фактами.

Рецепт: направленное освещение

SCENE: interior workshop at night, single warm lamp from upper right casting long shadows across a cluttered bench, dust visible in the light beam, dark background falling into black

Обратите внимание, что работает: источник света, направление, характер и то, что свет выявляет. "Warm" и "night" задают тон; "upper right" фиксирует геометрию; "dust visible in the beam" добавляет глубину. Замените лампу на окно — и тот же скелет выдаст другую сцену без изменения субъекта или камеры.

Рецепт: глубина окружения

SCENE: narrow alley after rain, foreground puddles with reflections, midground fire escape and hanging cables, distant streetlight haze behind, cool blue-grey palette

Явное разделение переднего плана, среднего плана и фона даёт модели план глубины. Это также уменьшает размытые промежуточные кадры, которые появляются, когда промпт описывает только одну плоскость.

Рецепт: действие субъекта с текстурой

SUBJECT: a chef in a white apron, flour dusting the forearms, hands working dough
PACING: continuous kneading motion, flour puffing with each press, no cuts

Описывайте действие как физический цикл, который модель может непрерывно поддерживать. Непрерывное повторяющееся действие более связно на протяжении всего клипа, чем одноразовое событие — одноразовое событие модель может завершить раньше и затем простаивать.

Рецепт: погода и атмосфера

SCENE: city rooftop at dusk, thin fog moving through the frame, wind pushing loose fabric, distant skyline softened by haze, low contrast, desaturated

Атмосферу следует описывать как то, что движется, потому что видео вознаграждает сигналы движения. Туман, ветер, дождь и летящие частицы придают кадру постоянную текстуру.

Антипаттерны, которых следует избегать

• Нагромождение прилагательных. "Epic, stunning, cinematic, beautiful" не добавляют никакой информации, которую модель может отрендерить.
• Смешивание слов камеры в сцену. Держите "slow dolly" вне слота сцены, чтобы вы могли настраивать его отдельно.
• Противоречия. "Bright night scene" разрешается непредсказуемо. Выберите схему освещения и придерживайтесь её.
• Слишком много субъектов. Каждый дополнительный персонаж или объект конкурирует за внимание модели, увеличивая вероятность деформации одного из них.

Рецепты управления камерой и планом

Камера — слот с наибольшим рычагом, потому что она меняет характер клипа, не меняя содержимое. Держите её изолированной, чтобы её можно было заменять в пакете.

Словарь крупности плана

Каждое предложение о камере начинается с крупности плана: экстремально общий план, общий план, средний план, крупный план, экстремально крупный план. Это одно слово определяет, какую часть кадра занимает субъект и сколько окружения видно.

CAMERA: medium close-up, static tripod

Рецепты движения

Каждый из следующих вариантов — это готовое к замене предложение о камере:

CAMERA: wide shot, slow push-in toward the subject
CAMERA: medium shot, lateral tracking left at walking pace
CAMERA: close-up, slow handheld drift with slight instability
CAMERA: wide shot, static, subject moves through frame
CAMERA: medium shot, slow tilt up from hands to face

Ключевая дисциплина — одно движение на предложение. Сочетание наезда, наклона и крена в одном запросе обычно даёт кашу, потому что модель должна смешать конфликтующие планы движения.

Модификаторы скорости

Скорость движения важнее направления движения для воспринимаемого качества. Используйте простые модификаторы: slow, steady, walking pace, gradual. Избегайте числовых скоростей, потому что они не преобразуются надёжно в план движения модели.

Съёмка с рук и стабилизация

Если вы хотите документальную достоверность, явно напишите "handheld, slight instability". Если вы хотите коммерческую полировку, напишите "stabilized, smooth motion". Неуказание этого — одна из самых частых причин, по которой клип кажется неправильным, но без очевидной причины.

Замена камеры в пакете

Поскольку камера — независимый слот, вы можете оставить субъект, сцену и темп неизменными и сгенерировать контролируемое сравнение. Постройте небольшой массив предложений о камере, пройдитесь по нему циклом, оставив всё остальное фиксированным:

cameras = [
    "wide shot, static tripod",
    "medium shot, slow push-in",
    "close-up, handheld with slight drift",
]
for cam in cameras:
    prompt = f"{subject}. {scene}. {cam}. {pacing}."
    # send prompt to kling-4.0/text-to-video

Набор выходов скажет вам, какая композиция лучше всего читается для этого содержимого, и сравнение будет честным, потому что изменялась только одна переменная.

Рецепты длительности и темпа

Детализация промпта должна соответствовать длине клипа. Промпт, описывающий три такта в коротком клипе, даст поспешный, глючный результат. Промпт, описывающий только одно небольшое действие в длинном клипе, даст мёртвое время.

Короткий клип: один такт

Для короткой длительности опишите одно непрерывное действие без повествовательного развития.

PACING: one continuous gesture, subject turns head slowly toward the light, nothing else changes

Уберите всё, что подразумевает последовательность. Слова вроде "then", "after" и "finally" соблазняют модель сжать события и потерять связность.

Средний клип: одно действие плюс движение окружения

Добавьте движение окружения, а не второе действие субъекта.

PACING: subject stands still breathing, cloth shifting in the wind, background smoke drifting continuously

Движение окружения заполняет время, не требуя от модели постановки новых событий.

Длинный клип: небольшая арка

Если ваша длительность позволяет, вы можете описать начальное и конечное состояние. Держитесь двух тактов и делайте переход физическим.

PACING: subject begins facing away, slowly turns to face camera, expression settles into a neutral gaze by the end

Укажите начало, движение и конечное положение. Это даёт модели траекторию для интерполяции, а не пустой отрезок времени для заполнения.

Соответствие слов и секунд

Как правило, каждый такт описывает одно физическое действие, и короткий клип примерно соответствует одному такту. Если вы обнаруживаете, что написали в разделе темпа более двух предложений, либо клип достаточно длинный, чтобы вместить арку, либо вы переусердствовали с детализацией.

Частые ошибки темпа

• Подразумеваемая склейка. "Shot one, then shot two" редко работает; одна генерация — это один непрерывный кадр.
• Речь и движение. Диалог плюс сложное движение — трудная комбинация. Выбирайте одно.
• Изменение времени. Закат в течение клипа трудно контролировать; выберите одно состояние освещения и придерживайтесь его.
• Хореография толпы. Несколько независимо движущихся фигур быстро деградируют. Относитесь к толпе как к текстуре, а не как к актёрам.

Тестирование рецептов в конвейере

Рецепт промпта — это код. Его следует версионировать, тестировать и документировать как код.

Версионирование промптов как активов

Храните каждый рецепт в файле с идентификатором версии и заполненными слотами. Не прячьте их как строки в логике приложения. Когда вы меняете фразу, это новая версия, а старая остаётся доступной для сравнения и отката.

{
  "id": "cyclist_coastal_v3",
  "subject": "a lone cyclist in a dark windbreaker...",
  "scene": "empty coastal road at dawn...",
  "camera": "wide shot, slow lateral tracking...",
  "pacing": "single continuous action..."
}

Запуск небольших сравнительных пакетов

Прежде чем продвигать рецепт в производство, сгенерируйте небольшой пакет — несколько вариантов, а не сотни. Меняйте только один слот за раз. Оценивайте выходы по важным для вас измерениям: точность субъекта, стабильность движения, композиция и то, насколько хорошо клип заполняет свою длительность. Продвигайте победителя и записывайте решение.

Запись промпта, параметров и вывода вместе

Каждый запрос должен записывать запись, содержащую версию промпта, заполненные слоты, параметры запроса, идентификатор вывода и вашу оценку качества. Когда позже возникнет регрессия, этот журнал — разница между пятиминутной диагностикой и днём догадок.

log = {
    "prompt_id": recipe["id"],
    "prompt": flattened_prompt,
    "params": {"prompt": flattened_prompt},
    "output": response_id,
    "score": manual_score,
}

Сохранение регрессионного набора

Как только рецепт попадает в производство, сохраняйте небольшой набор замороженных промптов и их принятых выходов. После любого изменения модели или параметров перезапустите этот набор и сравните. Это ловит тихий дрейф до того, как его обнаружат пользователи.

Простой цикл продвижения

Набросайте рецепт по скелету, заполните слоты, запустите небольшой пакет с альтернативами для одного слота, оцените, затем продвиньте победителя как версионированный актив с полным журналом. Повторяйте по мере изменения потребностей в содержимом.

Относитесь к каждому рецепту как к тестируемому артефакту — и конвейер перестанет быть игровым автоматом. Вы можете начать с конечной точки kling-4.0/text-to-video и построить на ней свою версионируемую библиотеку.