Руководство по использованию
Рецепты промптов для Kling 3.0 Omni image-to-video: шаблоны для копирования и вставки для разработчиков
Структура начального и конечного кадра, формулировки движения камеры, подсказки для нативного аудио и негативный список для стабильности — с реально сгенерированными фрагментами
На этой странице
Почему структура промпта важнее его длины
Большинство промптов для image-to-video терпят неудачу не потому, что они слишком короткие, а потому, что в них нет порядка. Текст, в котором смешаны описание субъекта, намерение камеры, аудиоатмосфера и инструкции по исправлению, не даёт модели детерминированного отображения из текста в движение. Когда сгенерированный фрагмент оказывается неудачным, вы не можете определить, какое предложение стало причиной — поэтому вы не можете это исправить, а можете только сгенерировать заново.
Практичное решение — дисциплина разделов. Рассматривайте промпт как фиксированный контракт из пяти блоков, всегда расположенных в одном и том же порядке:
- Привязка к кадрам — какое изображение является начальным кадром, какое конечным, и насколько строга эта привязка.
- Субъект — кто или что находится в кадре, а также детали идентичности, которые должны оставаться неизменными на протяжении перехода.
- Движение — что физически меняется между двумя кадрами, выраженное простыми временными формулировками.
- Камера — как перемещается точка обзора (или явно остаётся неподвижной).
- Аудио + негатив — подсказки для нативного звука, а затем режимы сбоев, которые нужно подавить.
Этот порядок соответствует тому, как модель разбирает ограничения: сначала она фиксирует кадры, затем решает, что движется, потом определяет, где находится зритель, и наконец заполняет невизуальный вывод. Размещение аудио и негатива в конце означает, что инструкции о звуке или исправлении не мешают визуальному рассуждению.
Для инженерных команд выгода — воспроизводимость. Стабильный каркас означает, что diff между двумя версиями промпта читается: вы изменили строку камеры, а не весь блок. Это также означает, что промпты становятся параметрами, а не прозой — вы можете шаблонизировать их, версионировать и проводить A/B-тестирование в пайплайне, и именно в этом направлении строятся последующие разделы.
Длина — это симптом, а не рычаг. Промпт из 60 слов, написанный в фиксированном порядке, лучше абзаца из 200 слов, где прилагательные нагромождены в начале. Сначала сожмите каждый существующий промпт в эти пять слотов и удалите всё, что не помещается в слот.
Базовый рецепт: каркас промпта, готовый к копированию и вставке
Ниже стандартный каркас. Вставьте его, заполните содержимое в квадратных скобках и удалите слоты, которые вам действительно не нужны — но сохраняйте порядок.
[FRAME ANCHOR]
Start frame: the provided image, preserved exactly.
End frame: [describe end state, or "none — open-ended continuation"].
Transition: [smooth continuous | single cut-free motion | holds start pose].
[SUBJECT]
[Subject identity + 2-3 invariant details that must not change].
[MOTION]
[What moves, direction, and how far — one sentence per moving element].
[CAMERA]
[Static locked-off shot | slow push-in | left-to-right pan | gentle orbit].
Pace: [slow and even | builds to a faster finish].
[AUDIO]
Ambience: [environment sound].
Music: [feel, not genre-name dropping].
Sync: [what the audio should land on].
[NEGATIVE]
flicker, morphing, warping text, extra limbs, identity drift
Заполненный пример — продуктовый кадр керамической чашки на подоконнике:
[FRAME ANCHOR]
Start frame: the provided image, preserved exactly.
End frame: same cup, steam gone, light shifted warmer.
Transition: smooth continuous motion, no cuts.
[SUBJECT]
Matte white ceramic cup, thin dark rim, wooden windowsill.
[MOTION]
Steam thins and disappears over the shot; curtain edge drifts slightly.
[CAMERA]
Static locked-off shot, very slow push-in.
Pace: slow and even.
[AUDIO]
Ambience: quiet room tone, faint birds outside.
Music: soft, sparse, low volume.
Sync: birds chirp as steam vanishes.
[NEGATIVE]
flicker, morphing, warping text, extra limbs, identity drift
При запуске через kling-3.0-omni/image-to-video получается фрагмент, в котором чашка остаётся чашкой, изменения чётко различимы, а аудио поддерживает, а не конкурирует. Это работает, потому что каждое предложение делает одну вещь: привязка ограничивает геометрию, субъект защищает идентичность, движение — единственное, что разрешено менять, камера объявлена явно, а не подразумевается, а негатив действует как отдельный шлюз.
Соблюдайте две привычки: пишите движение в хронологическом порядке («истончается, затем исчезает») и никогда не позволяйте камере и субъекту конфликтовать — если субъект идёт влево, не делайте одновременно быстрый облёт влево, если только вы не хотите, чтобы изображение потеряло устойчивость.
Дисциплина слотов
Каждый слот должен содержать только свою задачу. Если вы ловите себя на том, что пишете «камера медленно приближается, в то время как пар чашки превращается в птицу», вы объединили камеру и движение в одно предложение и потеряли возможность независимо регулировать любое из них. Разделите это.
Рецепты начального и конечного кадра
Image-to-video с двумя кадрами — это задача интерполяции, а не генерации. Работа модели — найти правдоподобный путь между двумя фиксированными состояниями. Здесь промпт терпит неудачу, когда он описывает сцену, а не переход — модель затем переинтерпретирует содержимое, и конечная точка дрейфует.
Рецепт: строгие конечные точки, минимум изобретательности
Используйте, когда оба кадра существуют и вы хотите, чтобы модель буквально соединила их.
Start frame: provided image, preserved exactly.
End frame: provided image, preserved exactly.
The clip must begin on the start frame and end on the end frame.
Do not introduce new subjects or objects. Only intermediate motion.
Transition: continuous, no cuts, no scene change.
Motion: [the single physical change that carries start to end].
Camera: static locked-off shot.
Ключевая фраза — только промежуточное движение. Она сообщает модели, что конечные точки — это ограничение, а не предложение. Объявление статичной камеры убирает ещё одну степень свободы и делает интерполяцию гораздо стабильнее.
Рецепт: открытое продолжение
Используйте, когда у вас есть только начальный кадр и вы хотите естественное продолжение.
Start frame: provided image, preserved exactly.
End frame: none — open-ended continuation of the same scene.
Transition: continuous motion, same location, same lighting.
Motion: [primary action], resolving within the clip length.
Camera: [declared move].
Negative: scene change, new location, new characters.
Описание конечного состояния без конечного изображения
Если конечного кадра нет, но вы хотите направленный результат, опишите конечное состояние в терминах внешнего вида, а не события: «жидкость замерла и больше не течёт», «дверь полностью открыта», «пар исчез». Состояния внешнего вида визуально проверяемы; описания событий («персонаж решает уйти») соблазняют модель изобрести постановку.
Два правила предотвращают большинство сбоев конечных точек:
- Явно заявляйте неизменность начального кадра. «Сохранить точно» сильнее, чем «использовать изображение как референс».
- Держите количество переходов равным одному. Если должны измениться две вещи, пусть одна ведёт, а другая следует, и пишите их последовательно. Конкурирующие переходы читаются как смена сцены, и модель регенерирует, а не интерполирует.
Формулировки движения камеры и темпа
Здесь расплывчатые промпты чаще всего схлопываются в случайный дрейф. Решение — для каждого движения камеры назвать движение, назвать цель, назвать скорость — три слова.
Движения с ясным отображением
- Приближение — «slow push-in toward [subject], centered». Предсказуемо, подходит для раскрытия продукта и портрета.
- Отдаление — «slow pull-back revealing [context]». Используйте, когда начальный кадр — деталь.
- Панорама — «left-to-right pan across [scene], constant speed». Всегда указывайте направление и постоянство.
- Наклон — «gentle tilt up from [lower element] to [upper element]».
- Облёт — «slow orbit around [subject], subject stays centered». Облёт сбоит чаще всего; фраза о центрировании предотвращает выскальзывание субъекта из кадра.
- Статика — «static locked-off shot, no camera movement». Пишите это, даже если считаете очевидным.
Передавайте темп без непроверяемых чисел
Вам не нужно угадывать количество кадров. Описывайте темп наречиями, соответствующими ритму: медленно и равномерно, устойчиво, постепенно ускоряясь к финалу, успокаиваясь в последний момент. Они преобразуются в ускорение и замедление, соответствуют ритму коротких видео, и вам не нужно привязываться к неизмеримой временной точке.
Для ритма коротких видео надёжный шаблон — одно движение камеры на фрагмент. Приближение, переходящее в панораму, а затем в облёт, читается как демонстрационный reel, а не как один кадр. Если нужно второе движение, расположите их последовательно: «сначала медленное приближение, затем короткая пауза».
Держите камеру и субъект независимыми
В промпте всегда пишите их на отдельных строках:
Camera: slow push-in toward the subject.
Pace: slow and even.
Motion: the subject turns slightly toward the camera.
Три строки, три задачи. Когда вы объединяете их — «камера приближается, пока субъект поворачивается» — вы теряете возможность изменить одну, не затрагивая другую, и небольшие правки вызывают большие непредсказуемые колебания.
Наконец, указывайте план, когда это важно: «medium shot», «close-up», «wide establishing shot». План — дешёвое ограничение, которое не даёт модели перекомпоновать кадр в середине фрагмента.
Подсказки для нативного аудио
kling-3.0-omni/image-to-video генерирует нативное аудио вместе с изображением. Самая частая ошибка — смешивать описание аудио с предложением о движении, из-за чего аудиоподсказки читаются как визуальные инструкции. Размещайте аудио в собственном блоке и пишите его только в звуковых терминах.
Три слота, всегда в этом порядке
Ambience: [continuous environment sound].
Music: [feel and density, not track names].
Sync: [what the audio should land on].
Атмосфера — это подложка: фоновый шум комнаты, ветер, гул улицы, звук воды. Описывайте её как непрерывную и тихую, если только вы не хотите, чтобы она выделялась.
Музыку следует описывать через ощущение и плотность — «разреженная и мягкая», «устойчивый низкий пульс», «яркая и лёгкая». Называние жанра слабее описания текстуры, потому что модели приходится отображать фразу в звуковую конфигурацию; прилагательные отображаются согласованнее, чем ярлыки.
Синхронизация — это временной мост. Назовите визуальное событие и звук, который должен на него попасть: «тихий щелчок, когда крышка закрывается», «птицы поют, когда пар исчезает». Одного-двух точек синхронизации на фрагмент достаточно. Сверх этого аудио становится перегруженным, а изображение тянется к совпадению с каждой подсказкой.
Работающие подсказки
- Начало: «звук начинается вместе с движением» — подходит для входных фрагментов.
- Затухание: «атмосфера затухает в конце» — предотвращает резкий обрыв.
- Акцент: «мягкий удар, когда [объект] падает».
- Сдержанность: «без музыки, только атмосфера» — законный и часто лучший вариант.
Смешивайте без конфликтов
Если атмосфера и музыка присутствуют одновременно, один раз объявите их соотношение: «атмосфера тихая, музыка под ней». Это стоит одного предложения и предотвращает конфликт двух подложек.
Одно предупреждение: не описывайте аудио ономатопеей или названиями звуковых эффектов. «Whoosh» и «ding» неоднозначны в разных контекстах. Вместо этого описывайте источник и характеристику — «короткий мягкий выдох, когда ткань поднимается». Блок аудио должен читаться как заметки звукорежиссёра, а не как комикс.
Негативный список для стабильности
Негатив — это слой исправления, а не творческий инструмент. Держите его коротким, целенаправленным и готовым к копированию. Ниже базовый список, а затем режим сбоя, на который нацелено каждое слово.
flicker, morphing, warping text, extra limbs, identity drift,
scene change, jitter, frame tearing, duplicated objects
Режим сбоя → термин
- Мерцание яркости между кадрами →
flicker - Объект плавится или сливается между кадрами →
morphing - Искажение вывесок и субтитров →
warping text - Разрастание или схлопывание рук и конечностей →
extra limbs - Изменение лица или идентичности продукта в середине фрагмента →
identity drift - Фон регенерируется как новое место →
scene change - Микродрожание в кадре, который должен быть статичным →
jitter - Краевые артефакты на границах кадров →
frame tearing - Появление дублирующихся объектов из-за размытия движения →
duplicated objects
Условные негативы
Добавляйте их только когда сбой действительно происходит — слишком длинный негативный список размывает эффект каждого слова:
- Для кадров с плотным текстом:
illegible text, scrambled letters - Для продуктовых кадров:
shape distortion, color shift - Для портретов:
asymmetric face, warped eyes - Для замедленной съёмки:
sudden motion, pop-in
Используйте список как чек-лист
Относитесь к нему как к предполётной проверке, а не как к аксессуару промпта. Перед запуском пакета задач спросите, каким режимам сбоя подвержена ваша сцена. Статичный продуктовый кадр требует защиты от мерцания и искажения формы; движущийся субъект требует терминов дрейфа идентичности и конечностей; кадры с текстом требуют текстовых терминов. Во всех остальных случаях используйте базовый список.
Когда фрагмент терпит неудачу, меняйте только одну вещь — добавьте один негатив или ужесточите одну строку движения — и запускайте снова. Пакетное редактирование пяти негативов не скажет вам, какой из них сработал.
Адаптация рецепта к API-пайплайну
Промпт, живущий в ноутбуке, не масштабируется. Последний шаг — превратить каркас в шаблонизированную строку с переменными, чтобы рецепт можно было версионировать, проверять и массово запускать через API HiAPI.
Шаблонизация каркаса
PROMPT = """[FRAME ANCHOR]
Start frame: the provided image, preserved exactly.
End frame: {end_frame}.
Transition: {transition}.
[SUBJECT]
{subject}
[MOTION]
{motion}
[CAMERA]
{camera}
Pace: {pace}.
[AUDIO]
Ambience: {ambience}.
Music: {music}.
Sync: {sync}.
[NEGATIVE]
{negatives}
"""
Каждая переменная — это слот в рецепте. Сам шаблон никогда не меняется — меняются только переменные — это значит, что diff промпта — это diff одной строки, а регрессии можно проследить до конкретного слота.
Храните рецепты как данные
Храните каждый рецепт как словарь с именем и версией:
recipes = {
"product-static-v2": {
"end_frame": "none — open-ended continuation",
"subject": "matte white ceramic cup, thin dark rim",
"motion": "steam thins and disappears",
"camera": "static locked-off shot, very slow push-in",
"pace": "slow and even",
"ambience": "quiet room tone, faint birds",
"music": "soft, sparse, low volume",
"sync": "birds chirp as steam vanishes",
"negatives": "flicker, morphing, warping text, extra limbs, identity drift",
}
}
Имена версий должны быть осмысленными, а не просто числами — product-static-v2 говорит вам, что изменилось; v2 — нет. Когда появляется новый сбой, добавляйте новую версию, а не редактируйте на месте, чтобы старые выводы оставались воспроизводимыми.
Дисциплина пакетной обработки
- При настройке параметров рендерите только одну переменную за раз. Запускайте пакетно только после стабилизации рецепта.
- Записывайте заполненную строку промпта для каждого вывода. Без неё вы не сможете отнести неудачный фрагмент к причине.
- Держите общую негативную базу, пусть рецепт расширяет её, но никогда не заменяет.
Где применяется API
Структура рецепта ориентирована на модель, поэтому её можно передавать целиком в kling-3.0-omni/image-to-video на HiAPI: вы отправляете входные кадры плюс отрендеренную строку промпта, и порядок разделов, который вы обеспечиваете в шаблоне, — это порядок разделов, который видит модель. В этом весь смысл каркаса — это одновременно человекочитаемый документ и точная строка в производстве.
Начните с одного рецепта, создайте для него версии, пусть имена переменных говорят сами за себя. Подробности о конечных точках и названиях параметров см. в документации HiAPI API.
Похожие статьи
Все статьи →-
Руководство по использованию
Руководство по началу работы с gpt-6.2-sol: границы возможностей, интеграция через API и тарификация токенов
Ключевые моменты принятия решений и практики интеграции для инженерных команд
-
Руководство по использованию
Руководство по началу работы с gpt-6.2-astra: границы возможностей текстовой модели, ключевые моменты интеграции и контроль затрат
-
Руководство по использованию
Руководство по началу работы с Tripo H3.1: три способа ввода, параметры и как выбрать тариф
Практическое руководство для разработчиков по принятию решений и контролю затрат при интеграции генерации 3D