Использование happyhorse-1.1/reference-to-video через HiAPI API: рецепты промптов и рабочий процесс для коротких видео

Что reference-to-video меняет в вашем процессе

Генерация видео только по тексту требует, чтобы модель создавала субъект с нуля по описанию, а значит, каждый запуск может давать разные лица, одежду или форму продукта. reference-to-video работает наоборот: вы предоставляете одно или несколько изображений, и модель использует их как визуальный эталон того, что появляется в кадре. Промпт перестаёт быть заявкой на подбор актёров и становится режиссёрским листом указаний.

В процессе создания коротких видео это меняет акцент работы. При генерации только по тексту вы в основном итерируете формулировки. При использовании happyhorse-1.1/reference-to-video вы сначала итерируете набор референсных изображений, и только затем промпт. Если субъект выглядит неправильно, решение обычно в том, чтобы заменить изображение на лучшее или изменить их порядок, а не нагромождать более длинные списки прилагательных.

Где это встраивается

Типичный цикл выглядит примерно так:

1. Соберите и отберите небольшой набор референсных изображений субъекта и сцены.
2. Упорядочьте их по важности (подробнее в следующем разделе).
3. Напишите промпт с упорядоченными по планам кадрами, явно задав стабильные свойства и темп.
4. Сгенерируйте, сравните с референсами и решите, менять изображения или текст.

Реальная выгода — согласованность серийного контента. Если вы делаете несколько видео с одним и тем же персонажем, продуктом или талисманом, именно стабильный набор референсов позволяет третьему эпизоду выглядеть так же, как первый. Ведите изображения как версионируемые активы в репозитории, а не как одноразовые загрузки.

Организация набора референсов

Модель читает ваши изображения как сигнал с приоритетами. Порядок и отбор сами по себе являются частью промпта, поэтому принимайте решения осознанно.

Выберите одно основное изображение субъекта

Первое изображение должно быть самым чётким и репрезентативным видом субъекта: фронтально, с хорошим светом, без перекрытий и без отвлекающих деталей на фоне. Это изображение закрепляет идентичность. Остальные изображения — вторичная информация.

Добавляйте второй ракурс только при реальной пользе

Второе изображение полезно, когда оно устраняет неоднозначность, которую не может устранить первое, — например, вид в профиль, иное состояние одежды или обратная сторона продукта. Оно вредно, когда вносит конфликтующие детали, например две причёски или два логотипа. Если вы не хотите, чтобы модель усреднила оба варианта, не добавляйте два одновременно.

Отделяйте субъект от окружения

Если сцена важна, добавьте референс окружения, показывающий обстановку, но не конкурирующий за внимание с субъектом. Сделайте его визуально явно отличным от изображения субъекта, чтобы модель не смешала их.

Простое правило упорядочивания

• Позиция 1: основной субъект, чистый и каноничный.
• Позиция 2: вторичный ракурс субъекта, только при необходимости.
• Позиция 3 и далее: референсы окружения или стилизации.

Правила, которые экономят итерации

• Держите набор референсов небольшим и внутренне согласованным.
• Избегайте изображений, где субъект слишком мал, странно обрезан или перегружен фильтрами.
• По возможности выравнивайте соотношения сторон; сильно различающиеся композиции затрудняют модели согласование разных ракурсов.
• Называйте файлы по роли (subject-primary.png, scene-street.png), чтобы команда относилась к ним как к набору ассетов.

Если сомневаетесь, удалите изображение, а не добавляйте.

Написание промптов, сохраняющих согласованность субъекта

Дрейф идентичности обычно возникает из-за расплывчатых формулировок. Общие описания вроде «человек» или «модный наряд» дают модели пространство для импровизации. Решение — явно прописать стабильные, наблюдаемые свойства и сохранять их неизменными от предложения к предложению.

Укажите, что не должно меняться

Перечислите свойства, определяющие субъект: цвет и покрой одежды, причёску, характерные аксессуары, форму продукта, расположение логотипа. Повторяйте ключевые пункты в каждом описании плана, а не полагайтесь на непрерывность.

Разделите «заблокированное» и «изменяемое»

Мысленно разделите промпт на две части: заблокированные свойства субъекта, затем действие и камера для каждого плана. Так легко заметить, когда вы случайно ввели противоречие — например, в первом плане красная куртка, а в третьем серая.

Работающие шаблоны формулировок

• Сначала якорь: начните с субъекта и его заблокированных свойств, затем описывайте движение.
• Единообразие существительных: если на референсе тренч, называйте его тренчем каждый раз, а не «курткой» в одном месте и «пальто» в другом.
• Конкретика важнее оценки: «тёмные короткие волосы с косым пробором» лучше, чем «красивые волосы».
• Указывайте, что сохраняется в движении: «пальто сохраняет исходную форму, когда субъект поворачивается» полезнее, чем надежда, что модель догадается сама.
• Не нагромождайте синонимы: накопление прилагательных размывает сигнал.

Быстрое сравнение

Слабее: «Стильная женщина идёт по улице, кинематографично».

Сильнее: «Женщина с референса — тёмные короткие волосы с косым пробором, бежевый тренч, чёрные ботинки — идёт к камере ровным шагом; пальто и ботинки остаются неизменными на протяжении всего видео».

Вторая версия даёт модели контрольный список, а не атмосферу.

Управление камерой и темпом в одном промпте

Короткие видео держатся на темпе. Одно статичное описание создаёт видео без структуры, дрейфующее по воле случая. Пишите промпт как упорядоченную последовательность планов с явными указаниями по темпу.

Организуйте по битам

Опишите от двух до четырёх битов, каждый с состоянием субъекта, действием и пометкой о камере. Каждый бит держите кратким. Модель лучше обрабатывает чёткую последовательность из трёх битов, чем один длинный абзац.

Задавайте темп явно

Слова о темпе весомы: «быстрая смена», «медленный наезд», «пауза на один такт», «резкий зум», «устойчивая концовка». Сочетайте их с языком камеры (тележка, панорама, ручная камера), чтобы движение и ощущение времени усиливали друг друга.

Шаблон битов

План 1 (0-2 с): [субъект + заблокированные свойства] [действие], [движение камеры], [указание по темпу].
План 2 (2-4 с): [изменение состояния субъекта] [действие], [движение камеры], [указание по темпу].
План 3 (4-6 с): [завершающий бит], [стабилизация камеры], [указание по темпу].

Точные таймкоды не нужны, но мышление в секундах заставляет обосновать каждый бит. Если бит не несёт чёткого визуального изменения, удалите его.

Распространённые ошибки темпа

• Слишком много битов в коротком видео — модель вынуждена всё ускорять.
• Отсутствие указаний по камере — плоская, статичная композиция.
• Противоречивые указания по темпу в одной строке («медленно и энергично»).

Прочитайте готовую последовательность вслух и удалите всё, что не меняет содержание кадра.

Компромиссы между разрешением, длительностью и бюджетом

Перед массовой генерацией решите, какой ресурс вы тратите: пиксели, секунды или итерации. Они конкурируют.

Основной компромисс

Более высокое выходное разрешение (например, 1080P) и большая длительность увеличивают стоимость каждой генерации. Поскольку тарификация следует за запрошенным результатом — включая разрешение и длину клипа, — длинное видео в 1080P будет самым дорогим, что вы можете запросить. Для коротких видео вам редко нужно максимизировать оба параметра.

Рабочий порядок решений

1. Сначала зафиксируйте длительность. Короткое видео обычно означает узкое временное окно. Зафиксируйте длину, нужную платформе, и считайте всё остальное настраиваемым.
2. Выбирайте разрешение по цели доставки. Если клип всё равно будет сжиматься в ленте, более низкое разрешение может быть разумным значением по умолчанию и позволит потратить бюджет на большее число попыток.
3. Тратьте бюджет на итерации, а не только на результат. Видео чуть ниже разрешением, которое можно сгенерировать трижды и выбрать лучшее, часто побеждает одну дорогую попытку без возможности пересъёмки.

Практические советы

• Сначала прототипируйте в более низком разрешении, проверяя промпт и набор референсов.
• Поднимайте до 1080P только после того, как последовательность планов и согласованность идентичности пройдены.
• Будьте честны с длительностью: компактное короткое видео с чёткими битами смотрится лучше, чем длинное с наполнителем.

Смотрите актуальную панель цен для точных тарифов; цифры меняются и не должны жёстко прописываться в скриптах. При построении запросов делайте разрешение и длительность переключаемыми параметрами, а не константами, закопанными в коде.

Рабочий запрос и библиотека рецептов промптов

Ниже приведена структура запроса к happyhorse-1.1/reference-to-video через HiAPI API, а затем — готовые к копированию рецепты промптов, соответствующие описанному процессу. Имена параметров могут немного различаться в зависимости от версии SDK; актуальную схему смотрите на странице модели.

Структура запроса

import os, requests

resp = requests.post(
    "https://api.hiapi.ai/v1/video/generations",
    headers={"Authorization": f"Bearer {os.environ['HIAPI_API_KEY']}"},
    json={
        "model": "happyhorse-1.1/reference-to-video",
        "reference_images": [
            "https://your-cdn.example/subject-primary.png",
            "https://your-cdn.example/subject-angle.png",
            "https://your-cdn.example/scene-street.png",
        ],
        "prompt": "...текст рецепта...",
        "resolution": "1080P",
        "duration": 6,
    },
)
print(resp.json())

Держите референсные изображения на стабильных URL и упорядочивайте их, как описано выше: основной субъект, вторичный ракурс, окружение.

Рецепт 1: продуктовый кей-вижуал, один бит

Продукт с референса — матовый чёрный флакон, медная крышка, этикетка спереди — расположен по центру на каменной поверхности. Медленный наезд на этикетку, мягкий студийный свет, без склеек. Флакон и крышка сохраняют точную форму и цвет на протяжении всего видео.

Рецепт 2: идущий человек, три бита

План 1 (0-2 с): женщина с референса — тёмные короткие волосы с косым пробором, бежевый тренч, чёрные ботинки — идёт к камере, средний план, стабильная ручная камера, бодрый шаг.
План 2 (2-4 с): быстрая смена на профиль; тренч развевается, когда она поворачивается, камера следует сбоку, тот же бодрый темп.
План 3 (4-6 с): она останавливается лицом вперёд, камера стабилизируется в медленном наезде, спокойная концовка. Волосы, тренч и ботинки остаются неизменными во всех планах.

Рецепт 3: открывающий кадр с окружением

План 1 (0-2 с): широкий план улицы с референса окружения, утренний свет, медленная панорама влево.
План 2 (2-4 с): субъект с референса входит в кадр справа — та же куртка и сумка — камера неподвижна, естественный темп.
План 3 (4-6 с): сжатие до среднего плана, она смотрит в камеру; куртка и сумка точно соответствуют референсу.

Длительность и разрешение можно настраивать для каждого клипа без изменения текста промпта. В документации есть отдельное руководство с полными примерами.

Проверка результата и итерации

Именно на этапе проверки происходит большая часть повышения качества, и ключевая дисциплина — определить, с каким типом проблемы вы столкнулись.

Оценивайте относительно референсов, а не по памяти

Держите набор референсов открытым рядом с результатом. Проверяйте свойства идентичности по пунктам: лицо и волосы, цвет и покрой одежды, форма продукта, расположение логотипа. Дрейф, который вы можете назвать, — это дрейф, который вы можете исправить.

Разделите неудачи на две категории

• Проблемы идентичности или внешнего вида обычно означают слабый, несогласованный или неправильно упорядоченный набор референсов. Сначала исправьте изображения; более усердное написание промпта редко спасает самопротиворечивый набор референсов.
• Проблемы композиции, движения или темпа обычно означают, что промпт нужно доработать: более чёткие биты, более сильные пометки о камере, более компактная длительность.

Короткий цикл проверки

1. Отдельно оцените идентичность, композицию и темп.
2. Если идентичность не проходит, сначала скорректируйте референсные изображения, затем промпт.
3. Если темп не проходит, перепишите последовательность битов и удалите один бит.
4. На каждой итерации меняйте только одну переменную, чтобы понимать, что сработало.
5. Как только результат стабилен в более низком разрешении, поднимите до 1080P для финальной версии.

Для каждого принятого клипа ведите краткий журнал версий промпта и набора референсов. В рамках серии этот журнал становится вашей настоящей библиотекой рецептов: надёжные промпты, надёжные изображения, предсказуемый результат. Итерируйте по набору референсов и тексту, остальное предоставьте модели.