Usar happyhorse-1.1/reference-to-video pela API HiAPI: receitas de prompts e fluxo de trabalho para vídeos curtos

O que o reference-to-video muda no seu fluxo de trabalho

A geração de vídeo apenas com texto exige que o modelo crie o sujeito do zero a partir da descrição, o que significa que cada execução pode gerar rostos, roupas ou formas de produto diferentes. O reference-to-video é o oposto: você fornece uma ou mais imagens e o modelo as trata como referência visual do que aparece no quadro. O prompt deixa de ser uma exigência de elenco e passa a ser uma folha de instruções de direção.

Em fluxos de vídeos curtos, isso desloca o foco do trabalho. Com geração apenas por texto, você itera principalmente na formulação. Com happyhorse-1.1/reference-to-video, você primeiro itera no conjunto de imagens de referência e só depois no prompt. Se o sujeito parecer errado, a solução normalmente é trocar por uma imagem melhor ou ajustar a ordem das imagens, não empilhar listas mais longas de adjetivos.

Onde ele se encaixa

Um ciclo típico é mais ou menos assim:

1. Reunir e selecionar um pequeno conjunto de imagens de referência para o sujeito e o cenário.
2. Ordená-las por importância (a próxima seção detalha isso).
3. Escrever um prompt ordenado por tomadas, especificando atributos estáveis e ritmo.
4. Gerar, revisar em comparação com as imagens de referência e então decidir se muda as imagens ou o texto.

O ganho real está na consistência de uma série de conteúdo. Se você vai produzir vários vídeos com o mesmo personagem, produto ou mascote, um conjunto de referência estável é justamente o que faz o terceiro episódio ainda parecer o primeiro. Gerencie as imagens como ativos versionados no repositório, e não como uploads descartáveis.

Organizar seu conjunto de imagens de referência

O modelo lê suas imagens como um sinal com prioridade. A ordenação e a seleção já fazem parte do prompt, então decida isso de forma deliberada.

Escolha uma imagem principal do sujeito

A primeira imagem deve ser a visão mais clara e representativa do sujeito: de frente, bem iluminada, sem obstruções e com um fundo sem distrações. Essa imagem ancora a identidade. As demais são informações secundárias.

Só adicione um segundo ângulo quando ele realmente agregar

Uma segunda imagem é útil quando resolve uma ambiguidade que a primeira não elimina — por exemplo, uma visão lateral, um estado diferente da roupa ou a parte de trás de um produto. Ela é prejudicial quando introduz detalhes conflitantes, como dois penteados ou dois logotipos. Se você não quer que o modelo faça uma média entre os dois, não coloque ambos.

Separe o sujeito do ambiente

Se o cenário for importante, inclua uma imagem de referência do ambiente que mostre o local sem disputar a atenção com o sujeito. Deixe-a visualmente bem distinta da imagem do sujeito, para que o modelo não as misture.

Uma regra de ordenação simples

• Posição 1: sujeito principal, limpo e padronizado.
• Posição 2: ângulo secundário do sujeito, incluído apenas se necessário.
• Posição 3 em diante: referências de ambiente ou de estilo.

Normas que economizam várias iterações

• Mantenha o conjunto de referência pequeno e internamente consistente.
• Evite imagens com o sujeito muito pequeno, cortes estranhos ou filtros excessivos.
• Padronize a proporção sempre que possível; composições com proporções muito diferentes dificultam o modelo a conciliar as visões.
• Nomeie os arquivos por função (subject-primary.png, scene-street.png) para que a equipe os trate como um conjunto de materiais.

Na dúvida, remova uma imagem em vez de adicionar outra.

Escrever prompts que mantêm a consistência do sujeito

O desvio de identidade geralmente vem de formulações vagas. Descrições genéricas como "uma pessoa" ou "uma roupa estilosa" dão espaço para o modelo improvisar. A solução é declarar explicitamente atributos estáveis e observáveis, mantendo-os inalterados entre as frases.

Indique o que não deve mudar

Liste os atributos que definem o sujeito: cor e caimento da roupa, penteado, acessórios característicos, forma do produto, posição do logotipo. Repita os itens-chave em cada descrição de tomada, em vez de presumir continuidade.

Distinga o "fixo" do "variável"

Divida o prompt mentalmente em duas partes: os atributos fixos do sujeito e, depois, a ação e a câmera de cada tomada. Assim fica fácil perceber quando você introduziu uma contradição sem querer, como uma jaqueta vermelha na primeira tomada e uma jaqueta cinza na terceira.

Padrões de formulação eficazes

• Ancore primeiro: comece pelo sujeito e seus atributos fixos, depois descreva o movimento.
• Mantenha os substantivos consistentes: se a imagem de referência mostra um sobretudo, chame-o de sobretudo sempre, em vez de dizer "jaqueta" primeiro e "casaco" depois.
• Específico em vez de avaliativo: "cabelo curto escuro, repartido de lado" é melhor que "cabelo bonito".
• Descreva o que permanece igual durante o movimento: "o sobretudo mantém o caimento original enquanto o sujeito se vira" é mais útil do que esperar que o modelo deduza isso sozinho.
• Evite empilhar sinônimos: acumular adjetivos dilui o sinal.

Uma comparação rápida

Mais fraco: "uma mulher estilosa caminhando na rua, cinematográfico."

Mais forte: "a mulher da imagem de referência — cabelo curto escuro, repartido de lado, sobretudo camel, botas pretas — caminha em direção à câmera com passos firmes; o sobretudo e as botas permanecem consistentes o tempo todo."

A segunda versão entrega ao modelo uma lista de verificação, não uma atmosfera.

Direcionar tomadas e ritmo em um único prompt

Vídeos curtos dependem do ritmo. Uma única descrição estática gera um vídeo sem estrutura, que flutua à deriva. Escreva o prompt como uma sequência ordenada de tomadas, com indicações explícitas de ritmo.

Organize por batidas

Descreva de duas a quatro batidas, cada uma com o estado do sujeito, a ação e uma observação de câmera. Mantenha cada batida curta. O modelo lida melhor com uma sequência clara de três tempos do que com um único parágrafo longo.

Declare o ritmo explicitamente

As palavras de ritmo têm peso: "corte rápido", "aproximação lenta", "pausa de um tempo", "zoom veloz", "encerramento estável". Combine-as com a linguagem de câmera (dolly, pan, câmera na mão) para que o movimento e a sensação de tempo se reforcem mutuamente.

Modelo de batidas

Tomada 1 (0-2 s): [sujeito + atributos fixos] [ação], [movimento de câmera], [indicação de ritmo].
Tomada 2 (2-4 s): [mudança de estado do sujeito] [ação], [movimento de câmera], [indicação de ritmo].
Tomada 3 (4-6 s): [batida de encerramento], [câmera estável], [indicação de ritmo].

Você não precisa de marcas de tempo exatas, mas pensar em segundos força você a justificar cada batida. Se uma batida não tem uma mudança visual clara, elimine-a.

Erros de ritmo comuns

• Colocar batidas demais em um vídeo curto, forçando o modelo a apressar tudo.
• Não dar indicação de câmera, resultando em uma composição sem graça e estática.
• Indicações de ritmo contraditórias na mesma linha ("lento e enérgico").

Depois de escrever a sequência, leia em voz alta e remova qualquer parte que não altere o conteúdo da imagem.

Concessões entre resolução, duração e orçamento

Antes de gerar em lote, decida qual recurso você vai gastar: pixels, segundos ou iterações. Eles competem entre si.

A concessão central

Resoluções de saída mais altas (por exemplo, 1080P) e durações mais longas aumentam o custo de cada geração. Como a cobrança acompanha a saída que você solicita — incluindo resolução e duração do clipe —, um vídeo longo em 1080P é a coisa mais cara que você pode pedir. Para vídeos curtos, raramente você precisa maximizar os dois.

Uma ordem de decisão eficaz

1. Defina a duração primeiro. Vídeos curtos geralmente significam uma janela de tempo compacta. Fixe a duração que a plataforma exige e trate todo o resto como ajustável.
2. Escolha a resolução de acordo com o destino. Se o clipe será comprimido no feed de qualquer forma, uma resolução menor pode ser o padrão mais sensato, além de permitir gastar o orçamento em mais tentativas.
3. Gaste o orçamento em iteração, não só em produção. Um vídeo em resolução um pouco menor, que pode ser gerado três vezes e ter o melhor resultado escolhido, costuma vencer uma tentativa cara que você não pode refazer.

Recomendações práticas

• Prototipe em resolução menor para validar o prompt e o conjunto de referência.
• Só faça upgrade para 1080P quando a sequência de tomadas e a consistência de identidade estiverem aprovadas.
• Seja honesto com a duração: um curta compacto e com batidas claras fica melhor do que um longa arrastado e cheio de enchimento.

Consulte o painel de preços atual para as tarifas exatas; os números mudam e não devem ser fixados no código. Ao montar a requisição, torne resolução e duração parâmetros alternáveis, em vez de constantes enterradas no código.

Requisição executável e biblioteca de receitas de prompts

A seguir está a estrutura de requisição para chamar happyhorse-1.1/reference-to-video pela API HiAPI, seguida de receitas de prompts prontas para copiar que acompanham o fluxo de trabalho descrito. Os nomes dos parâmetros podem variar ligeiramente conforme a versão do SDK; consulte a página do modelo para o schema canônico.

Estrutura da requisição

import os, requests

resp = requests.post(
    "https://api.hiapi.ai/v1/video/generations",
    headers={"Authorization": f"Bearer {os.environ['HIAPI_API_KEY']}"},
    json={
        "model": "happyhorse-1.1/reference-to-video",
        "reference_images": [
            "https://your-cdn.example/subject-primary.png",
            "https://your-cdn.example/subject-angle.png",
            "https://your-cdn.example/scene-street.png",
        ],
        "prompt": "...texto da receita...",
        "resolution": "1080P",
        "duration": 6,
    },
)
print(resp.json())

Mantenha as imagens de referência em URLs estáveis e na ordem descrita: sujeito principal, ângulo secundário, ambiente.

Receita 1: visual principal de produto, batida única

O produto da imagem de referência — frasco preto fosco, tampa cor de cobre, rótulo frontal — centralizado sobre uma superfície de pedra. Aproximação lenta até o rótulo, iluminação suave de estúdio, sem cortes. O frasco e a tampa mantêm a forma e a cor exatas o tempo todo.

Receita 2: pessoa caminhando, três batidas

Tomada 1 (0-2 s): a mulher da imagem de referência — cabelo curto escuro, repartido de lado, sobretudo camel, botas pretas — caminha em direção à câmera, plano médio, câmera na mão estável, passos leves.
Tomada 2 (2-4 s): corte rápido para o perfil; o sobretudo balança enquanto ela se vira, câmera acompanha lateralmente, mesmo ritmo leve.
Tomada 3 (4-6 s): ela para e fica de frente, a câmera se estabiliza em uma aproximação lenta, encerramento tranquilo. Cabelo, sobretudo e botas permanecem consistentes em todas as tomadas.

Receita 3: abertura guiada pelo ambiente

Tomada 1 (0-2 s): plano aberto da rua da imagem de referência do ambiente, luz da manhã, pan lento para a esquerda.
Tomada 2 (2-4 s): o sujeito da imagem de referência entra pelo lado direito do quadro — mesma jaqueta e mesma bolsa — câmera parada, ritmo natural.
Tomada 3 (4-6 s): fecha em um plano médio, ela olha para a câmera; a jaqueta e a bolsa correspondem exatamente à imagem de referência.

É possível ajustar duração e resolução por clipe sem alterar o texto do prompt. A documentação oferece um guia dedicado com exemplos completos.

Revisar a saída e iterar

A revisão é onde ocorre a maior parte da melhoria de qualidade, e a disciplina essencial é identificar que tipo de problema você está enfrentando.

Avalie em comparação com as referências, não de memória

Deixe o conjunto de referência aberto ao lado da saída. Verifique item por item os atributos de identidade: rosto e cabelo, cor e caimento da roupa, forma do produto, posição do logotipo. Um desvio que você consegue nomear é um desvio que você consegue corrigir.

Divida as falhas em duas categorias

• Problemas de identidade ou aparência geralmente significam um conjunto de referência fraco, inconsistente ou mal ordenado. Corrija as imagens primeiro; escrever o prompt com mais força raramente salva um conjunto de referência contraditório.
• Problemas de composição, movimento ou ritmo geralmente significam que o prompt precisa melhorar: batidas mais claras, observações de câmera mais fortes, duração mais compacta.

Um ciclo de revisão curto

1. Avalie separadamente identidade, composição e ritmo.
2. Se a identidade não passar, ajuste as imagens de referência antes de mexer no prompt.
3. Se o ritmo não passar, reescreva a sequência de batidas e remova uma batida.
4. Mude apenas uma variável por iteração, para saber o que funcionou.
5. Depois de estabilizar em resolução menor, faça o upgrade para 1080P na versão final.

Mantenha um breve registro da versão do prompt e da versão do conjunto de referência para cada clipe aprovado. Em uma série, esse registro se torna sua verdadeira biblioteca de receitas: prompts confiáveis, imagens confiáveis, resultados previsíveis. Itere nas imagens de referência e no texto, e deixe o resto com o modelo.