사용 가이드
Kling 3.0 Omni 이미지-투-비디오 프롬프트 레시피: 개발자를 위한 복사-붙여넣기 템플릿
시작/종료 프레임 구조, 카메라 움직임 표현, 네이티브 오디오 단서, 안정성 네거티브 목록 — 실제 생성된 클립 포함
이 페이지에서
프롬프트 구조가 길이보다 중요한 이유
대부분의 이미지-투-비디오 프롬프트가 실패하는 이유는 너무 짧아서가 아니라 순서가 없기 때문입니다. 주체 설명, 카메라 의도, 오디오 분위기, 수정 지시가 뒤섞인 텍스트는 모델에게 텍스트에서 운동으로 가는 결정적인 매핑을 제공하지 못합니다. 생성된 클립이 잘못되면 어느 문장이 원인인지 판단할 수 없고, 따라서 고칠 수 없으며 다시 뽑는 수밖에 없습니다.
실용적인 해결책은 섹션 규율입니다. 프롬프트를 항상 같은 순서로 배열된 고정된 다섯 블록의 계약으로 취급하세요:
- 프레임 앵커 — 어느 이미지가 시작 프레임이고 어느 것이 종료 프레임인지, 그리고 이 바인딩이 얼마나 엄격한지.
- 주체 — 화면에 누가 또는 무엇이 있는지, 그리고 전환 중 변하지 않아야 할 정체성 세부사항.
- 운동 — 두 프레임 사이에 물리적으로 무엇이 변하는지, 소박한 시간적 표현으로.
- 카메라 — 시점이 어떻게 움직이는지(또는 명시적으로 정지 유지되는지).
- 오디오 + 네거티브 — 네이티브 사운드 단서, 그리고 억제해야 할 실패 모드.
이 순서는 모델이 제약을 해석하는 방식과 일치합니다: 먼저 프레임을 고정하고, 다음 무엇이 움직이는지 결정하고, 그다음 관객이 어디에 서 있는지 정하고, 마지막으로 비시각적 출력을 채웁니다. 오디오와 네거티브를 마지막에 두면 사운드나 수정에 관한 지시가 시각적 추론을 방해하지 않습니다.
엔지니어링 팀에게 보상은 재현성입니다. 안정적인 뼈대는 두 프롬프트 버전 사이의 diff가 읽기 쉬워진다는 뜻입니다: 전체 블록이 아니라 카메라 줄을 바꾼 것입니다. 또한 프롬프트가 산문이 아니라 파라미터가 된다는 뜻이기도 합니다 — 파이프라인에서 템플릿화하고 버전 관리하고 A/B 테스트할 수 있으며, 이것이 바로 다음 장에서 구축할 방향입니다.
길이는 증상이지 지렛대가 아닙니다. 고정된 순서로 쓰인 60단어 프롬프트가 형용사를 앞에 쌓아 놓은 200단어 문단을 이깁니다. 먼저 기존의 모든 프롬프트를 이 다섯 슬롯에 압축하고, 슬롯에 들어가지 않는 것은 삭제하세요.
기본 레시피: 바로 복사-붙여넣기 가능한 프롬프트 뼈대
다음은 표준 뼈대입니다. 붙여넣고 대괄호 내용을 채우고, 정말 필요 없는 슬롯은 삭제하되 순서는 유지하세요.
[FRAME ANCHOR]
Start frame: the provided image, preserved exactly.
End frame: [describe end state, or "none — open-ended continuation"].
Transition: [smooth continuous | single cut-free motion | holds start pose].
[SUBJECT]
[Subject identity + 2-3 invariant details that must not change].
[MOTION]
[What moves, direction, and how far — one sentence per moving element].
[CAMERA]
[Static locked-off shot | slow push-in | left-to-right pan | gentle orbit].
Pace: [slow and even | builds to a faster finish].
[AUDIO]
Ambience: [environment sound].
Music: [feel, not genre-name dropping].
Sync: [what the audio should land on].
[NEGATIVE]
flicker, morphing, warping text, extra limbs, identity drift
채워 넣은 예시 — 창턱 위 도자기 컵 제품 샷:
[FRAME ANCHOR]
Start frame: the provided image, preserved exactly.
End frame: same cup, steam gone, light shifted warmer.
Transition: smooth continuous motion, no cuts.
[SUBJECT]
Matte white ceramic cup, thin dark rim, wooden windowsill.
[MOTION]
Steam thins and disappears over the shot; curtain edge drifts slightly.
[CAMERA]
Static locked-off shot, very slow push-in.
Pace: slow and even.
[AUDIO]
Ambience: quiet room tone, faint birds outside.
Music: soft, sparse, low volume.
Sync: birds chirp as steam vanishes.
[NEGATIVE]
flicker, morphing, warping text, extra limbs, identity drift
kling-3.0-omni/image-to-video로 실행하면 컵은 끝까지 컵으로 남고, 변화는 명확히 식별 가능하며, 오디오는 경쟁하지 않고 뒷받침하는 클립이 생성됩니다. 효과가 있는 이유는 각 절이 한 가지만 하기 때문입니다: 앵커는 기하학을 제약하고, 주체는 정체성을 보호하며, 운동은 유일하게 허용된 변화이고, 카메라는 암시가 아닌 명시적으로 선언되며, 네거티브는 독립적인 게이트로 처리됩니다.
두 가지 습관을 유지하세요: 운동을 시간 순서로 쓰고("엷어지고, 그다음 사라진다"), 카메라와 주체가 서로 싸우도록 두지 마세요 — 주체가 왼쪽으로 걸어가면 화면이 불안정해지길 원하지 않는 한 동시에 왼쪽으로 빠르게 궤도 회전하지 마세요.
슬롯 규율
각 슬롯은 자기 관심사만 담아야 합니다. "카메라가 천천히 다가가면서 컵의 증기가 새로 변한다"라고 쓰고 있다면 카메라와 운동을 하나의 절로 합친 것이며, 어느 한쪽도 독립적으로 조정할 능력을 잃은 것입니다. 분리하세요.
시작 프레임과 종료 프레임 레시피
두 프레임을 사용하는 이미지-투-비디오는 생성 문제가 아니라 보간 문제입니다. 모델의 일은 두 고정 상태 사이에서 그럴듯한 경로를 찾는 것입니다. 프롬프트가 전환이 아닌 장면을 묘사할 때 여기서 실패합니다 — 모델이 이후 내용을 재해석하고 종점이 드리프트합니다.
레시피: 엄격한 엔드포인트, 최소한의 발명
두 프레임이 모두 존재하고 모델이 문자 그대로 연결하길 원할 때 사용하세요.
Start frame: provided image, preserved exactly.
End frame: provided image, preserved exactly.
The clip must begin on the start frame and end on the end frame.
Do not introduce new subjects or objects. Only intermediate motion.
Transition: continuous, no cuts, no scene change.
Motion: [the single physical change that carries start to end].
Camera: static locked-off shot.
핵심 문장은 중간 운동만입니다. 엔드포인트가 제안이 아니라 제약임을 모델에게 알려줍니다. 정적 카메라를 선언하면 또 하나의 자유도가 제거되어 보간이 훨씬 안정적이 됩니다.
레시피: 개방형 연속
시작 프레임만 있고 자연스러운 연장을 원할 때 사용하세요.
Start frame: provided image, preserved exactly.
End frame: none — open-ended continuation of the same scene.
Transition: continuous motion, same location, same lighting.
Motion: [primary action], resolving within the clip length.
Camera: [declared move].
Negative: scene change, new location, new characters.
종료 이미지가 없을 때 종료 상태 묘사하기
종료 프레임이 없지만 방향성 있는 결과를 원한다면 종료 상태를 사건이 아닌 외관 용어로 묘사하세요: "액체가 더 이상 흐르지 않고 정지해 있다", "문이 완전히 열려 있다", "증기가 사라졌다". 외관 상태는 시각적으로 검증 가능하고, 사건 묘사("캐릭터가 떠나기로 결정한다")는 모델이 연출을 발명하도록 유도합니다.
대부분의 엔드포인트 실패를 막는 두 가지 규칙:
- 시작 프레임의 영속성을 명시적으로 선언하세요. "정확히 보존"이 "이미지를 참조로 사용"보다 강합니다.
- 전환 수를 하나로 유지하세요. 두 가지가 변해야 한다면 하나가 앞서고 다른 하나가 뒤따르도록 순서대로 쓰세요. 경쟁하는 전환은 장면 전환으로 읽히고 모델은 보간 대신 재생성합니다.
카메라 움직임과 속도 표현
모호한 프롬프트가 가장 자주 무작위 드리프트로 붕괴하는 지점입니다. 해결책은 각 샷에 운동을 이름 붙이고, 대상에 이름 붙이고, 속도에 이름 붙이는 것입니다 — 세 단어.
명확하게 매핑되는 운동
- 푸시인 — "slow push-in toward [subject], centered." 예측 가능하며 제품과 인물 공개에 적합합니다.
- 풀백 — "slow pull-back revealing [context]." 시작 프레임이 디테일일 때 사용하세요.
- 팬 — "left-to-right pan across [scene], constant speed." 항상 방향과 일정함을 명시하세요.
- 틸트 — "gentle tilt up from [lower element] to [upper element]."
- 궤도 — "slow orbit around [subject], subject stays centered." 궤도가 가장 실패하기 쉽습니다; 중심 유지 절이 주체가 화면 밖으로 미끄러지는 것을 막습니다.
- 정지 — "static locked-off shot, no camera movement." 당연하다고 생각해도 쓰세요.
검증 불가능한 숫자 없이 속도 표현하기
프레임 수를 추측할 필요는 없습니다. 박자에 매핑되는 부사로 속도를 묘사하세요: 천천히 그리고 고르게, 꾸준히, 점차 빨라지며 마무리, 마지막 순간에 안정됨. 이것들은 가속과 감속으로 변환되어 짧은 비디오 박자에 맞으면서 측정 불가능한 시점을 약속하지 않아도 됩니다.
짧은 비디오 리듬의 경우 신뢰할 수 있는 패턴은 클립당 하나의 카메라 운동입니다. 푸시인이 팬으로 변하고 다시 궤도로 변하면 하나의 샷이 아니라 데모 릴처럼 읽힙니다. 두 번째 운동이 필요하면 순서대로 배열하세요: "먼저 천천히 다가간 다음 잠시 유지."
카메라와 주체를 독립적으로 유지하기
프롬프트에서 항상 별도 줄로 쓰세요:
Camera: slow push-in toward the subject.
Pace: slow and even.
Motion: the subject turns slightly toward the camera.
세 줄, 세 가지 관심사. "카메라가 다가가면서 주체가 돌아선다"처럼 합치면 다른 쪽을 방해하지 않고 한쪽을 바꿀 능력을 잃고, 작은 편집이 크고 예측 불가능한 변동을 낳습니다.
마지막으로, 중요할 때 샷 크기를 선언하세요: "medium shot", "close-up", "wide establishing shot". 샷 크기는 모델이 클립 중간에 구도를 재구성하는 것을 막는 저렴한 제약입니다.
네이티브 오디오 프롬프트
kling-3.0-omni/image-to-video는 화면과 함께 네이티브 오디오를 생성합니다. 가장 흔한 실수는 오디오 묘사를 운동 문장에 섞어 오디오 단서가 시각적 지시로 읽히게 하는 것입니다. 오디오를 자체 블록에 두고 사운드 용어로만 쓰세요.
세 슬롯, 항상 이 순서
Ambience: [continuous environment sound].
Music: [feel and density, not track names].
Sync: [what the audio should land on].
앰비언스는 바닥 레이어입니다: 방 배경음, 바람 소리, 거리 웅웅거림, 물소리. 돋보이게 하고 싶지 않다면 연속적이고 낮은 레벨로 묘사하세요.
음악은 느낌과 밀도로 묘사해야 합니다 — "稀疏而轻柔"에 해당하는 "드문드문하고 부드럽게", "꾸준한 낮은 펄스", "밝고 가볍게". 장르를 명명하는 것은 질감 묘사보다 약합니다, 모델이 구절을 사운드 구성에 매핑해야 하기 때문입니다; 형용사가 태그보다 일관되게 매핑됩니다.
싱크는 시간적 다리입니다. 하나의 시각적 사건과 그 위에 떨어져야 할 사운드를 명명하세요: "뚜껑이 닫힐 때 작은 소리", "증기가 사라질 때 새소리". 클립당 한두 개의 싱크 포인트면 충분합니다. 그 이상이면 오디오가 분주해지고 화면도 각 단서에 맞추도록 끌려갑니다.
효과적인 단서
- 시작: "사운드가 운동과 함께 시작" — 컷인 클립에 적합.
- 페이드아웃: "앰비언스가 끝에서 페이드아웃" — 갑작스러운 절단을 방지.
- 강조: "[물체]가 떨어질 때 부드러운 충돌음".
- 절제: "음악 없음, 앰비언스만" — 합법적이고 종종 더 나은 선택.
충돌 없이 섞기
앰비언스와 음악이 동시에 존재한다면 그 관계를 한 번 선언하세요: "앰비언스는 낮게, 음악은 그 아래에." 이는 한 절을 소비하고 두 바닥 레이어가 싸우는 것을 막습니다.
한 가지 경고: 의성어나 음향 효과 이름으로 오디오를 묘사하지 마세요. "Whoosh"와 "ding"은 문맥에 따라 모호합니다. 대신 출처와 특성을 묘사하세요 — "천이 들릴 때 작고 부드러운 퍼프 소리". 오디오 블록은 만화가 아니라 사운드 디자이너의 메모처럼 읽혀야 합니다.
안정성 네거티브 목록
네거티브는 수리 레이어이지 창의적 도구가 아닙니다. 짧고, 표적화되고, 복사-붙여넣기 가능하게 유지하세요. 다음은 기본 목록이고, 그다음은 각 단어가 겨냥하는 실패 모드입니다.
flicker, morphing, warping text, extra limbs, identity drift,
scene change, jitter, frame tearing, duplicated objects
실패 모드 → 용어
- 프레임 간 밝기 깜빡임 →
flicker - 물체가 프레임 간 녹거나 융합 →
morphing - 간판과 자막 왜곡 →
warping text - 손과 사지의 증식 또는 붕괴 →
extra limbs - 얼굴이나 제품 정체성이 클립 중간에 변함 →
identity drift - 배경이 새로운 장소로 재생성됨 →
scene change - 정적이어야 할 샷에 미세한 흔들림 →
jitter - 프레임 경계에 가장자리 아티팩트 →
frame tearing - 모션 블러로 인한 중복 물체 출현 →
duplicated objects
조건부 네거티브
실패가 실제로 발생할 때만 추가하세요 — 너무 긴 네거티브 목록은 각 단어의 효과를 희석합니다:
- 텍스트가 많은 프레임:
illegible text, scrambled letters - 제품 샷:
shape distortion, color shift - 인물:
asymmetric face, warped eyes - 슬로우 모션:
sudden motion, pop-in
목록을 체크리스트로 사용하기
프롬프트 액세서리가 아니라 비행 전 점검으로 취급하세요. 작업 배치를 실행하기 전에 장면이 어떤 실패 모드에 노출되는지 물으세요. 정적 제품 샷은 깜빡임과 형태 왜곡 가드레일이 필요합니다; 움직이는 주체는 정체성 드리프트와 사지 용어가 필요합니다; 텍스트가 있는 프레임은 텍스트 용어가 필요합니다. 나머지 모든 것에는 기본 목록을 사용하세요.
클립이 실패하면 한 번에 한 가지만 바꾸세요 — 네거티브를 하나 추가하거나 운동 줄 하나를 조이거나 — 그리고 다시 실행하세요. 네거티브 다섯 개를 한꺼번에 편집하면 어느 것이 효과가 있었는지 알 수 없습니다.
레시피를 API 파이프라인에 맞추기
노트북에 사는 프롬프트는 확장되지 않습니다. 마지막 단계는 뼈대를 변수가 있는 템플릿 문자열로 바꿔 레시피가 HiAPI API를 통해 버전 관리되고 검토되고 일괄 실행되도록 하는 것입니다.
뼈대를 템플릿화하기
PROMPT = """[FRAME ANCHOR]
Start frame: the provided image, preserved exactly.
End frame: {end_frame}.
Transition: {transition}.
[SUBJECT]
{subject}
[MOTION]
{motion}
[CAMERA]
{camera}
Pace: {pace}.
[AUDIO]
Ambience: {ambience}.
Music: {music}.
Sync: {sync}.
[NEGATIVE]
{negatives}
"""
각 변수는 레시피의 한 슬롯입니다. 템플릿 자체는 절대 변하지 않습니다 — 변수만 변합니다 — 이는 프롬프트 diff가 한 줄의 diff이고 회귀가 특정 슬롯으로 추적 가능하다는 뜻입니다.
레시피를 데이터로 저장하기
각 레시피를 이름과 버전이 있는 사전으로 저장하세요:
recipes = {
"product-static-v2": {
"end_frame": "none — open-ended continuation",
"subject": "matte white ceramic cup, thin dark rim",
"motion": "steam thins and disappears",
"camera": "static locked-off shot, very slow push-in",
"pace": "slow and even",
"ambience": "quiet room tone, faint birds",
"music": "soft, sparse, low volume",
"sync": "birds chirp as steam vanishes",
"negatives": "flicker, morphing, warping text, extra limbs, identity drift",
}
}
버전 이름은 숫자만이 아니라 의미 있어야 합니다 — product-static-v2는 무엇이 바뀌었는지 알려주고, v2는 알려주지 않습니다. 새로운 실패가 나타나면 제자리에서 편집하지 말고 새 버전을 추가하세요, 그래야 이전 출력이 재현 가능하게 유지됩니다.
배치 규율
- 조정 중에는 한 번에 하나의 변수만 렌더링하세요. 레시피가 안정된 후에만 일괄 실행하세요.
- 매 출력마다 채워진 프롬프트 문자열을 기록하세요. 없으면 나쁜 클립의 원인을 귀속시킬 수 없습니다.
- 공유 네거티브 기반을 유지하고 레시피가 그것을 확장하게 하세요, 절대 교체하지 마세요.
API가 적용되는 지점
레시피 구조는 모델을 향하므로 HiAPI의 kling-3.0-omni/image-to-video에 그대로 전달될 수 있습니다: 프레임 입력과 렌더링된 프롬프트 문자열을 보내면, 템플릿에서 강제한 섹션 순서가 모델이 보는 섹션 순서가 됩니다. 이것이 뼈대의 전부입니다 — 인간이 읽을 수 있는 문서이자 프로덕션의 정확한 문자열입니다.
레시피 하나로 시작하고, 버전을 만들고, 변수 이름이 말하게 하세요. 엔드포인트 세부사항과 파라미터 이름은 HiAPI API 문서를 참조하세요.