AI로 VFX CG 구현이 실제 가능한 걸 보여드립니다. 런웨이 젠3의 Video-to-Video 기능으로 프롬프트만 입력하면 영상에 CG 효과를 더할 수 있습니다. 영상 자르기, 구조 변화 수치 조절, 프롬프트 작성법까지 실사용 예시로 상세하게 소개합니다!
텍스트만으로 CG를 구현하다!
Runway Gen-3의 ‘비디오 투 비디오(Video-to-Video)’ 기능은 사용자가 레퍼런스 영상(reference video) 을 업로드하고, 여기에 원하는 텍스트 프롬프트(prompt) 를 입력하면 영상에 다양한 시각 효과를 자동으로 적용할 수 있는 최신 AI 기술입니다.
이는 전통적인 VFX(Visual Effects) 작업 방식과는 본질적으로 다릅니다. 기존에는 안개, 불꽃, 홍수, 쓰나미와 같은 CG 효과를 넣기 위해 고도화된 3D 툴, 시뮬레이션, 합성 작업 등 복잡한 과정을 거쳐야 했지만, 이제는 단순히 원하는 효과를 설명하는 텍스트만 입력하면 AI가 해당 장면을 분석하고 그에 맞는 그래픽 효과를 생성해주는 방식입니다.
이 기술은 단순한 자동화 그 이상인데요. 창의적 재해석(Creative Reimagination) 을 가능케 하는, 영상 제작의 패러다임을 전환시킬 강력한 도구라 할 수 있습니다. 말 그대로 텍스트만으로 영상의 분위기와 세계관을 재창조할 수 있는 시대가 열린 것입니다.
이러한 기술은 광고, 영화, 뮤직비디오, 교육 콘텐츠 등 다양한 분야에서 활용될 수 있으며, 직접 테스트해 보면서 자신만의 창작 방식에 어떻게 접목시킬 수 있을지 검토해보는 것이 좋습니다. 제가 직접 테스트한 영상을 유튜브에 올렸으니 마지막에 확인해 보세요.
Runway Gen-3 Video-to-Video 생성 정보 요약
Runway 공식 홈페이지에 따르면, Gen-3 Video-to-Video 기능은 사용자가 업로드한 레퍼런스 영상을 바탕으로 원하는 스타일과 내용을 반영한 영상을 생성할 수 있으며, 이 과정에서 필요한 주요 설정 및 제약 사항은 다음과 같습니다.
- 이용 크레딧
- Gen-3 Alpha: 1초당 10크레딧 소비
- Gen-3 Alpha Turbo: 1초당 5크레딧 소비 (터보 버전은 Alpha에 비해 빠른 속도와 저렴한 크레딧 소비가 특징입니다)
- 생성 가능 시간
- 최대 20초 길이의 영상까지 생성 가능
- 20초를 초과한 부분은 자동으로 잘려 업로드되므로, 원하는 장면은 시간 안에 배치해야 합니다.
- 지원 해상도
- 기본 해상도: 1280×768 (가로형 영상)
- Gen-3 Alpha Turbo는 768×1280 (세로형 영상)도 지원
이처럼 Gen-3의 설정을 정확히 이해하고 활용하면, 효율적인 AI 영상 제작이 가능합니다. 특히 콘텐츠 길이, 해상도, 크레딧 소모량을 고려해 전략적으로 계획을 세우는 것이 중요합니다.
Video-to-Video 생성 방법과 실사용 후기
Video-to-Video는 사용자가 직접 업로드한 영상을 바탕으로 스타일과 효과를 새롭게 재해석해주는 기능으로, Gen-3 Alpha 또는 Gen-3 Alpha Turbo 모델에서만 지원되고 있는데요.
저는 크레딧 효율이 높은 Gen-3 Alpha Turbo 모델을 선택해 테스트해보았습니다. 일단 아래 사진을 먼저 확인해 주세요.
Step-by-Step 사용 가이드
① 영상 불러오기 (Drop an image or video)
가장 먼저, 편집할 영상을 Runway 인터페이스 좌측 영역으로 드래그하거나 "Select asset" 버튼을 클릭해 업로드합니다. 여기서 팁을 드리자면 10초 이하의 짧은 클립일수록 생성 속도와 안정성이 높아집니다.
② 영상 자르기 (Crop video to supported size)
Runway는 출력 비율에 맞춰야만 영상 생성을 지원합니다.
- 가로형은 1280×768 (Landscape)
- 세로형은 768×1280 (Portrait)
원본 영상의 비율에 따라 적절한 방향을 선택하고, 영상의 원하는 영역을 직관적인 UI로 드래그하여 조정할 수 있습니다. 이후 "Crop" 버튼을 클릭하면 자동으로 다음 단계로 이동합니다.
③ 크롭 완료 → 프롬프트 입력 단계로 이동
크롭이 완료되면 영상 프리뷰와 함께 프롬프트 입력 영역이 활성화됩니다. 여기서 영상에 적용할 효과나 스타일을 자연어로 기술할 수 있습니다.
④ 프롬프트 작성 (영문 입력 필수)
AI는 영어로 작성된 지시문(prompt) 을 기반으로 영상을 재구성합니다. 물론 요즘은 한글로 지원되는 툴들로 많이 있는데요. 그래도 아직까지는 영문을 좀 더 정확하게 인식을 합니다. 프롬프트는 다음과 같은 요소를 포함하면 인식률이 높아집니다.
- 등장인물 / 배경 / 움직임
- 분위기 / 카메라 시점 / 조명 효과 등
제가 위에서 작성한 예시 프롬프트를 아래 공유합니다.
A man walks along a dusty desert road, surrounded by a rainbow, a whirlwind, and the desert. The camera follows softly from behind with cinematic lighting.
이 프롬프트는 사막 도로 위 인물의 움직임, 자연 효과, 그리고 시네마틱한 연출을 요청하는 방식입니다.
⑤ 모델 선택 및 출력 길이 설정 후 → Generate
마지막으로 생성 모델과 영상 길이를 설정합니다:
- Turbo: 빠르고 경제적인 모델 (1초당 5크레딧)
- Alpha: 더 정밀한 결과를 제공하는 모델 (1초당 10크레딧)
최대 생성 시간은 20초이며, 초과된 부분은 자동으로 잘려 저장되니 유의하세요. 설정을 마친 뒤 "Generate" 버튼을 누르면 영상이 자동 생성됩니다.
Structure Transformation (영상 스타일 조정)
Runway Gen-3의 Video-to-Video 기능에는 영상 스타일과 구조를 결정짓는 Structure Transformation 슬라이더가 탑재되어 있습니다. 이 조절 기능은 영상의 원본 구조(인물, 구도, 카메라 앵글 등) 를 얼마나 유지할지, 혹은 얼마나 창의적으로 재해석할지를 결정짓는 매우 중요한 요소입니다.
Structure Transformation 수치의 의미
| 수치 범위 | 구조 유지 비율 | 결과의 특징 |
|---|---|---|
| 낮은 수치 (예: 2~4) | 원본 구조 최대한 유지 | 인물 위치, 카메라 앵글, 배경 구성이 거의 그대로 보존 |
| 중간 수치 (예: 5~7) | 균형적 해석 | 원본 구조는 유지되면서, 배경·조명·색감이 창의적으로 바뀜 |
| 높은 수치 (예: 8~10) | 재창조 중심 | 완전히 새로운 분위기와 배경으로 구성되며, 원본과는 전혀 다른 스타일 생성 가능 |
이미지 예시를 통한 비교
실제 실험에서는 같은 원본 영상에 대해 수치값만 다르게 조정하여 어떤 결과가 나오는지 비교해보았습니다.
① Structure Transformation 6 (중간값) – 창의적 스타일 가미
위에 제가 업로드한 캡처 이미지 중 상단의 화면입니다. 인물의 동작과 카메라 앵글은 원본에 가깝게 유지했습니다.
배경은 사막, 무지개, 빛 번짐 효과가 적용되어 환상적인 느낌으로 재해석 되었으며 영상의 맥락은 유지되면서도 시각적 임팩트는 강해졌습니다.
② Structure Transformation 3 (낮은값) – 원형 보존 중심
인물의 자세, 카메라 위치 모두 원본과 매우 유사합니다. 배경도 자연스럽고 현실적인 스타일로 표현되었습니다. 전반적으로 다큐멘터리풍의 안정적 비주얼로 생성된걸 확인할 수 있습니다.
Structure Transformation 수치는 단순한 스타일 변화가 아닌, AI 영상 생성의 방향성과 예술성을 통제할 수 있는 핵심 툴입니다. 이 수치를 어떻게 설정하느냐에 따라 전달하고자 하는 메시지와 감성의 강도가 완전히 달라집니다.
최종 영상 공개
프롬프트의 구체성에 따라 Structure Transformation의 효과는 강해질 수도, 미묘하게 작용할 수도 있습니다. 반복 테스트를 통해 자신의 영상 목적에 가장 적합한 수치 조합을 찾아보세요.
영상의 구조를 얼마나 유지할지 vs. 얼마나 창의적으로 바꿀지를 결정하면, 보다 통제된 창의성으로 고품질 AI 영상을 만들 수 있습니다. 그럼 가드너 필름 유튜브에 올린 생성 작품을 확인하시면서 감을 잡아보시기 바랍니다.
여러분도 Runway Gen-3로 자신만의 스타일을 실험하셔서 독창적인 작품 만드시기를 바랍니다.
