내 표정까지 따라하는 Runway Act-One 1인 AI 영화 제작 강좌

내 표정까지 따라하는 Runway Act-One 그리고 ElevenLabs Voice Changer를 활용해, 나만의 표정과 목소리를 입힌 디지털 캐릭터를 만드는 과정을 소개합니다. 혼자서 영화 한 편을 만드는 방법을 알아가세요.

Act-One이란?

Act-One은 Runway에서 제공하는 혁신적인 AI 기능으로, 사용자가 촬영하거나 업로드한 실제 인물의 얼굴 영상을 기반으로 선택한 디지털 캐릭터(3D, 2D, 실사형 등)에 그 표정과 고개 움직임 등 얼굴 중심의 연기를 그대로 입혀주는 기술입니다.

쉽게 말해, 사람의 감정을 담은 짧은 연기 영상만 있다면, 그 감정과 표정을 AI 캐릭터가 그대로 따라 하게 만드는 도구입니다. 영화, 애니메이션, 광고 등 다양한 콘텐츠에 활용할 수 있으며, 전문 스튜디오 없이도 집에서 혼자 고품질 애니메이션 영상 제작이 가능하다는 점에서 큰 매력을 갖고 있습니다.

Act-One은 최대 30초 분량의 영상을 입력할 수 있으며, 인물의 얼굴이 명확히 인식될 수 있는 영상이나 이미지를 사용하는 것이 중요합니다. 흐릿하거나 얼굴이 가려진 자료는 정확한 표정 추출이 어렵습니다.

보다 구체적인 가이드는 Runway Act-One 도움말 센터에서 확인하실 수 있습니다. 제가 정리한 글에서 부족한 부분이 있다면, 아래 공식 가이드를 참고하시면 됩니다.

런웨이 Gen-3 Act-One 도움말 센터 바로가기

Act-One 초기 세팅 방법

Runway의 Act-One 기능을 제대로 활용하기 위해서는 두 가지 준비물이 필요합니다.

1. 드라이빙 레퍼런스 영상 (표정이 담긴 30초 이내의 인물 영상)
2. 캐릭터 이미지 또는 선택된 디지털 아바타 (실사형, 만화 스타일, 3D 등 다양한 형태)

이 두 가지 요소가 결합되어, 여러분이 입력한 표정과 감정을 선택한 캐릭터에 자연스럽게 입히는 영상이 완성됩니다.

실행 경로 안내

Act-One 기능은 Runway 홈페이지에서 아래의 순서로 접근할 수 있습니다.

1. 좌측 메뉴에서 ‘Generate’ 섹션으로 이동
2. 기능 리스트 중 Act-One 아이콘 클릭
3. 화면에 표시되는 Act-One 작업 인터페이스 확인

아래는 Act-One의 실제 UI를 캡처해서 제가 편집한 이미지이며, 각각의 구성 요소를 순서대로 설명드리겠습니다.

인터페이스 구성 요소 설명

① Add a driving performance

이 영역은 Act-One의 핵심 기능을 요약한 안내 메시지입니다. 30초 이내의 얼굴 영상을 업로드하면, AI가 그 표정, 시선, 고개 움직임 등 얼굴 중심의 연기 데이터를 분석하여 선택한 캐릭터에 그대로 입히게 됩니다.

• 영상은 되도록 정면을 바라보며, 표정 변화가 잘 드러나도록 촬영하는 것이 좋습니다.
• 몸 전체가 아닌 얼굴 중심의 클로즈업 영상이 가장 적합합니다.

② Start recording 버튼

이 버튼을 클릭하면 웹캠 또는 연결된 카메라를 통해 직접 녹화할 수 있는 기능이 활성화됩니다. 촬영 시간은 최대 30초이며, 짧고 명확한 표정 연기를 담기에 충분합니다.

직접 즉석에서 연기를 촬영하고 싶은 경우에 활용하면 좋습니다.

③ Select Asset 버튼

이미 보유하고 있는 영상 파일(mp4, mov 등)을 불러올 때 사용하는 버튼입니다. 저는 개인적으로 이 기능을 자주 사용하는데요. 미리 촬영해둔 표정 연기 영상을 저장해두면 편리하게 활용할 수 있습니다.

• 고해상도 + 밝은 조명 + 얼굴이 잘 보이는 영상을 선택하는 것이 좋은 결과로 이어집니다.

④ Character reference 섹션 (캐릭터 선택 영역)

이 영역에서는 다양한 스타일의 디지털 캐릭터들을 프리셋 형태로 제공하고 있습니다. 상단 필터 버튼을 활용해 원하는 캐릭터 스타일을 간편하게 골라볼 수 있습니다. All, Video, Photorealistic, 3D Animated, 2D Animated, Illustrated 등 각각의 필터를 누르면 스타일별 캐릭터가 분류되어 표시됩니다.

특히, 직접 만든 아바타나 원하는 이미지를 사용하고 싶다면, 상단 탭에서 Custom을 선택한 뒤 이미지 파일을 드래그하거나 업로드하면 됩니다.

Act-One 실전 적용기

Act-One 기능을 직접 사용해보며, 셀카 영상을 바탕으로 디지털 캐릭터에 연기를 입히는 과정을 테스트해 보았습니다. 이번엔 재미있게도 사람 캐릭터가 아닌 동물 캐릭터를 활용해 보았는데요. 그 과정과 결과를 순서대로 소개해드릴게요.

1단계: 연기 영상 업로드

먼저, 저는 스마트폰으로 셀카 형식의 짧은 얼굴 연기 영상을 촬영한 뒤, Act-One의 인터페이스에서 [Select Asset] 버튼을 클릭하여 해당 영상을 업로드했습니다.

이 과정에서 얼굴이 정면으로 보이고, 자연스러운 표정 변화가 포함되어야 AI가 잘 인식할 수 있습니다.

2단계: 고양이 캐릭터 이미지 업로드

다음으로, ④ Character reference 영역에서 미리 제공된 캐릭터를 선택하지 않고, 제가 직접 미드저니(Midjourney)에서 생성한 고양이 정면 이미지를 활용했습니다.

이미지를 업로드하면 아래처럼 프레임 조절 및 크롭 화면이 나타나는데요, 여기서 고양이 얼굴이 중앙에 잘 오도록 위치를 조정한 후 [Crop] 버튼을 클릭합니다.

3단계: 얼굴 인식 실패 오류 발생

하지만 바로 다음 단계에서 다음과 같은 오류 메시지가 나타났습니다.

이는 업로드한 이미지에서 얼굴을 인식하지 못했다는 의미입니다. 일반적으로 다음과 같은 경우에 이 오류가 발생할 수 있습니다.

• 얼굴이 정확히 정면이 아니거나,
• 해상도가 낮고 흐릿한 경우,
• 이목구비가 명확하지 않거나,
• 얼굴 크기가 너무 작아 AI가 감지하지 못하는 경우

동물 이미지의 경우, 특히 사람과 달리 얼굴 구조가 달라서 인식률이 낮을 수 있다는 점도 감안해야 합니다.

4단계: 호랑이 이미지로 재도전

하지만 가드너 필름은 여기서 포기하지 않았습니다! 이번엔 같은 방식으로 정면을 응시하는 호랑이 이미지를 준비해 업로드해 보았습니다.

정확히 정면을 향하고 있고, 눈과 입의 위치가 명확한 덕분인지 이번에는 얼굴 인식이 성공적으로 이루어졌습니다!

5단계: Generate 버튼 클릭 & 결과 확인

모든 세팅을 마친 후 [Generate] 버튼을 눌렀습니다. 잠시 후 결과 영상이 생성되었고, 놀랍게도 저의 얼굴 표정, 눈 깜빡임, 입 모양까지 호랑이 캐릭터가 그대로 따라하는 모습이 구현되었습니다.

AI의 정밀한 모션 트래킹 기술이 잘 반영된 결과물에 저도 정말 감탄했습니다. 이런 기능을 통해 혼자서도 캐릭터에 생동감을 불어넣은 단편 애니메이션이나 영화 제작이 가능하겠다는 가능성을 느꼈습니다.

동물 캐릭터 활용 아쉬운 점

동물 이미지도 사용 가능하지만, 정면 얼굴 + 이목구비가 뚜렷한 경우에만 인식률이 높습니다. 특히 사람의 얼굴이 가장 안정적이고 자연스러운 결과물을 만들어줍니다. 이목구비가 불완전하거나 각도가 틀어진 이미지에서는 결과의 퀄리티가 낮을 수 있으니 이미지 선택이 매우 중요합니다.

제가 이번에 테스트한 결과 영상은 맨 하단 유튜브에 업로드해두었으니, 아래에서 확인하실 수 있습니다.

다양한 AI 목소리로 나의 오디오를 변환해보기

이번에는 제목용 AI 음성이 아닌, 내가 원하는 스타일의 AI 음성으로 변환하는 방법을 소개합니다. 저는 영상에서 추출한 오디오 파일을 활용해, 일레븐랩스(ElevenLabs)의 Voice Changer 기능으로 다른 사람 목소리처럼 바꿔보는 실험을 해봤습니다.

1단계: Voice Changer 메뉴 진입

먼저 아래처럼 ElevenLabs 웹사이트에 로그인한 후, 좌측 메뉴에서 [Playground] → [Voice Changer] 항목을 클릭해 들어갑니다.

Google 계정으로 간편 가입이 가능하며, 음성 변환 기능은 프리 요금제에서도 일부 제공됩니다.

2단계: 원본 오디오 파일 업로드

제가 직접 셀카 형식으로 찍은 영상을 Premiere Pro에서 편집하여 10초짜리 오디오(mp3)로 추출한 뒤 업로드했습니다.

Voice Changer는 텍스트 기반 합성이 아닌, 기존 오디오 음성을 AI 보이스로 변환하는 기능입니다. 단순한 TTS(Text-to-Speech)가 아니라, 내 목소리의 말투나 리듬을 그대로 가져간다는 점이 강점입니다.

3단계: 원본 오디오 세부 설정하기

① 원본 오디오

업로드한 음성 파일이 목록에 표시되며, 재생하여 원래 목소리를 미리 들어볼 수 있습니다.

② 변환할 AI 음성 선택

이 부분에서 다양한 AI 음성 중 원하는 스타일을 선택합니다. 저는 “Min-joon – Korean young adult male”이라는 한국어 남성 음성을 선택했습니다. 한국어 지원 AI 보이스가 있다는 점이 매우 실용적입니다.

③ 목소리 세부 조절

여기서 AI 목소리의 성격을 더 디테일하게 조절할 수 있습니다.

Model

기본 설정은 Eleven Multilingual v2 입니다. 다국어를 유연하게 지원하며 자연스러운 말투를 구현해줍니다.

Stability (안정성)

목소리의 일관성을 조절합니다. 좌측 (Variable)은 감정 변화와 억양 다양성이 풍부하며 우측(Stable)은 더 단정하고 일관된 음성을 제공합니다.

Similarity (원본 음성과의 유사도)

Similarity는 변환된 AI 음성이 원본 음성의 스타일(톤, 말투, 속도 등)을 얼마나 반영할지를 조절하는 기능입니다. 저는 기본값인 High 쪽으로 조금 더 가깝게 설정했는데요. 이 설정은 원래의 목소리 느낌을 살리고자 할 때 효과적입니다.

설정값	설명
High	원본 음성의 말투, 감정, 억양 등을 최대한 유지하며 자연스럽게 따라갑니다. 실제 목소리와 유사한 결과를 원할 때 적합합니다.
Low	AI 보이스의 고유한 말투와 자연스러움을 강조합니다. 오리지널 스타일보다 부드럽고 일반화된 톤을 원할 때 유용합니다.

어떤 분위기의 콘텐츠를 만들고 싶은지에 따라 적절히 조절해보세요. 감정을 살리고 싶다면 High, 깔끔한 내레이션이나 중립적인 음성을 원한다면 Low 설정이 더 어울릴 수 있습니다.

Style Exaggeration (스타일 강조)

AI 보이스에 감정과 표현을 얼마나 실어줄지 조절할 수 있는데요. 연기력을 강조하고 싶다면 오른쪽으로 이동시켜보세요.

Remove Background Noise (배경 잡음 제거)

필요 시 체크하여 음질을 더 깔끔하게 만들 수 있습니다. 단, 감정 표현이 일부 손실될 수도 있으니 참고하세요.

Speaker Boost (음량 및 선명도 강화)

일반적으로는 켜두는 것을 추천합니다.

Reset Values

모든 설정을 초기화하는 기능입니다.

④ Generate 버튼: 음성 생성

모든 설정을 마쳤다면 [Generate Speech] 버튼을 클릭해 AI 보이스를 생성합니다.

⑤ 변환된 음성 미리 듣기

하단의 재생 버튼을 눌러, 변환된 음성이 어떻게 들리는지 미리 확인할 수 있습니다.

⑥ 다운로드

만족스러운 결과물이라면, 다운로드 버튼을 눌러 AI 보이스 오디오 파일을 저장하시면 됩니다.

최종 결과물 확인 및 테스트 후기

지금까지 제가 어떻게 Act-One과 ElevenLabs를 활용해 AI 목소리와 얼굴 연기 캐릭터를 매칭한 영상을 만들었는지, 아래에 단계별로 요약해보았습니다.

작업 요약

1. 스마트폰으로 셀카 영상을 직접 촬영했습니다. (얼굴 정면 + 표정 포함)
2. 프리미어 프로 또는 캡컷 같은 영상 편집 툴을 이용해 음성만 따로 추출했습니다.
3. 추출한 MP3 파일을 ElevenLabs의 Voice Changer 기능을 통해 원하는 AI 목소리로 변환했습니다.
4. 변환된 음성 파일을 다시 영상에 삽입하여 최종 클립을 완성했습니다.
5. 이 완성된 영상을 Runway Act-One 기능에 입력, 제가 선택한 이미지(캐릭터)에 맞춰 매칭을 진행했습니다.
6. 테스트를 위해 이번에는 동물 대신, AI 단편 영화의 주인공으로 설정한 사람 얼굴을 사용하여 결과를 확인해보았습니다.

결과에 대한 평가

정면을 바라보는 사람 얼굴의 경우, 표정 매칭과 연기 표현이 아주 자연스럽게 구현되었습니다. 제가 셀카 영상에서 눈을 깜빡이거나 고개를 돌리는 동작도 AI 캐릭터가 그대로 따라하는 걸 확인할 수 있었죠.

특히 두 번째 테스트에서는 입을 벌리고 있는 호랑이 이미지에도 적용해보았는데요. 이 경우 제가 기대했던 ‘입 다문 상태에서의 자연스러운 발화’가 어렵게 표현되더군요.

AI가 입을 닫아주는 방식으로 처리하기보다는, 입이 벌어진 상태로 목젖 부분이 말하는 듯한 느낌으로 결과가 생성되어 다소 부자연스러움이 있었습니다.

동물 캐릭터 적용 시 주의점

• 입을 다문 이미지가 인식 및 립싱크 구현에 훨씬 유리했습니다.
• 동물 캐릭터는 종류나 표정 상태에 따라 퀄리티 편차가 있는 편입니다.
• 비슷한 기능인 클링AI(Kling AI)도 음성 기반 립싱크를 지원하지만, 차이점은 다음과 같습니다.

기능 비교	클링AI	Runway Act-One
입력 방식	사운드 기반	표정 연기 기반
표현 범위	입 모양 위주	눈 깜빡임, 고개 돌림 등 디테일까지 표현
활용 분야	단순 립싱크 영상	스토리 있는 영상, 영화 제작에 적합

결론적으로, Act-One은 실제 연기를 기반으로 감정과 디테일을 입히는 데 강점이 있어 AI 영화, 광고, 콘텐츠 제작에 더욱 활용도가 높겠다는 인상을 받았습니다.

혼자서도 가능한 1인 AI 영화 제작!

이번 테스트를 통해 느낀 점은, 촬영, 목소리 변환, 캐릭터 연기 매칭까지 모두 혼자서 충분히 처리할 수 있다는 가능성이었습니다.

남성, 여성, 사람, 동물 등 다양한 캐릭터에 내 연기를 입힐 수 있다는 점에서 정말 혼자서도 영화 한 편을 만들어낼 수 있겠다는 자신감이 생겼습니다.

곧 실제로 짧은 AI 단편 영화를 완성해서 공개할 예정입니다. 여러분도 꼭 한 번 시도해보세요. 상상 이상의 결과가 기다리고 있을지도 모릅니다!