[K-VIBE] 이은준의 AI 톺아보기…AI 영상·소리 통합 시대의 영화 미학-②

[※ 편집자 주 = 한국국제교류재단(KF)의 지난해 발표에 따르면 세계 한류 팬은 약 2억2천500만명에 육박한다고 합니다. 또한 시간과 공간의 제약을 초월해 지구 반대편과 동시에 소통하는 '디지털 실크로드' 시대도 열리고 있습니다. 바야흐로 '한류 4.0'의 시대입니다. 연합뉴스 동포·다문화부 K컬처팀은 독자 여러분께 새로운 시선으로 한국 문화와 K컬처를 바라보는 데 도움이 되고자 전문가 칼럼 시리즈를 준비했습니다. 시리즈는 매주 게재하며 영문 한류 뉴스 사이트 K 바이브에서도 영문으로 보실 수 있습니다.]

이은준 경일대 교수 [본인 제공]

지난 칼럼에 이어 인공지능 영상 툴이 영화감독을 위해 시청각 통합의 시대의 툴로 대전환하고 있는 메커니즘에 대해 자세히 다루고자 한다.

◇ 프롬프트를 '쇼트 설계서'처럼 쓰기

통합 모델에서 프롬프트는 일종의 '미장센+사운드 디자인+리듬'이 압축된 시나리오다. 추상적 표현보다, 카메라/공간/사운드/리듬을 나누어 구체화하는 편이 좋다.

필자가 직접 사용했던 프롬프트를 예시로 구조를 살펴보고자 한다.

우선 공간과 시간을 묘사하는 프롬프트로 '비 오는 밤, 좁은 골목, 네온사인이 반사되는 젖은 아스팔트'라고 적었다. 그런 다음 카메라 무빙에도 프롬프트를 입력했다. '핸드헬드, 인물의 등 뒤를 따라가는 중거리 숏, 약간 흔들림'이라고 썼다.

시나리오에서 중요한 점이 사건이다. '주인공이 숨을 몰아쉬며 뛰어가고, 뒤에서 경찰차 사이렌과 발소리가 가까워질 것'이라고 썼다. 여기에 중요한 것이 소리다. '사운드 디테일'이라는 명령어로 '빗소리와 함께 숨소리가 과도하게 크게 들리고, 골목 끝에서 낮게 울리는 베이스 드론, 멀리서 희미한 도시 소음, 발자국이 물웅덩이를 밟을 때마다 튀는 소리가 또렷이 들림'이라고 작성했다.

그런 다음 화면에서 느껴지는 감정 톤도 프롬프트로 '지시'했다. '공포와 긴장, 동시에 미약한 희망의 기운이 밑바닥에 깔려 있음'이라고 썼다.

이렇게 구조화하면, AI가 영상과 사운드를 하나의 감각 구조로 생성할 때 기준 축이 생긴다. 나중에, 후반에서 일부를 교체·보정하더라도, 전체 감정/공간 톤이 어긋나지 않는다.

◇ 현재 기술의 한계와 '미학' 전환 방법

지금 세대의 통합 생성 모델은 여전히 여러 한계를 가진다. 물리·음향의 미세한 위화감: 충돌, 잔향, 굴절이 사실적 계산이 아니라 통계적 근사라 아주 예민하게 보면 '가짜' 느낌이 난다.

3D 공간음향도 부족할 때가 있다. 소리가 '어디서' 오는지의 정확도가 떨어져, 공간감이 인위적이거나 평평하게 들릴 수 있다. 특히 길이에 따른 내러티브의 제약이 약점이다. 10∼20초 수준의 단일 이벤트에는 강하지만, 멀티샷, 정교한 감정 변화가 담긴 롱테이크에는 불안정하다.

하지만, 감독 입장에서 이 한계를 단점으로만 볼 필요는 없다. 오히려 의도된 인위성, 꿈의 감각, 현실과 비현실의 경계라는 미학적 자산으로 전환할 수 있다.

이참에 독자 여러분께 몇 가지 실무 전략을 알려드리고자 한다. '완전한 리얼리즘' 대신 '몽환/초현실' 톤을 목표로 한다. 약간의 물리 어긋남, 음향의 비현실성을 '꿈, 기억, 상상, 게임 세계'라는 설정 안에 집어넣으면 약점이 강점이 된다.

핵심 장면은 실사와 전통 사운드로 채우고, 나머지 감각적 브릿지는 AI로 만들자는 것이다.

즉, 내러티브의 중요한 전환점, 배우의 감정 연기가 필요한 장면은 '실제 촬영+사운드 디자이너 작업'으로 가고, 그 사이를 메우는 몽타주, 상상 시퀀스, 꿈 장면, 인서트 등은 AI 통합 생성으로 구성해 '감각의 레벨'을 조절한다.

◇ AI가 만든 사운드는 참고 자료와 가이드로 쓰기

AI가 만들어준 사운드를 폴리(Foley, 스튜디오 효과음)팀과 음악 작곡자에게 전달해 '이런 형태와 리듬, 데시벨 밸런스'를 가이드로 쓰게 하면, 커뮤니케이션 비용이 현저히 줄어든다.

이렇게 하면 감독의 역할 변화는 '영상 연출자'에서 '감각 설계자'로 바뀐다. 전통적인 영화 제작 구조에서는 촬영분야에는 카메라·조명 팀, 사운드 분야는 동시녹음과 폴리·사운드 디자이너, 음악감독, 편집과 믹싱 분야는 후반작업 스튜디오가 맡아줬다.

감독은 이 여러 팀이 만든 조각을 시간 위에 배치하고 조율하는 '최종 통합자'였다. 반면, 통합형 AI 모델과 작업할 때 감독의 초기 역할은 다음과 같이 달라진다.

먼저 '감각 구조 설계자'라는 새로운 역할로 바뀐다. 장면마다 '시각 50% / 사운드 30%/ 음악 20%' 같은 비중을 머릿속에 두고 프롬프트 및 후반 계획을 짠다. 예를 들면 이 장면은 70%를 발소리와 숨소리로 끌고 가고, 영상은 오히려 제한해서 긴장감을 만든다.

두 번째로 '실험 설계자'라는 역할이다. AI 통합 모델은 한 번에 완성작을 뽑는 도구가 아니라, '수십 개의 감각적 실험 스케치'를 빠르게 만드는 도구로 보는 것이 생산적이다. 여러 버전을 뽑아 본 뒤, 거기서 흥미로운 리듬과 질감을 골라 최종 구조에 편입한다.

마지막으로 '윤리와 정치적 판단자' 역할도 해야 한다. 얼굴·목소리 합성, 허위 상황 재현, 실제 인물과 유사한 음성/외형 사용은 아주 큰 사회적 여파를 갖는다. 예술적 자유를 추구하더라도 '무엇을 하지 않을 것'인가를 명확히 정해둬야 한다.

필자는 여기서 실제 업무처리 방식의 예시를 알려드리고자 한다. AI 통합 생성과 실사/전통 후반이 섞인 '하이브리드 제작 워크플로'를 간단히 그려 보면 다음과 같다.

먼저 컨셉트 구상 단계로 시작해야 한다. 핵심 시퀀스를 몇 개로 나눠, 각 시퀀스의 감정·공간·사운드 전략을 문장으로 정리한다. 예를 들면 '도시의 새벽, 버스 안, 주인공의 내적 독백이 도시의 소음과 섞이는 장면'이라고 시작해서 쓴다. 그런 다음 AI 감각을 스케치로 생성하는 작업을 진행해야 한다.

장면마다 여러 버전의 AI 통합 영상+사운드를 생성하는 작업이다. 여기서는 내러티브 완성도보다 '가능한 감각의 스펙트럼'을 보는 것이 목표다.

이어서 해야 할 중요한 작업이 '명령' 추출이다. AI 결과물 중 마음에 드는 리듬, 소릿결, 색감, 카메라 움직임을 추출해 '디렉션 보드'를 구성하는 것이다.

이 보드를 팀과 공유해 실제 촬영과 사운드 및 음악 작업의 기준으로 써야 한다.

그 작업이 끝나면 실사 촬영 등 전통 작업과 결합하는 과정이 필요하다. 앞서 언급한 바와 같이 중요한 장면은 실제 촬영과 사운드 디자인으로 하고, AI 스케치는 삽입 장면과 전환 및 몽타주 장면으로 쓰는 것이다.

필요시 AI가 만든 사운드 층 위에 실제 효과음이나 음악을 덧씌우고 교체해야 한다.

마지막으로 최종 편집과 믹싱 작업이 있다.

편집 툴의 작업 타임라인에서 'AI 생성 클립'이라는 꼬리표에 매몰되지 말고, 오로지 감각적 완성도 기준으로 해야 하는 작업이다.

사운드 믹싱 단계에서는 AI가 만든 소리도 하나의 트랙으로 취급, 볼륨과 음색, 공간감 형성 느낌을 기존 음악 플러그인으로 재조정해야 한다.

◇ 영화 언어 자체가 변할 때

통합 생성 모델이 더 길고 정교한 내러티브를 다룰 수 있게 되면, 영화 문법 자체도 바뀔 가능성이 있다. 예를 들어 사운드를 핵심 서사 도구로 쓰는 영화도 나올 수 있다. 화면엔 거의 아무것도 안 보이고, AI가 설계한 공간음향과 목소리, 소리만으로 서사가 전개되는 형태의 영화다.

또한 다중 시청각 관점의 영화도 나올 수 있다. 동일 사건을 서로 다른 인물의 청각·시각 인식 차이로 반복 생성해, 인지의 상대성을 드러내는 구조다.

여기에 여러 차례 많은 관객의 흥미를 끌었던 인터랙티브(상호작용) 영화를 실시간으로 구현할 수도 있다. 관객의 반응(목소리, 표정, 선택)에 따라 AI가 시청각을 즉석에서 재구성하는 형태다.

이 모든 실험의 전제는 하나다. AI를 촬영/사운드 인력을 대체하는 값싼 도구로 보지 않고, '새로운 감각 구조를 실험할 수 있는 매체'로 보는 것이다.

그렇게 볼 때, 통합 생성 AI는 감독에게 위기이자 동시에, 이전에는 할 수 없던 종류의 영화를 만들 수 있는 커다란 확장 공간을 제공한다.

결국 관건은 기술이 아니라 관점이다. '어떻게 더 싸게 찍을까'가 아니라, '이 도구 덕분에 이제 어떤 새로운 감각·내러티브를 시험해 볼 수 있을까'를 묻는 감독과 팀이, AI 시대 영화 미학의 다음 장을 열게 될 것이다.

이은준 미디어아티스트·인공지능 영상 전문가

▲ 경일대 사진영상학부 교수

<정리 : 이세영 기자>

seva@yna.co.kr

▶제보는 카카오톡 okjebo
▶연합뉴스 앱 지금 바로 다운받기~
▶네이버 연합뉴스 채널 구독하기
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>