지난 10월, 29회 부산국제영화제 기간에 열렸던 2024 KOFIC 영화기술 콘퍼런스에서 ‘AI와 영화 콘텐츠 제작의 미래: 창작의 새로운 도구’라는 주제로 발표를 진행한 바 있다. 해당 발표를 통해서 인공지능(AI)이 영화 제작 공정의 효율성을 높이고 창작자들에게 새로운 도구로 자리 잡을 수 있는 가능성에 대한 심도 깊은 논의를 했다.

콘퍼런스를 마무리할 즈음 패널 가운데 한 명인 김기태 촬영감독이 AI를 활용해 촬영 전 콘티 작업을 진행하고, 현장에서 이를 실질적인 촬영으로 연결한 사례를 소개했다. 김 촬영감독은 AI가 영화 제작 과정에서 유용한 도구가 될 수 있지만, 영화의 본질적인 창작 과정은 인간의 감성과 창의력에 달려 있음을 강조했다.

즉, 제작자들에게 있어 AI는 영상을 전반적으로 만드는, 그리고 단순히 효율을 위한 기계적 도구가 아니라 제작자와 협력하며 새로운 가능성을 열어주는 보조 도구로 자리 잡는 것이 중요함을 다시 한번 확인할 수 있는 기회였다. 콘퍼런스를 계기로, 한국영화 시각특수효과(VFX)와 AI의 만남이 이뤄낼 효과들을 구체적으로 상상할 수 있게 되었다.

29회 부산국제영화제 기간에 열렸던 2024 KOFIC 영화기술 콘퍼런스 포스터

코로나19 이후, 영화 시장은 위축되었고 많은 영화들이 온라인동영상서비스(OTT)로 이동하는 변화가 일어났다. 그 와중에 넷플릭스가 <스위트홈> 시리즈를 시작으로 다수의 오리지널 시리즈를 제작하면서 VFX가 중요한 요소로 자리 잡는 콘텐츠 장르가 늘어났다. OTT 플랫폼의 성공적인 콘텐츠는 영화 산업에 다시 영향을 미쳤고, SF, 판타지, 미스터리 등 다양한 장르 영화들의 제작 비중도 증가했다. 2023년부터 <밀수> <천박사의 퇴마연구소> <외계+인> 2부, <파묘> 같은 한국영화들이 개봉하면서 관객도 다양한 장르의 VFX를 확인할 수 있었다.

SF, 판타지, 미스터리 등 VFX 요소가 많이 들어가는 영화가 다수 제작되면서, 한국영화의 제작비는 꾸준히 증가하고 있다. 특히 VFX 작업은 인력 집약적으로 진행되기 때문에 높은 단가와 함께 상당한 시간이 소요된다. 이러한 높은 공력의 발생은 다시 인건비를 지속적으로 상승시키고, 이는 결국 영화나 드라마의 제작비 상승으로 이어진다.

필자가 몸 담고 있는 웨스트월드 역시 이러한 문제점을 해결하기 위해 기존 VFX 공정에 AI를 결합하는 자체 파이프라인을 개발하고 있다. 생성형 AI를 통해 제작된 이미지를 직접 사용하는 창작의 의미보다는 AI를 공정에 도입해 효율을 높이는 협업 도구로 활용하는 중이다.

2023년 미국의 AI 기반 콘텐츠 제작 플랫폼 원더다이내믹스(Wonder Dynamics)가 출시한 AI 도구이자 플랫폼 원더 스튜디오(Wonder Studio)는 AI를 통해 캐릭터 애니메이션, 모션 캡처, 합성 등의 작업을 자동으로 처리해 제작 시간과 비용을 획기적으로 줄인다. 이러한 AI 기술 도입은 복잡한 시각효과 작업을 신속하게 처리할 수 있게 하기에 전통적인 제작 환경을 빠르게 변화시키고 있다.

원더다이내믹스가 출시한 AI 도구이자 플랫폼
원더 스튜디오의 화면 캡처

생성형 AI 플랫폼도 VFX 분야에서 점차 도입되고 있다. 예를 들어, 오픈AI(OPEN AI)가 지난 12월 9일 정식 출시한, 이른바 ‘챗GPT의 동영상 버전’인 소라(Sora)는 텍스트 입력만으로 고품질의 영상을 생성할 수 있는 AI 도구다. 영화 제작의 창작 과정에 혁신적인 변화를 가져올 잠재력을 지니고 있다. 생성형 AI 기술은 향후 영화 비주얼의 접근 방식을 혁신적으로 변화시킬 가능성이 있으며, 기존 작업 방식과 비교해 더욱 창의적이고 효율적인 환경을 제공할 수 있을 것이다.

소라(Sora) 홈페이지 캡처

AI 기술은 프리 프로덕션부터 포스트 프로덕션까지 영화 제작 과정 전반에 걸쳐 다양하게 적용되며 혁신적인 변화를 이끌고 있다. 따라서 그 변화를 단계별로 구체적으로 살펴볼 필요가 있다.

먼저, 프리 프로덕션 단계에서 AI 기술은 콘셉트 아트와 프리 비주얼라이제이션(이하 프리 비즈) 작업에서 특히 유용하게 사용된다.

콘셉트 아트 작업에서 많이 사용되는 AI 툴은 미드저니와 스테이블 디퓨전 등이다. 제작진은 이를 통해 신속하게 감독의 상상 속 이미지를 시각화할 수 있다. 그저 이미지를 생성하는 데 그치지 않고, 감독과 제작진의 의도에 맞춰 얼마든지 수정이 가능해 최적의 결과를 얻을 수 있다는 것도 장점이다.

프리 비즈 작업에서는 요즘 생성형 AI의 트렌드라고 할 수 있는 ‘플러그인’(AI 도구 안에 외부 서비스를 모아서 기능을 높여주는 추가 확장 소프트웨어)을 사용해 FX와 애니메이션 효과, 게임 엔진까지 활용하는 3차원(3D) 모델을 간단하게 만들 수 있다. 즉, 감독이나 제작자들은 산업 관계자들에게 새로운 프로젝트를 피칭할 때 과거와 달리 피칭용 콘셉트 아트와 프리 비즈 영상을 신속하고 완성도 높게 만들 수 있게 된 셈이다. 최고의 AI 기술 스태프를 옆에 둔 것과 마찬가지다.

프로덕션 단계에서 AI 기술은 그 자체로 현장에서 실시간 적용되거나, 특정 기술을 현장에 적용할 수 있는지의 타당성 여부를 분석해주는 ‘시스템’으로 활용된다.

첫 번째 기술로는 웨스트월드가 홍익대학교와 함께 구축 중인 4D NeRF 시스템인 ‘WITH 시스템’이 있다. ‘WITH 시스템’은 2D 이미지를 3D이미지로 바꿔주는 생성형 AI 기술 NeRF를 콘텐츠 산업에 도입하기 위해 개발된 디지털 제작 솔루션이다. 기존 디지털 트윈 기술(현실의 사물을 가상에 복제하는 기술. 현실 세계와 실시간으로 상호작용해 다양한 시뮬레이션으로 미래 예측이나 문제 예방을 할 수 있다)은 가상현실(VR) 시뮬레이션과 제조업의 상호작용에 주로 활용되며 높은 퀄리티를 요구받지는 않았다. 반면, ‘WITH 시스템’은 콘텐츠 산업 현장에서 NeRF를 거의 실시간 적용할 수 있게 해주는 기술이다. 주요 기능으로는 기존 NeRF 기술의 3D 에셋 생성 기술과 미비했던 레이아웃 수정 기술, 이미지 기반의 애니메이션 적용 기술, 시간적 요소 변경 기술을 포함한다. ‘WITH 시스템’으로 후반작업에서 필요한 환경을 스캔하면 감독이 그 이미지를 촬영 현장에서 거의 실시간으로 확인할 수 있다는 얘기다.

두 번째로는 AI를 활용해 3D 모델에 텍스처를 ‘실시간으로’ 입히는 기술이다. 3D 모델에 원하는 텍스처를 입력해 외형을 바꿔주는 것이다. 크리처의 피부 질감이나 캐릭터의 의상은 영화마다, 감독마다, 제작자마다 상상하는 이미지가 다를 수밖에 없다. 이럴 때 3D 모델에 원하는 이미지를 넣어서 캐릭터의 다양한 의상 변화를 빠르게 확인하거나 크리처의 피부 질감과 느낌 등등을 빠르게 확인할 수 있다. 기존에는 3D 모델에 텍스처를 입히기 위해 세팅하는 데에만 약 10~15분의 시간이 발생했다면, 텍스처 변경 기술을 활용해 텍스처가 입혀진 3D 모델을 확인하는 데에는 20초가 안 걸린다.

포스트 프로덕션 단계에서 AI는 단순 작업 혹은 알고리즘을 통한 데이터 시스템에 활용되고 있다.

첫 번째로는 AI를 활용해 3D 볼륨을 2D로 변경하는 기술을 꼽을 수 있다. 웨스트월드가 보유하고 있는 다량의 실사 3D 데이터를 해당 공정에 도입하면, 애니메이션부터 카툰 캐릭터까지 다양한 장르의 영상으로 가공이 가능하다는 장점을 가지고 있다. 특히 FX 효과인 연기, 물, 불을 다양한 장르에서 활용할 수 있다. 대개의 경우 단일 카메라를 통해 학습한 3D 데이터를 바탕으로 2D 이미지를 생성하지만, 웨스트월드의 기술은 다중카메라(최대 360도)를 도입해 데이터를 학습하고 나서 2D 이미지를 생성한 후, 샷의 사이즈나 형태도 모두 일정하게 변경할 수 있다. 작업자가 단순 작업에 시간을 뺏기지 않고 단숨에 고품질의 이미지를 만들 수 있는 것이다.

두 번째, AI의 딥러닝을 활용해 라이브러리를 만들 수 있다. 이전에는 VFX 작업에서는 작업자가 소스를 일일이 찾는 데에도 긴 시간이 소요되고, 메타데이터를 하나씩 직접 확인해야 하는 번거로움도 컸다. 그러나 현재는 작업자가 영화의 장면이나 이미지와 관련해 디테일한 키워드로 검색하기만 하면 AI가 방대한 라이브러리에서 최적의 소스를 찾게 해주며 그 시간도 획기적으로 줄여준다.

세 번째로는 리라이팅 기술이다. 이미 찍어 온 플레이트(VFX 효과를 염두에 두고 촬영된 소스)에 라이팅 수정이 필요한 경우, AI를 활용하면 2D 플레이트에서 3D 정보만 추출하는 리라이팅 기술로 빠르게 문제를 해결할 수 있다. 이 기술을 통해 간단한 라이팅 작업의 경우 아티스트들의 공력을 크게 들이지 않고 빠르고 간단하게 문제를 해결할 수 있다. 영화 <밀수>의 한 장면에서 리라이팅 기술을 활용해 라이팅을 수정한 바 있다.

네 번째, 머신러닝을 도입한 마커 리무브 기술이다. 마커를 지우는 일은 그야말로 단순한 반복 작업인데, 이 작업에 들이는 시간과 공력을 무시할 수가 없다. 머신러닝을 도입하면 아티스트가 직접 마커를 지우지 않아도 된다. 오히려 그 시간에 다른 프로젝트나 다른 샷에 집중할 수 있으니 동시에 여러 작업을 할 수 있게 된다는 면에서 큰 이점을 가지고 있다.

다섯 번째는 합성 작업에 머신러닝을 도입해 텍스트를 대치하고 변경하는 기술이다. 일례로 웨스트월드가 제작하고 MBC에서 방영된 드라마 <트레이서>(2022)에서, 극 중 인물이 “오즈식품 탈세 배경엔?”이라는 제목의 인터넷 기사를 스마트폰으로 보는 장면이 등장한다. 해당 장면 소스를 보면 상단부에 홈페이지의 링크와 기사 작성일이 표시되어 있는데, 머신러닝을 도입해 홈페이지 링크와 기사 작성일을 삭제하는 작업의 RND를 진행했다. 기업의 로고와 사이트 주소도 삭제하고 기사 작성 요일은 수정해야 했다. 시청자가 보기엔 별것 아닌 것 같아 보일 수 있지만, 실은 해당 작업에 머신러닝을 도입해 59프레임 길이의 영상에서 6프레임 작업으로 텍스트를 수정한 것이다. 약 10배 가까운 작업 효율을 만들어냈다고 할 수 있다. 그리고 영화와 드라마에서는 이런 작업이 부지기수다.

여섯 번째는 AI를 활용한 캐릭터 베리에이션이다. 영화나 드라마에서 군중의 전투 신, 군중 관객 신 등이 있으면 수백, 수천 명의 인물이 등장해야 한다. 해당 AI 기술은 기본으로 삼을 템플릿 캐릭터 하나에 피부색, 눈 모양, 입 모양 등의 다양한 베리에이션을 주면서 간편하고 빠르게 군중을 제작할 수 있도록 해준다. 영화 <도그데이즈>(2024)와 tvN 드라마 <스물다섯 스물하나>(2022)의 군중 장면에서 이 기술을 적용했다.

AI 기술은 영화 산업 전반에 걸쳐 큰 변화를 일으키고 있다. 우선, 작업 공정 자동화를 통해제작 효율성을 크게 높인다. 아티스트들이 더 짧은 시간 내에 더 많은 작업을 처리하도록 도와준다. 그 때문에 AI는 대규모 프로젝트에서 필수 요소로 자리 잡아 가는 중이다. 최근 몇 년 사이 할리우드도 AI를 도입해 여러 효과를 얻고 있지만, 특히 대표적인 사례로, <아바타: 물의 길>(2022)과 <인디아나 존스: 운명의 다이얼>(2023)을 들 수 있다.

<아바타: 물의 길>에서는 AI를 통해 모션 캡처와 퍼포먼스 캡처의 변화를 이끌었다. 영화 제작 단계에서 AI와 머신러닝을 활용해 배우의 섬세한 신체 움직임과 표정을 디지털 캐릭터에 자연스럽게 반영했다. 기존의 복잡하고 높은 비용의 하드웨어를 최소화해 배우의 연기를 디지털화했다. <인디아나 존스: 운명의 다이얼>에서 사용된 기술은 AI 디에이징(De-aging) 기술로 배우의 외모를 나이에 상관없이 자연스럽게 조정하는 데 활용되었다. 촬영 당시 80세였던 인디아나 존스 역의 해리슨 포드 얼굴을 디에이징 기술을 통해 35세로 자연스럽게 표현했다. AI가 해리슨 포드의 연기 데이터와 기존 영상을 학습하고 자연스럽고 현실감 넘치는 젊은 인디아나 존스의 얼굴을 디지털상에서 구현하도록 도운 셈이다.

두 번째, AI 기술의 도입은 제작비 절감에 확실히 기여한다. VFX 작업은 원래 고도로 숙련된 인력이 필요하고 많은 시간이 소요된다. AI를 통해 반복적이고 인력 집중도가 높은 작업을 자동화하면, 예를 들어 캐릭터 애니메이션이나 합성 작업에서 AI를 활용하면, 인건비를 크게 줄일 수 있다. 이러한 자동화는 고품질의 VFX를 비교적 낮은 비용으로 제작할 수 있게 하며, 더 많은 영화와 콘텐츠 제작을 가능하게 한다. 특히, 중소형 영화사와 독립영화 제작자들에게는 AI 기술이 적절한 비용으로 많은 콘텐츠를 제작할 수 있는 기회를 열어줄 것이다.

AI 기반 VFX 기술의 또 다른 긍정적 효과는 콘텐츠 시장의 확대다. AI 기술이 더 다양한 규모와 예산의 프로젝트가 쉽게 제작될 수 있는 환경을 제공하고, 이를 통해 더 많은 영화, TV 프로그램, 디지털 콘텐츠 생산이 가능하게 되며, 관객들은 결국 더 다양한 콘텐츠를 즐길 수 있게 되기 때문이다. 앞으로도 AI 기반 VFX 기술의 발전은 영화 산업의 혁신을 지속적으로 이끌 것이며, 더 나은 제작 환경과 시각적 경험을 제공할 것이다.

그러나 AI 기반 VFX 기술이 긍정적이기만 한 것은 아니다. 윤리적 문제와 기술적 한계를 동반하고 있다. 이 문제들은 AI 기술의 발전과 함께 점점 더 중요한 논의의 대상이 되고 있으며, 영화 제작 전반에 걸쳐 해결해야 할 과제이기도 하다.

가장 중요하게 대두되는 논의는 AI가 창작자의 역할을 대신할 수 있느냐다. 영화 제작에서 가장 중요한 요소 중 하나는 창의성과 감성이다. AI는 이러한 인간적 측면을 완전히 대체할 수 없는 한계가 있다. 데이터에 기반한 작업을 수행하는 데 뛰어나지만, 인간의 감정과 창의성이 담긴 예술적 표현을 동일한 수준으로 구현하기는 어렵다. 이로 인해 AI가 창작자의 역할을 침해할 수 있다는 윤리적 우려가 제기되고 있으며, AI가 창의적 작업에서 어느 정도의 역할을 맡아야 하는지에 대한 고민도 커지고 있다.

또한 AI 기술의 기술적 한계도 분명하다. 가장 대표적인 예는 AI가 생성한 결과물이 현재의 업계에서 사용하는 많은 VFX 소프트웨어와 완벽하게 호환되지 않는다는 점이다. AI 기반으로 생성된 이미지나 영상은 VFX 작업 공정에서 활용될 때 호환성 문제로 인해 추가적인 작업이 필요할 수 있으며, 전체 제작 과정을 어그러뜨리거나 지연시킬 수 있다. 기술적 호환성 문제를 해결하지 못하면 AI가 VFX 작업을 지원하는 역할에서 더 나아가지 못할 것이다.

더불어, 생성형 AI 기술이 지닌 일관성 부족 문제도 극복해야 할 중요 기술 과제다. 현재의 AI 기술은 다양한 데이터를 학습해 이미지를 생성하지만, 고품질을 요구하는 영화 제작 현장에서 일관된 품질을 유지하는 데는 아직 미흡한 점이 많다. 특히, 영화 제작 과정에서는 수많은 장면이 연결되며 하나의 일관된 비주얼 스타일을 유지해야 하지만, AI는 때로는 이러한 스타일을 일관되게 구현하지 못할 수 있다. 이로 인해 추가적인 수정 작업이 필요하게 되고, AI가 오히려 작업 효율성을 저하시킬 위험도 있다.

결론적으로, AI 기반 VFX 기술은 영화 제작에서 많은 가능성을 제시하지만, 윤리적 문제와 기술적 한계를 해결하지 않으면 그 잠재력을 완전히 실현하기 어렵다. 영화 산업이 AI 기술을 더욱 효과적으로 활용하려면 이러한 문제들을 극복할 수 있는 방향으로 나아가야 한다.

영화는 지금까지 기술과 함께 변화해 왔다. 무성에서 유성으로, 필름에서 디지털로. 최근 AI기술의 등장이 영화의 역사를 바꿀 것이고, AI로 제작비 없이 영화를 만들며, 영화 제작자가 아닌 프롬프트가 영화를 제작할 것이다. “K-무비의 미래는 AI 영화”라는 말이 심심찮게 들린다.

영화, 음악, 미술, 무용과 같은 예술 분야에서 가장 중요한 것은 인간만이 가질 수 있는 감성과 창의력이라고 생각한다. AI는 영화를 만드는 과정에서 제작자에게 창의적 판단과 교감을 도와주는 도구다. 휴먼 리소스를 기반으로 AI를 공정에 도입해 독창적이고 감성적인 고품질 이미지를 만들어내는 데 도움을 받는 도구로 활용해야 한다.

궁극적으로, AI는 인간의 창의적 결정을 보완하고, 더 나은 품질의 콘텐츠를 제공하는 데 큰 기여를 할 것이다. AI가 생성하는 데이터와 알고리즘 기반의 결과물은 영화 제작의 전반적인 퀄리티를 높이는 데 큰 역할을 할 것이며, 이를 통해 관객들은 더욱 다채롭고 완성도 높은 시각적 경험을 즐길 수 있게 될 것이다. AI와 인간 창작자의 협업을 통해 영화 산업은 앞으로도 끊임없는 혁신을 이어갈 것이다. 더 나은 콘텐츠가 지속적으로 탄생하기를 기대한다.