2023년 화제가 됐던 대작 한국 영화들은 새로운 소재와 볼거리로 눈길을 끌었다. <콘크리트 유토피아><더 문><외계+인> 2부 등 재난이나 SF 판타지 장르뿐 아니라 <서울의 봄><노량: 죽음의 바다>(이하 <노량>) 등 역사적 사건을 다룬 작품들까지 한국 영화의 기술력이 점차 고도화되고 있다는 사실을 입증했다. 과거의 블록버스터 영화보다 훨씬 더 많은 인력과 시간이 시각효과 분야에 투입됐으며, 기존의 주요 시각효과 업체들이 컴퓨터 그래픽(CG) 분야의 스타트업들이나 중국, 베트남 등 해외 시각특수효과(VFX) 업체들과 계약하고 협력하는 새로운 작업 방식을 제작 현장에 도입했다. 또 전통적인 극장용 영화뿐 아니라 국내외 온라인동영상서비스(OTT) 플랫폼에서 오리지널로 제작된 영화나 시리즈 등도 디지털 신기술과 시각효과를 적극 활용한 사례들이 늘어나고 있다. <무빙><경성 크리처><스위트홈> 시즌2 등은 기존의 한국 드라마나 시리즈에서 보지 못했던 새로운 이야기와 이를 구현하는 기술력의 조화로 글로벌 시청자들의 호응을 이끌어 냈다. 한국 영화 제작의 핵심 인력들이 시리즈물 제작에 적극 투입되면서, 한국형 스토리텔링과 고도화된 디지털 기술 인프라의 결합이 세계적인 호응을 얻고 있는 셈이다.

디즈니플러스 시리즈 <무빙> 메이킹 스틸, 출처 월트디즈니 컴퍼니 코리아

우선, 디즈니플러스의 <무빙>은 기술적 차원에서도 시리즈 분야에서 큰 성공을 거둔 사례다. 총 20부작인 이 프로젝트는 초능력을 가진 인물들을 주인공으로 앞세운 액션 장르인 만큼, 시각효과 부문에서도 한국 영화 산업에서 보기 드문 대규모의 자원과 인력이 투입됐다. <무빙> 시각효과를 책임진 이성규 엔진비주얼웨이브 대표 및 VFX 총괄 슈퍼바이저에 따르면, 최근의 블록버스터 영화들이 대략 2000샷 내외의 CG 분량을 필요로 하는 반면, <무빙>은 총 9개 국가, 40개의 스튜디오가 참여해 기존 영화의 4배에 달하는 분량의 CG 작업을 완수해 내야 했다. 이런 대규모의 인력과 작업 분량을 컨트롤하는 시각효과 슈퍼바이저와 프로덕션팀의 파이프라인 운영 능력과 노하우도 주목할 만한 점이지만, 그보다 더 중요한 것은 한국식 히어로, 또는 생활밀착형 히어로라는 작품의 콘셉트를 시각적으로 구현해 내는 일이었다. 제작진은 공중에 부양하거나 하늘을 날아다니는 인물들의 움직임이 기존의 물리적인 제약을 극복하면서 자연스럽게 보이도록 만들기 위해서 시각효과뿐 아니라 특수효과, 무술 등 각 파트의 모든 기술력들이 조화를 이뤄야 했던 것이다.

2018년 연상호 감독의 <염력>에서도 공중부양 장면들이 시도됐고, 이를 위해 무술팀의 와이어 액션 구현 기술과 특수효과팀의 각종 기계 장치들이 동원되었지만, 당시의 결과물은 충분한 완성도를 보여주지 못했던 것도 사실이다. 와이어나 기계 장치를 부착한 배우들이 이를 잘 컨트롤해야 좋은 연기를 보여줄 수 있는데, 당시에는 이를 구현할 수 있는 노하우가 부족했다. 이러한 문제를 극복하고 양질의 움직임을 얻기 위해, 제작진은 배우의 퍼포먼스를 뒷받침해주는 와이어의 개수나 그린맨 등의 숫자를 늘리고, 후반작업에서 더 많은 시간과 인력을 투입해 이를 CG 처리하는 고단한 과정을 거쳐야 했다. 또한 <무빙>은 각 제작팀 단위의 물리적인 협력뿐 아니라, 배우들의 디지털 더블(특정 인물을 컴퓨터로 만든 복제물)을 제작함으로써 이야기의 표현력을 극대화했다. 인물들의 디지털 더블 제작 기술은 그간 상당히 발전했으나, 프로젝트의 성격이나 예산상의 문제 등으로 이를 충분히 활용하지 못했다. 반면 <무빙>의 시각효과팀은 극중 주요 인물들의 디지털 캐릭터를 모두 제작하기로 결정하고, 배우들의 페이셜 스캔과 풀보디 스캔을 통해 캐릭터의 기본 디지털 애셋을 구축한 뒤, 작업에 참여한 모든 업체들이 이를 공유하면서 물리적으로는 구현이 불가능한 장면들을 디지털 기술을 통해 완성해 냈다.

영화 <노량: 죽음의 바다> 액션 메이킹 스틸, 출처 롯데인터테인먼트

<무빙>의 사례가 과거에도 적용되었던 기술이 보다 진화된 형태로 적용돼 성과를 거둔 경우라면, 팬데믹 이후 영화·영상 제작 업계에서 가장 주목받은 신기술은 버추얼 프로덕션 분야라고 할 수 있다. 2023년 1월 발표된 영화진흥위원회 연구보고서 ‘버추얼 프로덕션 국내외 현황과 전망’에서도 알 수 있듯이, 버추얼 프로덕션은 향후 영화 산업의 판도를 바꿀 패러다임으로 주목받아 왔다. 역시 디즈니플러스 오리지널로 공개된 <만달로리안> 시리즈가 큰 화제를 모은 뒤, 할리우드에서는 <아바타: 물의 길><정글북><바비> 등에서 버추얼 프로덕션이 적극적으로 활용됐다. 팬데믹 기간 동안 국내에서도 비브스튜디오스, 엑스온스튜디오, 덱스터스튜디오 등 여러 업체들이 앞다투어 버추얼 프로덕션에 활용할 수 있는 세트장을 건립했다. 국내 작품의 경우 <고요의 바다><스위트홈><서울 대작전> 등 넷플릭스 오리지널 시리즈와 영화에 처음 도입된 이후, 지난해에는 덱스터스튜디오의 버추얼 스튜디오 D1에서 오랫동안 준비해 왔던 김용화 감독의 <더 문>이 공개됐다. 또 김한민 감독은 <명량>의 경우 직접 물 위에서 전투 장면을 찍어야 했지만, <한산: 용의 출현>과 <노량>의 해상 전투 장면은 버추얼 프로덕션 기술을 적용했다고 밝혔다. 지난해 10월 웨스트월드가 한국콘텐츠진흥원이 마련한 행사를 통해 시연해 보인 ‘2D Driving Comp’는 영화 제작 현장에서도 그 활용도가 대폭 확대되고 있다. 과거 영화 속 운전 주행 장면에서는 견인차(Wrecker)를 이용해 도로를 막고 실제 촬영을 하거나, 아니면 <기생충>의 사례처럼 그린 스크린을 배경으로 크로마키 촬영을 해야 했다. 이는 물리적으로 상당한 시간과 에너지를 소모하는 일이었던 반면, 이제는 차량 운전 장면들은 대부분 버추얼 프로덕션을 활용해서 촬영할 수 있게 된 것이다.

개념적 차원에서, 버추얼 프로덕션은 CG 기술로 창조된 가상적 환경 안에서 영화 장면을 촬영할 수 있는 기술을 뜻한다고 정의된다. 그런데 여기에는 보다 다양한 장비와 소프트웨어, 그리고 이를 운용할 수 있는 기술력 등이 적용되고 있다. 영화 제작 기술이 디지털로 전환된 뒤 그린이나 블루 스크린을 이용한 아날로그적 세트 제작이 남아 있었다면, 버추얼 프로덕션에서는 발광다이오드 월(LED Wall)을 이용해 VAD(Virtual Art Department)를 통해 제작한 시각효과 및 실사 촬영한 배경 이미지를 영사해 촬영을 진행한다. 진종현 덱스터스튜디오 VFX 슈퍼바이저가 시각효과를 총괄한 <더 문>의 경우, 실제 달의 자연환경에 대한 폭넓은 리서치를 통해 리얼리티를 최대한 살리고자 했으며, 달의 우주정거장 장면이나 나로우주센터 내부 등에서 실사 세트와 버추얼 스테이지(Virtual Stage)의 LED 월의 장점을 다양하게 활용해 복합적으로 구현해 냈다.

영화 <더 문> 덱스터 스튜디오 LED 스크린 테스트 장면,
출처 CJ ENM

영화 <더 문>, 출처 CJ ENM

버추얼 프로덕션에서 중요한 또 다른 테크놀로지는 ‘In-Camera VFX(ICVFX)’ 기술이다. 이는 가상의 배경에 실물 세트를 결합하고, 가상의 캐릭터와 실제 배우가 만나는 장면 등의 작업을 실시간 확인하면서 촬영하는 기술이다. 과거 영화 제작 공정에서는 블루·그린 스크린을 활용해 크로마 촬영을 하고, 이를 실제 촬영분과 합성하기 위해 후반작업 기간이 오래 걸렸던 반면, 버추얼 프로덕션은 LED를 이용해 현실과 같은 화면을 투사하고 배우가 그 앞에서 연기하도록 한 뒤, 카메라와 다양한 기술을 사용해 실제 촬영 단계에서 시각효과를 생성해 낼 수 있다. 이러한 기술은 영화 제작 과정이나 스케줄링에서 획기적인 변화를 가져오고 있다. 전통적인 영화 산업에서 제작 과정은 사전제작(Pre-production), 촬영(Production), 후반작업(Post-production)이라는 선형적인 프로세스로 이루어졌으나, 버추얼 프로덕션에서는 비선형적인 프로세스로 진화하고 있다. 촬영에 들어가기 전에 사전제작 단계에서 훨씬 더 많은 시간을 들여 준비해야 하며, 프리비즈 작업이 훨씬 강화되었고, VFX 슈퍼바이저의 역할이 대폭 확대되면서 비선형적인 프로세스로 진화하고 있는 것이다.

현재 버추얼 프로덕션 전반을 컨트롤하는 도구로는 에픽게임즈(Epicgames)의 언리얼 엔진(Unreal Engine)이 가장 각광받고 있다. 언리얼 엔진은 단지 영화나 영상뿐 아니라 게임, 건축, 공연, 메타버스 등 다양한 분야에 광범위하게 활용되고 있는 디지털 콘텐츠 크리에이션(DCC) 및 실시간 렌더링 솔루션이다. 언리얼 엔진은 기존의 3차원(3D) CG에서 활용되었던 마야나 맥스 등의 소프트웨어보다 더 강력한 성능을 자랑하며, 자체적으로 제공하는 디지털 애셋이나 실사 촬영분 등을 결합해 실시간으로 프리비즈를 보다 손쉽게 제작할 수 있다. 프리비즈 단계에서 버추얼 카메라의 위치를 트래킹하고, 버추얼 카메라 리그(Rig)를 기존의 그립 장비와 연동하며, 렌즈 정보 등 카메라의 메타데이터를 추출해서 실제 카메라와 연동하는 작업 등을 가능하게 한다. 그 밖에 이미지 베이스의 카메라 트래킹 데이터를 얻는 시뮬캠(Simulcam)에도 언리얼 엔진이 제공하는 다양한 기능이 최적화되어, <스위트홈> 시리즈에서 보듯 실사 촬영 도중에 실제 환경과 특정 오브젝트, 모션 캡처 기술을 통해 구현한 디지털 캐릭터 등을 실시간 합성할 수 있게 되었다. 물론, 버추얼 프로덕션이 성공하기 위해서는 단지 LED 월이나 언리얼 엔진 같은 시스템뿐 아니라 프로듀서, 촬영감독, 조명감독, 프로덕션 디자이너 등 각 파트의 모든 스태프들과 시각효과 분야의 아티스트들의 협력이 필수적이다.

2022년 열린 넷플릭스 버추얼 프로덕션 오픈하우스 행사,
출처 넷플릭스

2023년 5월 열린 ICVFX 포럼, 출처 덱스터

현재 문화체육관광부를 필두로 전국의 영화 영상 관련 공공기관들은 버추얼 프로덕션의 확대를 위한 다양한 인프라를 확충하고 있다. 지난 1월 11일 유인촌 문화체육관광부 장관은 경기도 고양시에 위치한 엑스온스튜디오의 버추얼 스튜디오에서 방송콘텐츠 산업 발전을 위한 간담회를 가지고 ICVFX를 시연하면서, 첨단 기술을 활용한 방송 기반시설 확충에 공을 들이고 있다는 점을 강조했다. 전주시는 지난해 ‘K-필름 제작 기반 및 영화 산업 허브’ 구축을 위해 전주영화종합촬영소 부지에 버추얼 스튜디오와 특성화 세트장을 조성하기로 했으며, 광주시는 광주정보문화산업진흥원을 통해 버추얼 프로덕션 시장 확산을 위한 ‘VX컨퍼런스’를 개최했으며, 부산시는 부산영상위원회를 통해 버추얼 프로덕션 제작 지원 사업을 실시해 왔다. 또한 영화진흥위원회는 오는 3월 부산시 기장군에 영화 촬영 스튜디오 건립 공사를 착공하면서, 부산 내 버추얼 스튜디오를 활용한 영화 제작 거점을 확충하기 위해 버추얼 프로덕션 스튜디오 구축 타당성에 관한 연구를 진행하고 있다. 버추얼 프로덕션은 이제 막 걸음마 단계다. 팬데믹 이후 한국 영화 산업의 미래를 견인할 새로운 작품을 위해, 관련 분야의 교육 프로그램을 통해 포괄적이고 체계적인 인력 양성이 필요한 시점이다.