암스테르담으로 향하는 비행기는 낭만적이지 않았다. 15시간이라는 비행시간 동안 허리가 끊어질 듯 고통스러웠다. 네덜란드에서 개최되는 IBC가 아니었다면 이런 고생도 없었을 일이다. 내 옆에 앉은 한국인은 나와 전혀 달랐다. 15시간을 발표 준비에 쏟아 붓고 있었다. 그 모습이 신기해 슬쩍 훔쳐본 노트북 화면으로 음성을 텍스트로 바꾸는 기술을 활용한 솔루션이 보였다. IBC에 참여하는 게 분명했다.

IBC(International Broadcasting Convention)는 네덜란드에서 개최되는 국제방송장비전시회다. 그렇다고 단순히 장비 전시만 있지는 않다. 다양한 콘퍼런스와 발표 세션도 있다. 글로벌 미디어 기업들이 참여해 미디어 기술 산업 혁신 사례와 솔루션을 발표한다. 올해는 누구나 예상하듯 인공지능(AI)이 핵심 주제였다. 몇 년 전부터 클라우드, 버추얼 프로덕션에 이어 AI로 기술 트렌드가 흘러오고 있었다. 다만, 이 흐름은 단절적이지 않았다. 클라우드가 있기에 AI가 가능했다. 영화진흥위원회(이하 영진위)에서도 이 기술 트렌드가 영화 산업에 주는 변화를 이해하고 대비하고자 했다. 나는 2022년과 2023년에는 버추얼 프로덕션 관련 연구를 했다. 같은 기간에 ‘클라우드를 활용한 리모트 프로덕션’이라는 주제로 ‘영화 기술 콘퍼런스’도 개최했다. 올해 IBC에서는 AI를 활용한 제작 혁신 사례를 조사하고자 네덜란드까지 오게 되었다. 15시간 비행을 마치고 암스테르담 RAI 컨벤션센터에 도착했을 때, 전시장 규모에 압도당했다. 수만 명이 한꺼번에 입장하며 발 디딜 틈이 없었다. 나는 숨을 고르고 새로운 AI 기술을 만나기 위해 전시장으로 들어섰다.

AI 통합 프레임워크가 온다 IBC에서는 매년 ‘액셀러레이터(Accelerator)’라는 프로그램을 운영한다. 이 프로그램에서는 몇 개월 동안 특정 주제를 바탕으로 프로젝트를 진행한다. 결과물은 IBC에서 발표한다. 올해 눈길을 끌었던 프로젝트는 ‘생성형 AI를 위한 프레임워크(A Framework for Generative AI)’였다. 현재 웹상에는 AI 툴이 넘쳐난다. AI 도구가 많아지면 편리해지는 속도보다 학습곡선이 더 크게 발생한다. 도구가 너무 많은 것도 문제가 되는 것이다. ‘A Framework for Generative AI’ 프로젝트 발표자들은 이러한 사실에 주목하고, 프로젝트 시작 전 6개의 문제를 선별했다.

① 기술 격차와 학습곡선: AI 활용 기술과 수준이 제각기 다르다. 기업마다 다르고 부서마다 다르고 개인마다 다르다. 게다가 새로운 생성형 AI 툴이 빠르게 출시되어 연구개발(R&D) 부서조차 따라가기 힘든 상황이다.
② 도구 파편화 문제: 수백 개가 넘는 AI 도구가 각기 다른 방식으로 작동한다. 이 도구를 모두 구독할 수도 없다. API를 활용하면 되지만 API를 제공하지 않거나 제한적으로 제공하는 경우가 있어 통합이 어렵다.
③ 고품질 출력물 생성 문제: 생성형 AI는 빠른 프로토타이핑 제작에는 유용하다. 방송 수준으로 품질 기준을 높이기엔 아직은 어렵다.
④ 창작 과정에서 일관성 문제: 캐릭터 일관성, 폭력적 콘텐츠 표현 제약, 동물 묘사 사실성, 포토리얼리즘 구현 등 잘 알려진 문제들이 많이 있다.
⑤ 데이터 편향성 문제: AI 모델은 대부분 북미와 유럽 중심으로 학습 데이터를 훈련했다. 다른 지역이나 문화적 특성을 반영하는 데 어려움이 있다.
⑥ 투자 리스크: AI 기술이 빠르게 변화하기 때문에 자체적으로 10~15년 사용을 전제로 한 기술 투자가 무용지물이 될 위험이 있다. 기업에서 AI를 자체적으로 도입하기 어려운 이유다.

이 프로젝트가 대단한 점은 이 주요 과제들을 의도적으로 포함해 고대 로마를 배경으로 한 영상 프로젝트를 수행했다는 점이다. ‘이미지는 나노 바나나(Nano Banana), 영상은 클링(Cling)을 사용해서 만들면, 짠! 이렇게 됩니다!’라는 식으로 보여주는, 단순한 기술 시연이 아니었다. 고대 로마는 역사적인 건축물이 많다. AI로 고대 로마 배경을 생성하려고 하면 정확한 데이터를 만들기 어렵다. AI 모델이 갖는 데이터 편향 문제가 있기 때문이다. 그렇기 때문에 프로젝트 참가자들은 일부러 고대 로마를 배경으로 선택했다. 또한 장면이 바뀔 때마다 나타나는 건축물과 캐릭터 일관성 문제를 해결하기 위해 다양한 방법을 고려했다. 학습곡선이나 도구 파편화 문제는 오픈소스를 활용해 통합 워크프레임을 만들었다. 단순히 AI로 프로토타입 영상을 만드는 프로젝트가 아니었다. 풀고자 하는 문제를 정의하고, 프로젝트로 이를 실현하는 접근 방식이 혁신적이었다.

실제로 생성형 AI가 영화 제작 과정에 포함되기 위해서는 한두 개의 AI 도구로는 제약이 많다. 물론 레퍼런스 이미지를 찾거나 만드는 과정에서 그때그때 AI를 활용해 물어볼 수도 있다. 예를 들어 ‘고대 로마를 배경으로 부서지지 않은 콜로세움 이미지를 만들어줘’라고 하고, 잠시 기다렸다가 반환된 이미지를 확인한다. AI가 부서진 콜로세움 이미지로 학습을 해서인지, 반환된 이미지는 여전히 콜로세움이 부서져 있다. 다시 질의를 한다. ‘아니, 부서지지 않은 콜로세움 이미지를 반환해줘.’ 드디어 이미지가 나오면 이 이미지를 컴퓨터에 저장한다. 그러나 불안감이 든다. 이 이미지를 나중에 다시 보게 될까. 필요할 때 찾을 수 있을까. 이렇게 되면 이미 워크플로가 깨진 셈이다.

프로젝트 팀이 보여준 사례는 API를 통해 연결하는 워크플로다. 이미 Make, n8n, Zapier와 같은 자동화 프로그램을 사용하면 다양한 API를 연결해서 코드 없이 워크플로를 생성할 수 있다. 프로젝트 팀이 보여준 사례는 ‘Comfy’라는 오픈소스로 API를 활용해 통합하는 방식이었다. 이 방식을 이해하려면 우선 API가 무엇인지부터 이해해야 한다. ‘Application Programming Interface’(응용 프로그램 인터페이스)의 약자다. 세상에 존재하는 수많은 소프트웨어는 특정한 데이터를 생성하거나 관리한다. 영진위에서 운영하는 영화관입장권 통합전산망은 특정 영화에 관객이 얼마나 왔는지에 대한 발권 데이터를 수집하고 관리한다. API도 제공한다. 그 덕분에 다른 소프트웨어에서 영진위 통합전산망 홈페이지에 접속해보지도 않고 특정 코드 몇 줄로 관객 수가 몇 명인지를 바로 확인할 수 있다. 홈페이지에 와서 메뉴를 누르고, 영화명을 검색하고, 어제 관객 수를 확인하는 단계들이 이미 작성된 코드 몇 줄로 수 초 만에 끝나 버린다.

마찬가지로 생성형 AI도 이런 구조로 사용할 수 있다. 인풋으로 생성하고 싶은 이미지 프롬프트를 작성해서 코드와 함께 전달하면, 몇 초 후 아웃풋으로 생성된 이미지를 URL(Uniform Resource Locator)로 전달받게 된다. 이게 하나의 모듈이다. 이미지를 생성하는 모듈이 있고, 인풋과 아웃풋으로 구성되면 다음 모듈을 붙이면 된다. 예를 들어, 다음 모듈은 영상을 생성하는 AI다. 인풋으로 앞서 만든 이미지를 주면 된다. 이미지 생성 모듈에서 만들어진 아웃풋 이미지가 바로 다음 AI의 인풋이 되면서 영상 생성으로 이어지는 것이다. 이 모든 작업을 각기 다른 AI 모델을 활용해서 할 수 있다.

프로젝트 팀은 이런 방식으로 API를 통합해 16개가 넘는 AI 도구를 한 프레임워크에 통합했다. 이 과정에서 더 정밀한 프로토타입 영상을 만들기 위해 여러 노드를 연결하고 실험했다. 프롬프트를 수없이 고쳤다. 그렇게 해서 공개한 데모 영상은? 시네마틱한 퀄리티까지는 아닌, 말 그대로 프로토타입이었다. 하지만 다양한 AI 도구가 프레임워크에 모듈로 엮여서 빠르고 쉽게 영상을 만들어낼 수 있다는 점이 핵심이었다. 프로젝트 팀은 구글 베오(Veo) 3로 립싱크 문제를 해결하고, 최근 발표된 나노 바나나로 이미지 일관성 문제를 해결했다고 말했다. 다만 방송에서 사용하는 10비트 고해상도 RAW 포맷으로 이미지를 출력할 수 없는 문제, API가 없는 도구를 프레임워크에 통합할 수 없었던 문제를 설명했다. 스토리 측면에서도 AI가 이야기에서 중요한 전환점을 찾아내거나, 감정적인 뉘앙스를 이해하고 표현하는 부분에서 분명한 한계가 있었다고 말했다. 아쉬운 점은 있었지만, AI를 통합한 프레임워크는 이제 서막을 연 셈이었다.

아마존의 ‘스튜디오 인 더 클라우드’ 전략 이번에는 영화 옆 동네 이야기다. 아마존 프라임 비디오(Amazon Prime Video)가 촬영지에서 9천km 떨어진 곳에서 촬영 카메라에 대한 실시간 제어와 편집을 한 사례를 발표했다. 발표자는 아마존 MGM 스튜디오의 Tim Bock. 그는 자신을 ‘Head of Production Innovation’이라 소개했다. 번역하자면 제작혁신책임자 정도가 되겠다.

그는 프로덕션 어시스턴트였던 30년 전, 한 회 차 방송 촬영분에 해당하는 75개 테이프를 폭스바겐 차에 가득 싣고 할리우드 거리를 운전하던 이야기를 했다. 테이프는 하나당 무게가 5kg이었다. 차가 좁아 운전대와 다리 사이에 테이프를 놓았다. 목까지 차오른 테이프를 들고 위험천만하게 운전하던 이야기를 들으며 사람들은 아찔했던 그 순간을 상상했다. 시간이 지나서 그 테이프는 하드디스크가 되었고, 이제는 클라우드가 되었다. Tim은 더 이상 차에 테이프를 싣고 위험하게 운전할 필요가 없을뿐더러, 제작 공간에서도 무거운 장비, 복잡한 케이블이 간소화되기 시작했다고 말했다. 물리적 제약이 사라지고 있었다. 이는 장비와 케이블, 인프라를 설치하고 관리해야 하는 대규모 인력들 또한 더 이상 필요하지 않다는 뜻이었다.

Tim이 소개한 사례는 덴마크의 방송 프로그램인 ＜Last One Laughing＞이었다. 촬영은 스톡홀롬에서 했고, 라이브 편집은 로스앤젤레스(LA)에서 했다. 스톡홀롬에서는 OB(Outside Broadcasting) 트럭을 통해 일반적인 제작 방식으로 촬영을 진행했다. 40대가 넘는 카메라 멀티 뷰 소스를 받아 라이브 카메라 스위칭, 원격 카메라 제어, AI 카메라 트래킹, 스마일 감지, 전사 기능을 포함한 편집은 아마존웹서비스(AWS) 클라우드를 통해 로스앤젤레스에서 진행되었다. 이러한 초원격 제작이 가능한 것은 모든 스튜디오를 클라우드로 옮기겠다는 아마존의 야심 찬 목표 덕분이다. 아마존은 ‘스튜디오 인 더 클라우드’라는 전략을 9개 핵심 영역으로 나누어 체계적으로 추진하고 있다. 원격 제작, 데일리 인제스트, 편집, 컨펌, 시각특수효과(VFX), 색 보정, 사운드, 마스터링 및 딜리버리, 품질 관리까지 모든 제작 과정을 AWS 클라우드에서 가능하도록 실험해보고 있다. NAB, IBC, SMPTE와 같은 다양한 방송장비 전시 및 포럼에서 AWS는 무비랩스 2030 비전(MovieLabs 2030 Vision)을 주도적으로 실천하고 있다. MovieLabs에는 디즈니, 파라마운트, 소니, 유니버설, 워너브러더스와 같은 할리우드 메이저 스튜디오가 창립 멤버로 있으며, 제작, VFX, 후반작업 과정을 클라우드 기반으로 옮기기 위해 다양한 프로젝트를 진행하고 있다.

물론 아마존 프라임 비디오의 ＜Last One Laughing＞사례에서도 여러 어려움이 있었다. 촬영 카메라가 스톡홀름에 있기 때문에 AWS 인스턴스를 스톡홀롬 인근 리전에 설치했다. 여기서 인스턴스란 AWS에서 제공하는 컴퓨팅 리소스다. 서버로 작동하기 위한 클라우드 내 컴퓨터를 인스턴스라고 부른다. 촬영지인 스톡홀름 근처에 인스턴스가 있어야 클라우드를 실시간으로 제어하는 게 논리적인 것처럼 보였다. 하지만 실제 3초 정도 지연이 발생했다. 라이브 쇼라면 절대로 받아들일 수 없는 지연시간이었다. Tim은 이 문제를 해결하기 위해 다양한 솔루션을 적용해보았고, 최종적으로 AWS 인스턴스는 촬영지가 아닌 편집을 하는 로스앤젤레스에 있어야 한다는 것을 깨달았다고 했다.

이러한 도전과 실패가 보여주는 건 명백하다. 아마존 프라임 비디오도 여전히 성장하는 중이라는 점이다. 원격 제작에 대한 아이디어를 실현하기 위해 다양한 실험에 도전하고 실패를 통해 학습하는 중이다. 아마존 프라임 비디오는 향후 몇 년 내, 글로벌로 배포되는 모든 콘텐츠를 대상으로 앞서 언급한 아홉 가지 제작 영역을 모두 클라우드로 이전하겠다는 계획을 발표했다. 이미 2025년에는 콘텐츠 50%가 클라우드로 이전했다. 내년에는 75%를 목표로 하고 있다고 했다. 이제 이 전환은 단순히 아마존만 해당하는 일이 아니라 업계 전체에서 일어나는 움직임이라고 강조했다. Tim은 박수를 받으며 자리를 떠났다. 나는 자리를 뜰 수 없었다. 영화 옆 동네에서 일어나는 일이 남 일 같지 않았다. 영화도 이러한 도전과 성장을 위해 꾸준히 도전해야 할 것만 같아 얼얼했다.

AI가 창작자를 재정의한다 AI로 이미지가 만들어지고 영상이 생겨난다. 소라(Sora) 이후에 Veo까지 이제는 혁신이 일상이 된 시대다. 창작자들도 이 기술을 어떻게 활용할지 고민하고 있다. IBC에서도 기술을 활용해 만든 혁신 사례들을 소개하는 자리가 대다수였는데, 전혀 다른 관점도 있었다. 기술이 사용자를 변화시킨다는 관점이다. Wpp Hogarth 소속 Timothy Last는 ‘AI in Post-Production’이라는 세션에서 AI가 창작자들을 변화시키는 모습을 소개했다. AI가 등장하고 창작자들은 자신들이 해 오던 워크플로를 보조하는 역할로 AI를 사용했다. 실제 Timothy가 연구했을 때도 많은 창작자가 로토스코핑, 마스킹, 오브젝트 제거와 같은 반복적인 작업에 AI를 사용했다. Timothy는 이 기술 사용에 역설적인 긴장이 있다고 했다. 단순 작업 자동화를 위해 AI를 도입했지만, 결과적으로는 창작자 정체성에 변화가 생기고 있다는 것이다.

기존에 창작자들은 특정 기술을 익히기 위해 수년간 프로젝트에 참여하며 반복적인 작업을 수행해 왔다. 이 과정에서 기술적 전문성이 생겨났다. 영화계에서도 도제식 시스템은 이런 반복적인 기술 작업을 통해 훈련된 스태프를 메인 창작자로 성장시키는 시스템이었다. AI는 이런 작업을 대체했고 균열을 만들었다. 기술 중심에서 창의적인 기획과 의사결정이 더 중요해지며 ‘기술’ 자체에 대한 역할을 재정의하게 되었다. 작업 과정도 변화했다. 미디어 콘텐츠 제작은 기획부터 편집까지 선형적인 과정을 거쳐 왔다. 이제는 편집자가 이미지도 만들고 VFX, 사운드 디자이너 역할까지 할 수 있게 있다. 전통적인 역할 구분과 작업 순서가 완전히 바뀌고 있다.

이는 기술 영역이 확장되고 있다는 의미다. 창작자들은 자신의 주 분야를 넘어 다양한 영역에서 기술을 습득하고 활용할 수 있어야 한다. 단순한 하이브리드 편집자가 아닌 완전히 새로운 유형이 등장한 것이다. Timothy는 창작자들이 한 전문 분야에서만 게이트 키핑을 하던 역할에서 벗어나 AI 도구를 활용해 다양한 기술 영역을 조율하고 통합하는 오케스트레이션 역할로 발전하고 있다고 설명했다. 단순한 반복 작업을 대체하려고 사용하기 시작한 AI였는데, 이제는 창작자들이 해야 하는 역할을 완전히 변화시키고 있었다.

이런 주장을 뒷받침하듯 영화와는 전혀 다른 분야이지만 스코어플레이(ScorePlay)에서 준비한 세션에서는 다양한 기술을 조율해 새로운 혁신을 만들어내는 사례를 소개했다. ScorePlay는 AI 기반 미디어 자산관리 솔루션을 제공하는 회사다. 스포츠와 미디어 산업에서 촬영된 콘텐츠를 즉각적으로 자동 인덱싱해 필요한 부서와 팀원에게 접근 권한을 주어 활용할 수 있도록 해준다. 예를 들어, 축구 경기 종료 후 리오넬 메시 선수 하이라이트를 클립으로 만들어야 하는 홍보 팀이 있다고 하자. ScorePlay를 사용하면 전체 경기 촬영 소스에서 자동으로 특정 경기에서 뛴 메시 선수 하이라이트 영상을 클립으로 만들어서 전달해준다.

이러한 솔루션은 그 자체로도 훌륭했지만, ScorePlay가 3명으로 시작해 첫 2년간 엔지니어 2명으로 이 솔루션을 만들었다는 사실이 놀라웠다. 이토록 복잡한 과정을 설계하고 구현할 수 있었던 건 이들이 다양한 분야에 대한 이해를 위해 노력하고 AI 기술을 활용할 수 있었기 때문이다. 더욱이 클라우드를 전문적으로 사용하고 있다는 점이 놀라웠다. 정보기술(IT) 솔루션을 만드는 과정에서 첫 진입장벽은 인프라다. 하지만 클라우드에서는 인프라를 살 필요 없이 필요한 만큼 빌릴 수 있다. AI가 있기 때문에 시스템을 만드는 과정도 빠르다. 서비스 자체도 AI를 활용해 제공한다. 개발과 서비스 모든 과정에 AI를 통합할 수 있었던 건 클라우드에서 파운데이션 모델을 제공했기 때문이다. 한국에서는 유독 비용 걱정 때문에 꺼리는 클라우드이지만, 해외에서는 클라우드로 수익을 만들고 다른 분야에서 비용을 절감할 수 있기 때문에 적극적으로 클라우드를 활용하고 있었다.

클라우드, IBC의 진짜 주인공 다시 한국으로 돌아가는 비행기. 비행시간만 13시간이었다. 안전벨트를 매고선 지난 시간을 떠올렸다. IBC에서 AI는 누가 봐도 주인공이었다. 하지만 진짜 주인공은 AI가 아니었다. 클라우드였다. AI는 클라우드에서 작동한다. 클라우드를 사용할 줄 알면 다양한 AI 도구를 통합할 수 있다. 해외 메이저 스튜디오들이 AI를 워크플로에 통합할 수 있는 이유도 제작 방식을 클라우드로 이전하고 있기 때문이다. Timothy가 말하는 오케스트레이션 역할로 창작자들이 진화하기 위해선 AI 시대에 기반 기술인 클라우드를 활용할 수 있어야 했다. AI 프레임워크를 만들어 API로 다양한 AI 도구를 통합하려고 해도 클라우드가 있다면 더 빠르게 인프라를 만들 수 있다.

한국에서 최근 AI를 활용한 영화 제작이 시작되었다. 10월 15일에 개봉한 <중간계>는 강윤성 감독이 AI를 활용해 컴퓨터그래픽(CG) 작업을 3분의 1로 줄여 제작했다. 이런 시도들이 계속되다 보면 자연스럽게 더 효율적인 방법을 찾게 될 것이다. AI가 지닌 가능성을 실현하기 위해서 선구적인 사례를 찾다 보면 결국 클라우드를 만나게 될 것이다. 비행기가 이륙하고 구름을 뚫고 지나가는 동안 영진위가 나아가야 할 길이 어디쯤 있을지 상상했다. 정답을 알 순 없었지만 끊임없는 도전과 실패만이 그 답을 알려줄 것만 같았다.