특이점. 과학기술적 단어로 급격한 발전을 일어나는 특정 시점을 의미한다. 문화예술과는 다소 거리가 있는 단어처럼 보이지만, 적어도 영화만큼은 이 특이점과 무척 가까운 사이다. 영화는 그 탄생부터가 신기술의 등장에서 비롯되었으며, 영화사를 바꿨다고 하는 지점들 역시 당시 새로운 기술과 모두 결부되어 있다. 편집, 동시녹음, 컬러, 디지털 촬영 등이 그렇다. 그렇게 영화는 100년 역사에서 나름의 특이점을 경험해 왔지만, 어쩌면 앞선 것들과 격이 다른 특이점을 눈앞에 두고 있다. 바로 생성형 인공지능(AI)의 등장이다. 그동안 영화는 어떤 맥락이든, 어떤 기술이든 실재하는 것을 카메라로 촬영한다는 기본 골자를 유지해 왔다. 그러나 생성형 AI의 등장은 상상의 이미지를 형상화하고 이를 움직이게 하는 영상을 탄생시켰는데, 어떻게 보면 애니메이션과 유사하지만, 그 이미지를 인간이 아닌 AI가 만든다는 점에서 그것과도 결이 다르다.

한국영화계 또한 AI의 시류에 크게 관심을 두고 있다. 2024년 부천국제판타스틱영화제에서 AI 경쟁 부문을 신설한 것을 시작으로 다양한 AI 영화제가 생겨났으며, 한국에서 가장 큰 영화제라 할 수 있는 부산국제영화제 또한 AI 영화와 대중의 거리를 좁히려는 여러 시도를 하고 있다. 9월 20일 킨텍스 2전시장에서 아시아콘텐츠&필름마켓(ACFM)이 연 ‘이노아시아 콘퍼런스 3: 영화적 특이점’도 그 일환이다. 이날 현장에는 현재 한국영화계 최초로 AI 장편영화를 제작 중인 양익준 감독과 미드저니, 클링, 구글 등 AI 산업의 기업 인사들이 참석해 창작자, 산업, 그리고 작품에 AI가 미칠 영향 및 미래에 대해 논하였다.

불가능했던 상상,
한국 최초 100% AI 장편영화 <라파엘> ‘이노아시아 콘퍼런스 3: 영화적 특이점’은 모더레이터 테리 람 박사가 해당 행사를 간단하게 소개하며 시작을 알렸다. 홍콩예술대학(HPAKA) 학장 테리 람은 특수효과, 각본 집필 등 영화계는 물론이고 몰입형 미디어와 게임 기술 연구 등 미디어에 대한 전방위적 활동을 보여주고 있는 연구자다. 그는 “공유할 경험이 많고, 그렇기에 AI가 어떻게 영화계를 바꿀 수 있는지 말씀드릴 수 있다”고 말하며 첫 번째 패널 양익준 감독을 소개했다.

마테오 AI 스튜디오와 MBC C&I AI 콘텐츠 랩 소속 연출자 양익준 감독은 생성형 AI의 부흥으로 수많은 AI 영화가 범람하는 지금, 독보적인 커리어를 쌓고 있는 AI 연출자 중 한 명이다. 그는 2024년 1회 대한민국 AI 국제영화제에서 <마테오>로 대상을, 같은 해 1회 부산국제인공지능영화제에서 <목격자>로 최우수 AI 창의 영화상을 받았다. 이날 현장에서 간략하게 자신의 소개를 마친 양익준 감독은 현재 제작 중인 <라파엘> 일부를 시연했다. <라파엘>은 한국영화계 최초로 생성형 AI 기술로 제작한 장편영화다. 현재 제작사들이 AI 단편 혹은 실사와 결합한 중편영화 등을 준비하고 있는데, 마테오 AI 스튜디오는 이미 약 80분 분량의 장편을 2026년 상반기 개봉 목표로 제작하고 있다.

모더레이터를 맡은 홍콩예술대학 테리 람(왼쪽) 박사와
AI 장편영화 <라파엘>을 준비 중인 양익준 감독

<라파엘>은 포스트 아포칼립스와 디스토피아가 결합된 미래 사회를 배경으로 한다. 해수면 상승으로 혼란한 인간 사회는 네오바인이란 독재 국가의 탄생을 불러오고, 네오바인은 구역을 나눠 출산을 통제하는 등 미등록자를 철저하게 차별한다. 이런 사회에서 태어난 소피아는 미등록자 신세로 살아남는다. 최근 MBC 예능 프로그램 <신비한TV 서프라이즈>에 ‘프로젝트 AI’라는 코너로 자체 제작 AI 영상을 제공하고, 온라인동영상서비스(OTT) 플랫폼 ‘웨이브(Wavve)’에 자체 제작 콘텐츠 <더 프롬프트: 넥스트 드라마> 공급을 체결한 마테오 AI 스튜디오는 ‘상업적 가능성’에 맞춰 <라파엘>에 거대한 미래 사회의 스케일을 담아냈다. 물론 시연 영상에서는 한정적인 앵글이나 캐릭터의 불완전한 일관성 등 AI 영화의 한계가 일부 엿보였다. 그러나 한정적인 예산에서 불가능할 것 같은 영화적 상상을 보란 듯이 구현한 것에서 <라파엘>의 도전은 이미 완성형이나 다름없다. 또 양익준 감독은 <라파엘>을 “실사도, 애니메이션도 아닌 AI 애니메이션”이라고 설명하며, 이 작품이 실사영화를 대체하는 것이 아닌 새로운 장르가 될 것이라는 앞으로의 방향성을 제시했다.

인터랙션, 스토리텔링, 다양화로 진화하는 AI 양익준 감독에 이어 두 번째 패널, ‘미드저니(Midjourney)’ 스토리텔링 랩의 정준영 연구과학자는 자사가 현재 집중하고 있는 기술들을 소개했다. 생성형 AI ‘미드저니’는 2022년 출시한 이후 이미지 생성 분야에서 가장 독보적인 위치에 있다. 최근 구글 ‘제미나이(Gemini)’의 나노바나나 모델이 이미지의 일관성 유지 면에서 각광을 받고 있으나 AI 크리에이터들 대다수가 이미지만큼은 여전히 미드저니를 고수할 정도다. 정준영 연구과학자는 현재 미드저니엔 ‘스토리텔링’ 팀이 있다며 AI로 어떤 것들을 할 수 있는지 탐구하고 있다고 밝혔다. 그들은 ‘토이텔러(Toyteller)’라는 툴을 개발했다고 설명했다. ‘토이텔러’는 어린 시절 장난감을 가지고 놀며 상상의 나래를 펼치듯 사용자가 오브젝트를 움직이면 그에 따라 상황을 서술한다. 스케치북 위에 캐릭터 A를 상징하는 말, 캐릭터 B를 상징하는 말이 있다고 가정할 때 A말을 B말 가까이 끌고 갔다가 다시 멀리 두면 “A가 B에게 다가가듯 하려다가 다시 멀어졌다”는 식의 문장이 뜬다. 미드저니 스토리텔링 랩은 이런 식으로 생성형 AI를 활용한 인터랙션 드라마의 가능성을 점치고 있다.

이어 한발 더 나아간 ‘드라마맨서(Dramamancer)’라는 비주얼 툴을 시연했다. 드라마맨서는 일종의 비주얼노벨 게임 툴처럼 보이지만, 그보다 더 간단하게 이야기를 생성할 수 있다. 사용자가 캐릭터, 이미지, 상황, 전체적인 전개를 입력하면 대규모언어모델(LLM) AI가 대사나 상황 서술 등을 생성해 플레이어에게 제공한다. 물론 플레이어가 다른 액션이나 입력값을 넣는다면 그것에 따라 스토리가 유동적으로 변화한다. 정준영 연구과학자는 미드저니 스토리텔링 랩이 ‘구전설화’와 ‘현대 미디어’의 중간 지점을 찾고 있다고 설명했다. 구전설화는 그 현장에 참석한 사람들을 대상으로 하기에 확장성이 없다. 그러나 현장의 청중과 소통하며 변화할 수 있다. 반면 현대 미디어는 무한하게 확장할 수 있으나 정작 이야기 자체는 고정되어 있다. 미드저니 스토리텔링 랩은 그 구전설화의 인터랙션과 현대 미디어의 확장성을 모두 취할 수 있는 형태의 스토리텔링 방법을 생성형 AI에서 찾고 있다.

클링 AI(Kling AI, 이하 클링)의 오퍼레이션 총괄 쩡위션이 세 번째 패널로 프레젠테이션을 이어갔다. 클링은 텍스트 투 비디오(Text to Video), 이미지 투 비디오(Image to Video) 등 움직이는 영상을 생성하는 데 특화된 모델이다. AI 영상 크리에이터들이 주로 쓰는 영상 모델 중 하나로, 이날 쩡위션은 클링이 공개할 2.5 모델을 소개했다(발표일 기준. 현재는 공개된 상태). 이날 현장에서 공개 시연한 영상에 따르면 클링 2.5는 무엇보다 감정 표현력이 확연하게 늘었다. 또한 시연 연상에서 <1917>(2019)을 연상시키는 롱테이크부터 일본 셀 애니메이션 스타일, 극단적인 익스트림 클로즈업 등 다양한 스타일을 구사할 수 있도록 업그레이드한 점을 강조했다. 쩡위션은 클링을 산업에서 보다 전방위적으로 활용할 수 있도록 지금처럼 제작, 즉 프로덕션 단계 이상의 기능을 강화할 것이라고 밝혔다. 비주얼라이즈 콘셉트 기능을 강화해 프리 프로덕션에서 활용하거나 편집과 립싱크 기능 등을 보강해 포스트 프로덕션에도 도움을 줄 예정이다.

쩡위션은 현재 클링을 통해 72개 샷을 제작한 프라임 비디오 독점 콘텐츠 <다윗의 왕국>(House of David), AI 아티스트 루나의 ‘뉴 본(New Born)’ 뮤직비디오, 각종 브랜드의 광고 등을 예시로 현재 미디어 콘텐츠 산업계에서도 클링을 적극적으로 활용하고 있다고 설명했다. 또 클링은 ‘넥스트젠 크리에이티브 콘테스트’를 열어 AI 아티스트를 발굴하고 글로벌 멀티 플랫폼을 론칭해 AI 영상 산업에 추진력을 더한다는 계획도 밝혔다.

이후 구글 클라우드 북아시아 지역 AI 산업 담당자 레이 챈이 네 번째 패널로서 프레젠테이션의 마지막을 장식했다. 레이 챈은 “현재 구글은 20년 이상 AI 경험이 축적되고 있다”며 “다양한 툴과 피드백으로 크리에이터의 파트너가 될 수 있다”고 설명했다. 또 최근 화제를 모았던 이미지 생성 모델 ‘나노바나나’를 소개하며 이미지 일관성을 유지할 수 있다고 밝혔다. 이어 영상 생성 모델 Veo 3도 소개했는데, 오디오와 비디오를 동기화할 수 있는 최초의 모델이라는 설명과 함께 더빙에 따라 입모양이 달라지는 다국어 영상과 음악 연주에 맞춰 첼로 연주자의 손가락이 움직이는 영상을 시연했다. 인터랙션이 가능한 월드 생성 모델 Genie 3, 고해상도 음성 모델 Chrip 3 등 다양한 모델을 유기적으로 사용해 각자에게 맞는 방식으로 작업을 한 단계 업그레이드할 수 있다고 강조했다.

창작하는 인간이 여전히 중심 각 패널의 프레젠테이션이 종료된 후 테리 람 모더레이터와 패널들이 무대에 올라 간단한 질의 시간을 가졌다. “생성형 AI의 시대가 오면서 가장 많이 변화한 점”을 묻는 말에 양익준 감독은 “이렇게 큰 금액이 들어가는 프로젝트는 신인 창작자에게 오지 않는다. 블록버스터를 만들 기회가 생겼다는 게 내겐 가장 큰 변화”라고 답했다. 더불어 “AI 단편영화 <목격자>와 <마테오>는 각각 미국 샌프란시스코, 멕시코가 배경이다. 둘 다 그곳에서 일어나는 일인데, 로케이션 문제없이 구현할 수 있었다”는 점을 장점으로 뽑았다. 한편으로는 “AI가 오류를 일으킬 때도 있는데 그것이 새로운 영감을 주기도 한다”고 덧붙였다.

클링의 쩡위션은 AI 시대의 변화에 대해 “불가능한 스토리를 만들어낼 수 있다”고 말했다. 그는 앞서 일부 시각특수효과(VFX)를 생성형 AI 영상으로 대체한 <다윗의 왕국>를 예시로 “1억 달러가 드는 영화를 1천만 달러에 제작 가능하다. 여러분 머리에 있는 스토리를 구현할 수 있다는 것이 소중하다”고 설명했다. 또한 고인의 사진을 영상으로 만드는 것을 예시로 “아름다운 감정을 만들어낼 수 있는 것이 AI의 아름다운 모습일 것”이라고 언급했다.

“AI가 새로운 예술을 만들고 있는가”라는 질문은 네 패널 모두 큰 변화가 오고 있지만 예술을 정의하는 것은 인간이라는 데에 의견을 모았다. 클링의 쩡위션은 “AI는 현재로선 툴에 불과하다”며 “내 아이디어를 실행하고 AI에게 받는 피드백이 내 스타일에 도움이 될 것이다. 그러나 콘텐츠의 포맷을 만들 수는 있어도 미적 스타일까지 완성하는 것은 아닐 것이다. 스타일은 인간이 만들 것이고 AI는 그 파트너가 될 것”이라는 의견을 밝혔다.

양익준 감독 또한 “앞으로도 특이점이 오겠지만 지금은 초입 단계다. (AI 영화는) 촬영하는 것이 아니라 생성한다. 생성하는 주체는 AI가 아니다. 누가 만드느냐에 따라 퀄리티 차이가 상당하다. AI는 예술을 표현하는 파트너이고, 다만 큰 변화는 올 것”이라는 시선을 견지했다.

미드저니의 정준영 또한 “인간 크리에이터의 역할은 사라지지 않는다. 사람은 크리에이션을 좋아한다. AI 모델이 어떤 작업을 수행하기 위해선 목표가 잘 설정되어야 한다. 창작에선 목표 설정이 어렵다. 좋은 작품은 주관적 평가가 바탕이 된다. 그렇기에 크리에이티브를 AI가 다 감당하는 건 어려울 것”이라며 AI를 사용하는 창작자의 중요성을 강조했다.

행사가 마무리될 때까지 패널들은 생성형 AI가 주는 산업적 변혁에도 불구하고 기술 자체보다 기술을 사용해 ‘창작하는 인간’에게 집중했다. 미드저니는 상호작용을, 클링은 아이디어를, 구글은 방대한 데이터를 중심축 삼아 AI를 사용하는 인간을 돕기 위한 방향으로 나아가고 있다는 얘기다. 생성형 AI의 등장 이후 영상 산업에 반향을 불러올 새로운 특이점이 어떤 형태일지 상상조차 쉽게 되지 않는다. 그러나 지금까지의 발전 속도를 비추어볼 때 그날은 아마도 우리의 예상보다 더 가까이 와 있지 않을까. 기대와 두려움 속에서 지켜봐야 할 것이다.