안녕하세요. 팀 더배러의 필진으로, 조금 더 나은 오늘을 여행하는 비주얼 디렉터 민트베어 입니다. 오늘은 히치하이커 AI 시리즈에 잠시 쉼표를 두어 갑니다. 조금 다른 이야기를 들려 드리려 해요.

지난 여름, 저는 행운의 힘을 빌어 마테오(Mateo)라는 AI 영화 프로젝트에 참여하게 되었어요.

그리고 AI 영화 <마테오 Mateo>가 지난 주, 제1회 대한민국AI국제영화제에서 ‘대상’을 수상했습니다.

그래서 오늘은 AI 영화 프로젝트를 소개드리고, 그동안 AI를 연구하며 달려온 길을 돌아보며 AI 히치하이커의 다음 여정을 준비하려 합니다.

먼저, AI 영화 마테오(Mateo) 에 대해 소개드려 볼게요.

영상) AI Movie, Mateo Trailer.

영화 개요

• 영화 마테오(Mateo)는 16분 길이의 AI 드라마입니다.
• 순수 AI 영화로 이미지, 비디오, 사운드의 모든 요소를 AI 기술을 이용하여 생성했습니다.
• 멕시코 거대 아보카도 농장 경영주 마테오(Mateo)라는 인물의 드라마틱한 일대기를 소재로 그렸습니다. 물론 마테오는 가상의 인물입니다.
• 내러티브 프레임 구조로 현재의 스토리 중 과거를 플래시백 회상하는 액자식 구성을 활용하였습니다.
• 모든 영상이 거의 실사에 가까운 비주얼로 연출 되어, 국제영화제 주간 기준으로 아직 찾아보기 어려운, 웰메이드 AI 영화라고 생각합니다.

AI 기술

• Midjourney, Gen-3, Kling, Luma, Suno 와 같은 가장 최신의 이미지/비디오/사운드 AI 생성 도구와 전문가 기법을 사용하였습니다.
• 각 AI 도구의 장단점과 특징이 다르기 때문에, 스토리와 미장센에 따른 도구의 선택적 활용이 필요했습니다.
• 일관된 캐릭터 유지와 정교한 영화적 연출을 위해 이미지와 비디오 생성에 많은 AI 프롬프팅 노하우를 접목하였습니다.
• 캐릭터의 감정을 전달하는 데 도움이 되도록 사운드와 음악적 요소에 많은 노력을 기울였습니다.
• 영상 편집 과정에는 Adobe Premiere Pro, Photoshop 등의 전통적인 편집 도구를 활용하였습니다.
• VFX 특수 효과는 총격 씬에 2회 적용되고, 나머지는 모두 비디오 생성 AI 기술을 이용하여 연출되었습니다.

팀 구성 및 지원

• 마테오 프로젝트는 젊은 영화 감독이자 작가인 문신우, 양익준, 정주원 감독이 공동 집필하고 연출한 작품입니다.
• AI 이미지와 AI 비디오 생성 기술 역으로 비주얼 디렉터 mintbear(이상훈) 과 Vincent. J(임준섭)이 팀원으로 참여하였습니다.
• 다섯 명의 모든 팀원이 Midjourney, Gen-3를 비롯한 모든 AI 도구를 전문가 수준으로 다루고 있어, AI 생성 커뮤니케이션과 프로젝트 진행은 가장 효율적으로 수행되었습니다.
• 마테오 프로젝트는 MBC 씨앤아이의 AI XR 콘텐츠랩 지원사업, 창작자 지원 프로그램에서 정말 큰 도움을 받았습니다.
• 이 페이지를 통해 프로젝트에 도움을 주신 MBC 씨앤아이 이상욱 팀장님과 석정우 국장님, 그리고 함께 해주신 AI 창작자 여러분들께 다시 한 번 감사의 인사를 드립니다.
• 정말 많은 분들께 도움을 받았습니다.

작업 소개

• 프로젝트는 스토리, 시놉시스, 스토리보드를 먼저 구성하고, 이후 AI를 이용한 사운드, 이미지, 비디오 생성과 영상 편집 순으로 진행되었습니다.
• 이미지를 생성하여 컨셉 보드를 구축하고, 등장하는 여러 캐릭터의 스탠다드 이미지 보드를 설정하고 진행되었습니다.
• 일관된 캐릭터 연출이 중요하기 때문에 다양한 장면에 따르는 사전 테스트를 진행하였습니다.
• 이미지와 비디오 생성에 앞서, 음악 생성 AI인 Suno로 메인 사운드 트랙을 먼저 준비하였습니다.
• 스토리 및 컨셉 보드의 기준에 따라 모든 구성원이 각 파트의 이미지와 영상을 분담하여 생성하고, 생성된 AI 영상은 최종 편집자가 각 타임라인에 활용, 편집하였습니다.
• 다섯 명의 팀원이 모두 각자 이미지를 생성하였기 때문에, 실제 생성된 이미지는 수만 장에 이르렀습니다.
• 비디오 생성 AI 기술도 아직 완벽한 컨트롤이 어려운 수준이기 때문에, 연출이 어려운 장면의 경우 약 20배수 이상의 비디오 생성과 실질적 결과물을 위한 타협적 선택이 필요했습니다.
• 결과적으로 최종 작품에 사용된 이미지와 비디오의 수십배에 이르는 B-Cut 이미지와 비디오가 생성되었고, 매일 매일 매우 엄격한 기준에 의해 선별되어 활용되었습니다.
• 이 과정에서 저희 스튜디오만의 생성 및 연출 기법 외에도 다양한 데이터 관리 기법이 습득되었습니다.

AI 영화에 대해서

마테오 프로젝트에서 AI는 거의 모든 한계를 극복하도록 도와준 가장 멋진 또 한 명의 동료이자, 훌륭한 스태프였습니다.

매력적인 여러 배우의 캐스팅을 가능하게 하고, 지구 반대편의 공간을 영화 배경으로 제공해주었죠. 멕시코에 숨겨진 거대 아보카도 농장, 울창한 숲, 오래된 멕시코 스타일의 건물과 도시를 촬영 장소로 준비하고, 필요에 따라 건물을 폭파하거나 불태우는 장면을 위해 저희 마테오 팀에 필요한 것은 오직 상상력뿐이었습니다. 어떠한 추가 비용도, 허가 서류도 없이 말이죠.

AI 배우들의 연기도 빠르게 성장하고 있었습니다. 현실의 대배우 연기력에 비할 바는 아니지만. 모든 AI 배우들은 밤이나 낮이나 각 상황에 빠르게 몰입해 주었고, 점차 대본에 숨겨진 감정을 찾아 스크린에 보여주기 시작했습니다. 대사와 함께 표정으로 자연스럽게 연기하는 립싱크 기술도 빠르게 발전하고 있음을 이번 영화를 통해 확인하였습니다.

하지만, 이번 주 국제영화제 중에 발표된 Runway Gen-3의 Act-One 기술 하나만으로도, 금년 하반기와 내년 AI 영화의 기술적 스타일은 완전히 변모할 것으로 보여집니다. (Act-One : 우리가 직접 연기하여 촬영한 비디오를, V2V 방식으로 시네마틱하게 변환하는 기술입니다.)

그래서 저희 마테오 팀도 업데이트되는 최신의 AI 기술을 빠르게 캐치하고 훈련하며, 즉시 활용해야 했습니다. 또 기술을 다양한 영화적 기법으로 해석하고 활용하는 창의성과 유연성도 필요했습니다. AI 비디오에 관심이 있는 분들은 커뮤니티 등을 통해서 최신의 AI 정보를 꾸준히 체크하시기 바랍니다.

앞으로 정말 다양하고 새로운 형태의, 또 놀라운 수준의 AI 영화를 많이 만나시게 될 거에요. 또 이 즐거운 여정에 직접 참여해보시면 좋겠습니다. 이전의 히치하이커 여러 편에서 전해 드린 것과 같이, 이제 비디오는 우리 모두의 언어가 되어가고 있으니까요.

히치하이커의 AI 프로젝트

우리는 오늘도 더배러를 찾아가고 있습니다. AI를 여행하는 히치하이커라면 아마 모두 비슷한 이유일 거라 생각합니다. 새로운 기술이 주는 당황스러움에도 불구하고, 새로운 길을 열심히 찾아가고 있으실 거에요.

저희 마테오 AI 스튜디오도 또 새로운 도약을 준비하고 있습니다. 매일 새로운 AI 기술을 즐겁게 테스트하고, 필름에 바로 적용하기 위해 노력하고 있습니다. 많은 분들의 격려와 다양한 형태의 참여를 부탁드립니다.

그동안 히치하이커 AI 시리즈를 응원해주신 더베러 구독자님께 감사의 인사 드립니다. 더 재미있는 이야기를 찾아, 이 즐거운 AI 여행을 이어가겠습니다.

지난 편들도 잘 챙겨서 살펴 주시구요. 그럼 다음 편에서 만나요~

🍀 상상과 아이디어를 시각화하는 AI 비주얼 디렉터, 민트베어

• 마테오 AI 스튜디오 https://www.mateoaistudio.com/
• 민트베어의 Gen-3 비디오 프롬프트 북 https://slashpage.com/gen3
• 히치하이커 1부. 당황하지 마세요, 히치하이커  https://stib.ee/QOdC
• 히치하이커 2부. 상상을 이미지로 구현하는 방법 (T2I)  https://stib.ee/Ya8D
• 히치하이커 3부. 그림으로 말해요: AI와 이미지로 대화하기 (I2I)  https://stib.ee/TKSD
• 히치하이커 4부. 비디오 팔레트 : AI로 그려가는 다음 장면 (T2V,I2V,V2V)  https://stib.ee/TJoD
• 히치하이커 5부. 비디오 프롬프트 : 영화에서 빌려오기 https://stib.ee/eaVE