👤 AI로 영상 편집을 하다보니 AI 조직이 생겼습니다 (243호)

AI로 영상 편집을 하다보니 AI 조직이 생겼습니다

처음에는 웹앱을 만들 생각이 없었습니다. 제가 하고 싶었던 것은 영상 편집 자동화였습니다. AI가 컷을 정리하고 필요한 내용을 삽입해주는 정도면 충분하다고 생각했습니다.

그런데 막상 사용해보니 욕심이 하나씩 생겼습니다. 결과물을 웹에서 바로 확인하고 싶었고, 수정된 내용을 보면서 피드백도 주고 싶었습니다. 텍스트를 고치는 것만으로 컷을 편집하고, 클립 순서를 바꾸고, 타임라인으로 전체 구조도 보고 싶어졌습니다.

편집하면서 불편한 점이 생길 때마다 기능을 하나씩 추가했습니다. 그러다 보니 처음에는 AI가 만든 결과를 확인하기 위한 도구였던 것이 어느 순간 하나의 영상 편집 웹앱이 되어 있었습니다.

필요해서 만들다 보니 편집기가 됐습니다

ChatGPT 데스크톱 앱에서 Astra(Medium)를 사용했으며, 처음에는 하나의 AI 대화창에서 영상 편집을 진행했습니다.

하다보니 AI가 수정한 사항을 확인하고 피드백을 주는 과정이 불편했습니다. 그래서 대시보드를 만들었습니다. 이를 통해서 AI의 수정 내역을 리스트로 보고, 건별로 피드백을 입력하여 제출하였습니다.

그런데 어떤 작업들은 프롬프트를 입력하는 것보다 제가 직접하는 것이 더 편하고 빠르겠다는 생각이 들었습니다. 특정 말을 뺀다거나(컷편집), 특정 구간의 화면을 바꾸는 것 말입니다. 그래서 에디터를 만들기 시작했습니다.

제가 상상하는 AI Agent와 협업을 위한 영상 편집 도구 모델은 없었습니다.
그것은 Cutback이나 Descript 처럼 텍스트 기반으로 편집할 수 있으며, Final Cut Pro의 마그네틱 타임처럼 클립 조작이 편리해야하며, 각 클립은 재사용(구도를 템플릿화)할 수 있는 구조로 구상했습니다.

처음에는 하나의 AI 대화창에서 영상 편집과 개발을 모두 처리했습니다. 하지만 금방 한계가 생겼습니다. 제가 정말 급하게 해야 하는 일은 영상 편집인데, 웹앱 개발로 주객전도가 되고 있었기 때문입니다.

그래서 웹앱 개발을 중단하고 다른 도구들을 활용하는 방법을 찾기 시작했습니다. Premiere, Davinci Resolve, Capcut 등 유명한 도구들은 다 써봤으며, 오픈소스 솔루션들도 찾아서 써봤습니다만 성애차지 않았습니다.

이런 것들 쓸 바에 그냥 개발하는게 더 빠르겠다는 생각이 더 커졌습니다.

하나의 AI가 아니라 역할을 나누기 시작했습니다

그래서 대화창을 나눠서 진행했습니다. 한 대화창은 영상 편집만 하고, 다른 대화창은 웹앱 개발만 맡겼습니다. 편집용 대화창은 편집만하고 개발은 하지 못하게 했고, 개발하는 대화창은 개발만 하게 했습니다.

그리고 편집 세션에는 이렇게 지시했습니다.

“편집하다가 필요한 기능이 없으면 개발 세션에 요청하고, 개발이 끝나면 직접 테스트하십시오. 문제가 있으면 다시 수정 요청을 하십시오.”

그러자 재미있는 일이 생겼습니다. 저는 최종적으로 원하는 영상 결과물만 이야기했는데, 편집 에이전트가 작업에 필요한 기능을 개발 에이전트에게 요청하고, 테스트하고, 다시 피드백하기 시작했습니다.

이전에는 제가 중간 단계마다 개입했다면, 이제는 AI끼리 그 루프를 돌기 시작한 것입니다. 영상 제작과 웹앱 개발이 동시에 진행된 것입니다.

영상 편집 결과물을 확인하는 것도 병목으로 느껴져, 이를 평가하는 대화창도 새로 추가했습니다.

개발자, 편집자, 리뷰어가 생긴 셈입니다.

하지만 세션이 늘어나자 다른 문제가 생겼습니다. 제가 세 개의 세션을 돌아다니며 일일이 프롬프트를 넣어야 했습니다.

그래서 마지막으로 ‘매니저’ 역할을 하는 대화창을 만들었습니다.

그 뒤부터는 매니저에게만 이야기했습니다. STT를 켜고 “이 부분은 이상하고, 저 기능은 불편하고, 이건 먼저 처리해 주세요”라고 이야기하면 매니저가 내용을 작업 단위로 쪼개 각 대화창에 전달했습니다.

개발 요청은 개발 대화창으로, 편집 요청은 편짐 대화창으로 보냈고, 필요하면 작업 우선순위도 조정했습니다.

특히 AI가 중간에 “이렇게 할까요?”라고 묻고 멈춰 있는 문제를 줄이는 데 도움이 됐습니다. 작업이 멈추지 않고 계속 흐르도록 매니저가 일을 요청하고 다음 단계로 넘겼습니다.

결국 ‘매니저’가 필요했습니다

결국 만든 것은 작은 AI 팀이었습니다

🌱 빠른 세상 속에서 천천히 되어가는 사람, 이태극  

💬 이번 주 더배러 톡방 하이라이트

🎛️ 최고의 모델을 찾다가, 일을 나누는 법으로

이번주 초에는 Astra와 Fable의 코딩·기획 능력을 비교하는 후기가 쏟아졌습니다. 루테넌트(김민석)|개발님은 Astra의 구현 능력에 높은 만족을 보였지만, Tofukyung/프리/llmwiki님은 큰 그림을 조망하고 창의적으로 문제를 푸는 데 Fable이 여전히 유용하다고 이야기했습니다. 대화는 주말까지 이어져, 하피/1인기업/AI님이 설명한 ‘상위 모델과 기획하기 → 가벼운 모델로 구현하기 → 커밋을 감지해 검증하기’라는 역할 분담으로 구체화됐습니다. 한편 김정민_AI•자동화님은 같은 작업이 96번 재시도된 경험을 나누며 재시도 제한을 두기로 했습니다. 누구에게 맡길지만큼, 언제 멈추고 무엇을 확인할지 정하는 일이 중요해진 한 주였습니다.

🔎 매끈한 답변일수록, 원문으로 한 번 더

타래(사이시옷)/업무혁신님이 공유한 AI 반복 수정과 검증을 다룬 당근메일 글은 ‘고칠수록 좋아지고 있는가’라는 질문을 던졌습니다. Steffie(김도연)/통계/컨설팅님은 핵심과 주변부를 함께 고치다 핵심까지 망가지는 경험에 공감했고, 러브님은 AI가 검토한 법령을 다시 대조하면서 오류를 찾아내는 일이 얼마나 고된지 이야기했습니다. 니니즈/연구/대학원생님에게 AI는 해외 대학원 수업의 언어 장벽을 낮춰주는 도움이기도 했기에, 대화는 편리함을 포기하자는 쪽으로만 흐르지 않았습니다. 첫 초안과 최신본을 비교하고, 같은 AI의 자기평가 대신 원문 근거를 대조하자는 제안이 그 사이에서 실천할 방법으로 남았습니다.

🐧 새 컴퓨터보다, 내 일에 맞는 컴퓨터

ACH_안창현님은 리눅스에서 창 전환·단축키·화면 녹화 등을 자신의 작업 방식에 맞게 바꾼 사례를 소개했고, 9월 8일 더배러톡톡에서는 그 과정을 함께 살펴봤습니다. 앤드류 | 지식노동자님도 구형 노트북에 리눅스를 설치해 카카오톡 대화에서 할 일과 일정을 찾고 노트로 연결한 경험을 보탰습니다. 이후 안 교수님은 넓은 모니터에서도 창이 겹치면 집중이 흐트러진다는 역체감을 이야기했고, 라피 | AI깎는한의사님은 전환을 망설이게 했던 디자인 앱의 리눅스 설치 도구를 건넸습니다. 최은우/연구원/이직지망생님이 짚었듯, 이 자리의 핵심은 화려한 결과물보다 문제의식과 과정에 있었습니다. 유행하는 환경을 따라가기보다 내 일의 불편을 구체적으로 찾아 바꾸는 실험이었습니다.

🧱 기능을 더하기 전에, 기준이 되는 데이터부터

푸른양/사무직/지식관리님이 복잡한 업무 시스템의 백업 과정에서 막힌 경험을 나누자, 톡방에서는 데이터 구조와 ‘단일한 진실의 원천’, SSOT에 관한 대화가 이어졌습니다. 루테넌트(김민석)|개발님은 기준 데이터를 한곳에서 관리하는 설계를 강조했고, 앤드류 | 지식노동자님은 단계마다 AI가 새로 판단하기보다 저장된 값과 식별자를 연결하는 방식을 설명했습니다. 하피/1인기업/AI님은 기능을 계속 붙이다 사용자가 배워야만 쓸 수 있는 서비스가 된 자신의 경험을 돌아보며, 다시 시작한다면 가장 귀찮은 일 하나부터 자동화하겠다고 했습니다. 주말에 푸른양님은 이 논의에서 힌트를 얻어 코딩 에이전트를 바꿔도 작업이 덜 흔들린다고 후기를 전했습니다. 백업이라는 구체적인 막힘이, 오래 유지할 수 있는 시스템의 기준을 묻는 대화로 자랐습니다.

🧭 AI 강의를 많이 듣는 것과, 내 문제를 푸는 것 사이

여러 도구를 하루씩 배우는 ‘20일 완성’ 교육 이야기는 주말의 교육 현장 경험담으로 이어졌습니다. 나루야/ai교육/마케팅님은 드래그와 폴더 만들기부터 설명해야 하는 학습자도 있고, 강의를 계속 찾아다니지만 정작 개선하고 싶은 일을 찾지 못한 사람도 있다고 전했습니다. **404 (안들)**님은 컴퓨터를 접해온 경험의 차이를 이야기했고, 최은우/연구원/이직지망생님은 배움의 속도를 나이만으로 설명할 수 있는지 되물었습니다. 한편 이제현|R&D|재미님은 동료가 학습 중 겪은 어려움을 게임으로 풀어낸 클로드 코드 입문 콘텐츠를 공유했습니다. 도구 이름을 더 많이 아는 교육에서, 자기 문제 하나를 직접 풀어보게 돕는 교육으로 관심이 옮겨갔습니다.

📝 직접 만들 수 있어도, 매일 쓰는 도구는 따로 있다

S메모를 대신할 오픈소스를 찾는 질문에 Memos, Google Keep, UpNote 등 여러 선택지가 등장했습니다. 이문기/기획/AI와투자님은 유료화와 데이터 유실을 겪은 뒤 불편함이 있어도 익숙한 도구를 쓴다고 했고, 고씨선 @go_seesun님은 여러 컴퓨터와 모바일 사이의 동기화를 중요한 기준으로 꼽았습니다. 직접 메모앱을 만들고 있다는 이야기가 이어지는 가운데, 송세훈|달의이성|silentium님의 ‘만들어 놓았지만 쓰지 않는다’는 경험은 작은 반전을 남겼습니다. 만들 수 있는 기능의 수와 실제로 손이 가는 이유는 다를 수 있다는 것. 메모를 남기는 순간의 편리함과, 나중에도 안전하게 꺼내볼 수 있는지가 도구 선택의 기준으로 떠올랐습니다.

🎬 AI가 열어준 건, 미뤄두었던 작품의 다음 장면

생산성과 사용량을 따지던 대화 사이로, 자신이 만들고 싶은 것을 완성해가는 소식도 이어졌습니다. 브라이언 - 브레인 트리니티님은 세미나 녹화 편집 사례를 공유하며 자동 편집의 가능성을 확인했지만, 기획과 작업 과정을 더 다듬고 싶다고 했습니다. 송세훈|달의이성|silentium님은 『노인과 바다』 짧은 영상을 선보였고, 숲/개발님은 상어와 맞서는 장면의 타격감에 반응했습니다. 일요일에는 마마로티/기획/언어모델님이 AI 덕분에 자신의 노래에 17년 만에 뮤직비디오를 만들었다고 전했습니다. 누군가에게 AI의 가치는 더 많은 일을 처리하는 데 있었고, 또 누군가에게는 오래 묵혀둔 창작을 다시 시작하는 데 있었습니다.