Clevera 인사이드: 에이전트 AI가 화면 녹화를 보이스오버로 바꾸는 방법

자동화 이면의 숨겨진 혼란#

Clevera를 처음 개발할 때, 소수의 모델이 너무 많은 일을 처리하고 있었습니다. 각 모델은 화면 관찰, 동작 해석, 중요도 판단, 내레이션 작성, 톤 설정, 그리고 이 모든 것을 일관된 튜토리얼로 엮어내는 작업을 동시에 수행해야 했습니다. 소수의 두뇌가 전체 업무를 감당하고 있었던 셈이죠.

3명이 20가지 역할을 맡은 영화 제작 현장을 상상해 보세요. 감독, 촬영, 작가, 편집을 한 사람이 모두 처리하는 상황입니다. 결과가 어땠을지는 짐작이 가실 겁니다. 결과물은 그럭저럭 괜찮았지만, 훌륭하진 않았습니다. 내레이션은 딱딱했고, 중요한 순간은 건너뛰기 일쑤였으며, 영상이 길어질수록 모델은 혼란을 겪고 일관성을 잃었습니다.

문제는 모델 자체가 아니었습니다. 모델을 하나의 팀이 아닌, 단일 사고자로 취급한 것이 문제였습니다.

인간은 선형적으로 사고하지 않는다는 사실#

우리는 처음에 인간이 튜토리얼을 만드는 _겉모습_을 흉내 내려 했습니다. 화면을 보고, 잠시 생각한 뒤, 설명한다. 표면적으로는 간단해 보였죠.

하지만 실제 인간의 사고방식은 전혀 다릅니다. 무언가를 설명할 때, 우리 뇌는 수십 개의 작은 전문가들을 동시에 가동합니다. 무엇이 변했는지 포착하고, 중요하지 않은 것은 무시하며, 해당 기능의 역할을 떠올립니다. 톤을 정하고, 속도를 조절하며, 말하면서 동시에 편집합니다.

선형적으로 느껴지지만, 실제로는 배경에서 수많은 작은 에이전트가 돌아가고 있는 것입니다. 바로 그 지점에서 모든 것이 명확해졌습니다. Clevera가 사람처럼 들리게 하려면, 팀처럼 생각하게 만들어야 했습니다.

그래서 우리는 에이전트 기반 접근 방식을 도입했습니다.

하나의 두뇌에서 여러 두뇌로#

이제 Clevera를 작지만 매우 훈련된 영화 제작팀이라고 생각하세요.

관찰자 (The Watcher)#

이 에이전트는 화면을 프레임 단위로 분석합니다. 클릭, 텍스트 입력, 스크롤, 메뉴 열기, UI 변경 사항을 확인합니다. 다른 어떤 작업보다 먼저 날것 그대로의 사실을 포착합니다.

전략가 (The Strategist)#

관찰자가 보고를 마치면, 전략가는 무엇이 실제로 중요한지 결정합니다.

“로딩 스피너는 건너뛰어.”
“이 세 단계는 하나의 아이디어니 합쳐.”
“이 순간은 중요하니 설명해.”

튜토리얼의 논리가 형성되는 단계입니다.

작가 (The Writer)#

계획이 준비되면, 작가는 쉽고 친근한 언어로 내레이션을 작성합니다. 장황한 설명 없이 핵심을 짚으며 로봇 같은 말투를 피합니다.

편집자 (The Editor)#

편집자는 다듬고, 윤색합니다. 작가가 너무 들떴거나 말이 길어진 부분을 수정합니다. 각 문장이 깔끔하게 전달되도록 문구를 조정합니다.

검토자 (The Reviewer)#

가장 깐깐한 에이전트입니다. 전체 스크립트를 받아 하나의 매끄럽고 응집력 있는 이야기로 읽히는지 확인합니다. 어색한 흐름, 모순, 불균형한 톤을 잡아냅니다.

그리고 그 중심에는 모두가 따르는 조용한 리더, **오케스트레이터(Orchestrator)**가 있습니다.

오케스트레이터는 작업을 위임하고, 품질을 확인하며, 에이전트가 궤도를 벗어나면 방향을 잡아줍니다. 전략가가 중요한 순간을 놓치면 “다시 보고, 더 깊이 생각하라”고 지시합니다. 문장이 어색하면 편집자에게 다시 검토를 요청합니다.

이 구조는 단순히 품질을 높이는 데 그치지 않았습니다. 단일 모델로는 결코 도달할 수 없었던 명확성과 일관성의 새로운 차원을 열었습니다.

반복이 더 낫다#

품질이 비약적으로 상승한 결정적인 계기는 에이전트들이 자신의 작업을 _재고(rethink)_하게 만들었을 때입니다.

단계별로 한 번만 시도하는 대신, 오케스트레이터는 특정 에이전트들이 깊이를 더해가며 여러 번 반복 작업하도록 합니다. 먼저 빠르게 초안을 잡고, 더 깊이 파고든 뒤, 필요하다면 완전히 성찰하는 과정을 거칩니다.

이러한 “사고 모드”는 정확도와 품질을 개선하는 데 큰 도움이 되었습니다.

전략가는 단계를 그룹화하고 패턴을 인식하는 능력이 훨씬 똑똑해졌습니다.

작가는 복잡한 동작을 차분하게 설명하는 능력이 향상되었습니다.

챕터는 _인간_이 자연스럽게 과제를 이해하는 방식에 맞춰 정렬되기 시작했습니다.

이는 스크립트를 서둘러 작성하는 것과 이야기를 진정으로 이해하는 것의 차이입니다.

우리의 에이전트 흐름#

모든 Clevera 영상은 이제 단순한 리듬을 따릅니다:

관찰: 관찰자가 화면에서 일어난 사실을 포착합니다.
계획: 전략가가 무엇이 중요한지, 어떤 순서로 진행할지 파악합니다.
발화: 작가가 각 단계를 사람처럼 설명합니다.
다듬기: 편집자와 검토자가 속도와 흐름을 매끄럽게 다듬어 자연스럽게 만듭니다.

이 루프는 정해진 틀에 갇혀 있지 않습니다. 유연하고 협력적입니다. 오케스트레이터가 전체 과정을 안내하며, 무언가 어색할 때마다 개입합니다.

에이전트 설계가 당신에게 중요한 이유#

이 모든 “비하인드”의 복잡함은 당신이 즉시 체감할 수 있는 결과로 이어집니다. 몇 가지 예는 다음과 같습니다:

• 튜토리얼이 자동 생성된 스크립트가 아닌 실제 사람의 목소리처럼 들립니다.
• 단계가 시간순이 아닌 논리적으로 그룹화됩니다.
• 관련 없는 순간은 자연스럽게 사라집니다.
• 설명이 명확하고 차분하며 자신감 있게 느껴집니다.
• 챕터가 사용자가 제품을 학습하는 방식과 일치합니다.
• 시스템이 전체를 망가뜨리지 않고도 진화할 수 있습니다.

다음 단계: 당신만의 에이전트#

다음 도약은 단순히 에이전트를 더 똑똑하게 만드는 것이 아닙니다. 에이전트가 당신과 직접 대화하게 만드는 것입니다.

내레이션이 더 캐주얼하게 들리길 원하시나요? 채팅창에 입력하세요.

챕터를 삭제하거나 확장하고 싶으신가요? 요청하세요.

당신이 Clevera와 대화하면, 적절한 에이전트가 작업을 수행합니다. 편집 도구를 사용하는 느낌보다는, 당신의 스타일을 이해하고 지시를 경청하며 즉시 실행하는 팀과 함께 일하는 느낌을 받게 될 것입니다.

그것이 Clevera가 나아가는 방향입니다.

단순한 자동 생성을 넘어, 당신의 앱 안에서 작동하는 대화형 프로덕션 스튜디오가 되는 것입니다.