Cleveraの舞台裏：エージェント型AIはいかにして画面録画をナレーションに変えるのか

自動化の裏側に潜む混沌#

Cleveraの開発当初、私たちは少数のモデルに過度な負担をかけていました。各モデルは、画面の監視、操作の解釈、重要箇所の判断、ナレーションの執筆、トーンの選択、そしてそれらを一貫したチュートリアルにまとめるという、複数の役割を同時にこなそうとしていたのです。少数の頭脳が、すべての作業を抱え込んでいました。

3人のスタッフが20もの役割をこなす映画制作現場を想像してみてください。監督、カメラマン、脚本家、編集者をすべて1人で兼任するようなものです。結果がどうなるかは想像に難くありません。許容範囲内ではあっても、決して素晴らしいとは言えません。ナレーションは不自然で、重要な瞬間は飛ばされ、動画が長くなればモデルは混乱し、一貫性を失いました。

問題はモデルそのものではなく、それらを「チーム」ではなく「単一の思考者」として扱っていたことにありました。

人間は直線的な思考をしないという気づき#

当初、私たちは人間がチュートリアルを作成する際の「見た目」を模倣しようとしました。画面を見て、少し考えて、説明する。シンプルです。少なくとも表面上は。

しかし、実際の人間はそんな風に考えてはいません。何かを説明するとき、脳内では数十もの小さな専門家が同時に働いています。変化に気づき、重要でないものは無視し、機能の役割を思い出し、トーンを選び、ペースを調整し、話しながら編集する。

直線的に感じられるかもしれませんが、実際にはバックグラウンドで多くの小さなエージェントが動いています。その瞬間に、すべてが腑に落ちました。Cleveraを人間らしく響かせるには、「チームのように考える」必要があったのです。

そこで私たちは、エージェント型のアプローチを採用しました。

1つの頭脳から、多くの頭脳へ#

今のCleveraは、小規模ながら極めて規律正しい映画制作チームだと考えてください。

ウォッチャー（監視役）#

画面をフレーム単位で詳細に分析します。クリック、入力、スクロール、メニューの展開、UIの変化を捉え、何かが起こる前の生の事実を記録します。

ストラテジスト（戦略家）#

ウォッチャーからの報告を受け、何が重要かを判断します。

「読み込み中のインジケーターはスキップする」 「これら3つのステップは1つのアイデアなのでまとめる」 「この瞬間は重要なので説明を加える」

ここでチュートリアルの論理構成が形作られます。

ライター（執筆役）#

計画に基づき、平易で親しみやすい言葉でナレーションを作成します。冗長さを避け、ロボットのようなトーンにならないよう説明します。

エディター（編集役）#

トリミングと洗練を行います。ライターが熱中しすぎたり、言葉が多すぎたりした部分を修正し、各フレーズがすっきりと伝わるように調整します。

レビュアー（校閲役）#

最も厳しい目を持つ存在です。原稿全体を確認し、1つの滑らかで一貫したストーリーになっているかをチェックします。不自然な飛躍や矛盾、トーンの乱れを排除します。

そしてその中心には、全員が従う静かなリーダー、オーケストレーターがいます。

タスクを割り振り、品質をチェックし、エージェントが迷走した際には軌道修正を促します。ストラテジストが重要な瞬間を見逃せば「もう一度見て、よく考えて」と差し戻し、ナレーションが不自然であればエディターに再考を求めます。

この構造は単に品質を向上させただけではありません。単一のモデルでは決して到達できなかった、明快さと一貫性の新たなレベルを切り拓きました。

反復こそが品質を高める#

品質が飛躍的に向上したのは、エージェントに自身の作業を「再考」させたときでした。

ステップごとに1回で終わらせるのではなく、オーケストレーターは特定のエージェントに、段階的に深掘りしながら複数回の試行を行わせます。まずは素早く作成し、次に詳細を詰め、必要に応じて全体を振り返ります。

この「思考モード」は、正確性と品質の向上に大きく貢献しました。

ストラテジストは、ステップのグループ化やパターンの認識において、より賢くなりました。

ライターは、複雑な操作を落ち着いて説明するのが上手くなりました。

チャプター構成は、人間が自然にタスクを理解するプロセスに沿うようになりました。

これは、原稿を急いで書き上げるのと、ストーリーを真に理解するのとの違いです。

私たちのエージェント型フロー#

Cleveraの動画はすべて、以下のシンプルなリズムに従っています。

See（見る）: ウォッチャーが画面上で何が起きたかの事実を捉える。 Plan（計画する）: ストラテジストが何が重要か、どのような順序かを判断する。 Speak（話す）: ライターが人間のように各ステップを説明する。 Smooth（滑らかにする）: エディターとレビュアーがペースと流れを磨き、自然な仕上がりにする。

このループは固定されたレールの上を走るわけではありません。柔軟で、協調的です。オーケストレーターがプロセス全体を導き、違和感があればいつでも介入します。

なぜエージェント型設計が重要なのか#

この「舞台裏」の複雑さは、ユーザーがすぐに実感できる形で報われます。その一部を紹介します。

• 自動生成された原稿ではなく、人間が話しているように聞こえる。
• ステップが時系列ではなく、論理的にグループ化される。
• 無関係な瞬間は自然にカットされる。
• 説明が明快で、落ち着きと自信に満ちている。
• チャプターがユーザーの実際の学習プロセスと一致する。
• システム全体を壊すことなく進化させられる。

次なるステップ：あなた専用のエージェント#

次の飛躍は、エージェントを賢くすることだけではありません。エージェントがあなたと直接対話できるようにすることです。

ナレーションをもっとカジュアルにしたいですか？チャットでそう伝えるだけです。

チャプターを削除したり、詳しくしたりしたいですか？リクエストしてください。

Cleveraに話しかけるだけで、適切なエージェントがタスクを引き受けます。それは編集ツールを使うというより、あなたのスタイルを理解し、指示を聞き、即座に実行してくれるチームと仕事をする感覚に近いでしょう。

それが、Cleveraの目指す未来です。

単なる自動作成ではなく、あなたのアプリの中に存在する、対話型の制作スタジオです。