Di Balik Clevera: Bagaimana AI agen mengubah rekaman layar menjadi sulih suara

Kekacauan tersembunyi di balik otomatisasi#

Saat pertama kali membangun Clevera, kami memiliki segelintir model yang mengerjakan terlalu banyak hal. Masing-masing mencoba melakukan banyak tugas sekaligus: mengamati layar, menafsirkan tindakan, memutuskan apa yang penting, menulis narasi, memilih nada, dan entah bagaimana mengubah semuanya menjadi tutorial yang koheren. Hanya beberapa otak, tetapi semuanya menanggung beban kerja penuh.

Bayangkan kru film di mana tiga orang mencoba menangani dua puluh peran berbeda. Sutradara, operator kamera, penulis, dan editor semuanya dilakukan oleh satu orang. Anda bisa menebak bagaimana hasilnya. Hasilnya bisa diterima, tetapi tidak pernah hebat. Narasi terdengar kaku. Momen penting terlewatkan. Video yang lebih panjang membuat model bingung dan tidak konsisten.

Masalahnya bukan pada model itu sendiri. Masalahnya adalah memperlakukan mereka sebagai pemikir tunggal, bukan sebagai tim.

Kami menyadari manusia bukanlah pemikir linear#

Awalnya kami mencoba meniru bagaimana manusia tampak membuat tutorial: melihat layar, berpikir sejenak, lalu menjelaskan. Sederhana. Setidaknya di permukaan.

Namun, cara berpikir manusia yang sebenarnya tidak seperti itu. Saat Anda menjelaskan sesuatu, otak Anda mengaktifkan puluhan spesialis kecil secara bersamaan. Anda memperhatikan apa yang berubah. Anda mengabaikan apa yang tidak penting. Anda mengingat fungsi fitur tersebut. Anda memilih nada. Anda menyesuaikan tempo. Anda mengedit saat Anda berbicara.

Terasa linear, tetapi sebenarnya ada banyak agen kecil yang berjalan di latar belakang. Itulah momen di mana semuanya menjadi jelas bagi kami. Agar Clevera terdengar manusiawi, ia harus berpikir seperti sebuah tim.

Jadi, kami mengadopsi pendekatan agen.

Dari satu otak menjadi banyak#

Anggaplah Clevera sekarang sebagai kru film kecil namun sangat disiplin.

Sang Pengamat#

Yang satu ini mempelajari layar Anda. Bingkai demi bingkai. Ia melihat klik, teks yang diketik, guliran, menu yang dibuka, dan perubahan UI. Ia menangkap kebenaran mentah sebelum hal lain terjadi.

Sang Strategi#

Setelah Sang Pengamat melapor, Sang Strategi memutuskan apa yang sebenarnya penting.

“Lewati pemuat (loading spinner).”
“Gabungkan ketiga langkah ini, ini adalah satu ide.”
“Jelaskan momen ini, ini penting.”

Di sinilah logika tutorial dibentuk.

Sang Penulis#

Dengan rencana yang siap, Sang Penulis membuat narasi dalam bahasa yang lugas dan ramah. Ia menjelaskan apa yang terjadi tanpa bertele-tele dan menghindari nada robotik.

Sang Editor#

Sang Editor memangkas. Memoles. Memperbaiki bagian di mana Sang Penulis terlalu bersemangat atau terlalu bertele-tele. Ia menyesuaikan frasa agar setiap baris tersampaikan dengan jelas.

Sang Peninjau#

Ini adalah bagian yang perfeksionis. Mereka mendapatkan seluruh naskah dan memastikan naskah tersebut terbaca sebagai satu cerita yang mulus dan kohesif. Tidak ada lompatan aneh. Tidak ada kontradiksi. Tidak ada nada yang tidak konsisten.

Dan di tengah-tengah duduklah Sang Orkestrator, bos pendiam yang didengarkan semua orang.

Ia mendelegasikan tugas, memeriksa kualitas, dan mendorong agen saat mereka melenceng. Jika Sang Strategi melewatkan momen penting, Sang Orkestrator mengirim mereka kembali dengan perintah sederhana, “Lihat lagi, berpikir lebih keras.” Jika sebuah baris terdengar kaku, Sang Orkestrator meminta Sang Editor untuk meninjaunya kembali.

Struktur ini tidak hanya meningkatkan kualitas. Ini membuka tingkat kejelasan dan konsistensi baru yang tidak akan pernah bisa dicapai oleh satu model tunggal.

Iteratif itu lebih baik#

Lompatan kualitas terbesar terjadi ketika kami membuat para agen memikirkan kembali pekerjaan mereka sendiri.

Alih-alih satu kali percobaan per langkah, Sang Orkestrator membiarkan agen tertentu melakukan beberapa kali percobaan dengan kedalaman yang meningkat. Pertama, pengambilan cepat. Kemudian, yang lebih mendalam. Lalu, yang benar-benar reflektif jika diperlukan.

“Mode berpikir” ini sangat membantu meningkatkan akurasi dan kualitas.

Sang Strategi menjadi jauh lebih cerdas dalam mengelompokkan langkah dan mengenali pola.

Sang Penulis menjadi lebih baik dalam menjelaskan tindakan kompleks dengan tenang.

Bab-bab mulai selaras dengan bagaimana manusia secara alami memahami suatu tugas.

Ini adalah perbedaan antara terburu-buru menyelesaikan naskah dan benar-benar memahami ceritanya.

Alur kerja agen kami#

Setiap video Clevera sekarang mengikuti ritme sederhana:

Lihat: Sang Pengamat menangkap kebenaran tentang apa yang terjadi di layar.
Rencanakan: Sang Strategi menentukan apa yang penting dan dalam urutan apa.
Bicara: Sang Penulis menjelaskan setiap langkah seperti yang dilakukan manusia.
Haluskan: Sang Editor dan Sang Peninjau memoles tempo dan alur agar terasa alami.

Perulangan ini tidak berjalan di atas rel. Ini fleksibel. Kolaboratif. Sang Orkestrator memandu seluruh proses dan turun tangan kapan pun ada sesuatu yang terasa kurang pas.

Mengapa desain agen penting bagi Anda#

Semua kompleksitas “di balik layar” ini membuahkan hasil yang bisa langsung Anda rasakan. Berikut beberapa di antaranya:

• Tutorial terdengar seperti orang sungguhan, bukan naskah yang dibuat otomatis.
• Langkah-langkah dikelompokkan secara logis, bukan kronologis.
• Momen yang tidak relevan akan hilang begitu saja.
• Penjelasan terasa jelas, tenang, dan meyakinkan.
• Bab-bab sesuai dengan cara pengguna benar-benar mempelajari produk.
• Sistem dapat berevolusi tanpa merusak segalanya.

Selanjutnya: Agen Anda sendiri#

Lompatan berikutnya bukan hanya membuat agen kami lebih pintar. Ini tentang membiarkan mereka berbicara langsung kepada Anda.

Ingin narasi terdengar lebih santai? Ketik saja di obrolan.

Ingin bab dihapus atau diperluas? Minta saja.

Anda cukup berbicara dengan Clevera, dan agen yang tepat akan mengambil tugas tersebut. Rasanya tidak seperti menggunakan alat pengeditan, melainkan bekerja dengan tim yang memahami gaya Anda, mendengarkan instruksi Anda, dan langsung mengeksekusinya.

Ke sanalah arah Clevera.

bukan sekadar pembuatan otomatis, melainkan studio produksi percakapan yang ada di dalam aplikasi Anda.