ข้ามไปที่เนื้อหาหลัก
Product updates

เจาะลึก Clevera: วิธีที่ Agentic AI เปลี่ยนการบันทึกหน้าจอให้เป็นเสียงบรรยาย

เบื้องหลังการทำงานของ Agentic AI ใน Clevera เรียนรู้วิธีที่เราใช้ Machine Learning ขั้นสูงในการวิเคราะห์การบันทึกหน้าจอ และสร้างสคริปต์เสียงบรรยายระดับมืออาชีพที่เข้าใจบริบทโดยอัตโนมัติ

Roozbeh Firoozmandใช้เวลาอ่าน 5 นาที

ความโกลาหลที่ซ่อนอยู่เบื้องหลังระบบอัตโนมัติ

ตอนที่เราสร้าง Clevera ขึ้นมาใหม่ๆ เรามีโมเดลเพียงไม่กี่ตัวที่ต้องรับภาระหนักเกินไป แต่ละตัวต้องทำหน้าที่หลายอย่างพร้อมกัน ทั้งคอยดูหน้าจอ ตีความการกระทำ ตัดสินใจว่าอะไรสำคัญ เขียนบทบรรยาย เลือกโทนเสียง และพยายามรวบรวมทุกอย่างให้กลายเป็นวิดีโอสอนการใช้งานที่เข้าใจง่าย เปรียบเสมือนมีสมองเพียงไม่กี่ส่วนแต่ต้องรับผิดชอบงานทั้งหมด

ลองจินตนาการถึงกองถ่ายภาพยนตร์ที่มีคนเพียง 3 คนต้องรับผิดชอบงาน 20 อย่าง ทั้งผู้กำกับ ตากล้อง นักเขียนบท และตัดต่อ ซึ่งทำโดยคนคนเดียว คุณคงเดาได้ว่าผลลัพธ์จะเป็นอย่างไร ผลงานที่ได้อาจจะพอใช้ได้ แต่ไม่มีทางยอดเยี่ยม เสียงบรรยายฟังดูแข็งทื่อ ช่วงเวลาสำคัญถูกข้ามไป และวิดีโอที่ยาวขึ้นก็ทำให้โมเดลสับสนและขาดความต่อเนื่อง

ปัญหาไม่ได้อยู่ที่ตัวโมเดล แต่อยู่ที่การปฏิบัติต่อโมเดลเหล่านั้นเหมือนเป็นนักคิดคนเดียว แทนที่จะเป็นทีม

เราตระหนักว่ามนุษย์ไม่ได้คิดเป็นเส้นตรง

เดิมทีเราพยายามเลียนแบบวิธีที่มนุษย์ ดูเหมือน จะทำวิดีโอสอนการใช้งาน นั่นคือ มองหน้าจอ คิดสักครู่ แล้วอธิบาย ซึ่งดูเรียบง่าย อย่างน้อยก็ในมุมมองผิวเผิน

แต่การคิดของมนุษย์จริงๆ ไม่ได้เป็นแบบนั้นเลย เมื่อคุณอธิบายบางอย่าง สมองของคุณจะสั่งการผู้เชี่ยวชาญตัวจิ๋วหลายสิบคนให้ทำงานพร้อมกัน คุณสังเกตสิ่งที่เปลี่ยนไป คุณละเลยสิ่งที่ไม่มีความสำคัญ คุณนึกถึงการทำงานของฟีเจอร์นั้นๆ คุณเลือกโทนเสียง คุณปรับจังหวะ และคุณแก้ไขไปพร้อมกับที่พูด

มันอาจรู้สึกเหมือนเป็นเส้นตรง แต่จริงๆ แล้วมีเอเจนต์ตัวเล็กๆ หลายตัวทำงานอยู่เบื้องหลัง นั่นคือจุดที่ทำให้เราเข้าใจว่า เพื่อให้ Clevera ฟังดูเหมือนมนุษย์ มันจำเป็นต้อง คิดเหมือนเป็นทีม

เราจึงนำแนวทางแบบ Agentic มาใช้

จากสมองเดียวสู่หลายสมอง

ลองมอง Clevera ในตอนนี้ว่าเป็นกองถ่ายภาพยนตร์ขนาดเล็กที่มีระเบียบวินัยสูงมาก

The Watcher (ผู้เฝ้าดู)

ตัวนี้จะคอยศึกษาหน้าจอของคุณแบบเฟรมต่อเฟรม มันเห็นทั้งการคลิก ข้อความที่พิมพ์ การเลื่อนหน้าจอ เมนูที่เปิด และการเปลี่ยนแปลงของ UI มันจับภาพความจริงดิบๆ ก่อนที่สิ่งอื่นจะเกิดขึ้น

The Strategist (นักวางกลยุทธ์)

เมื่อ The Watcher รายงานผล The Strategist จะเป็นผู้ตัดสินว่าอะไรคือสิ่งที่สำคัญจริงๆ

“ข้ามไอคอนโหลดไป”
“รวม 3 ขั้นตอนนี้เข้าด้วยกัน เพราะมันคือแนวคิดเดียวกัน”
“อธิบายช่วงเวลานี้ เพราะมันสำคัญ”

นี่คือจุดที่ตรรกะของวิดีโอสอนการใช้งานถูกกำหนดขึ้น

The Writer (นักเขียน)

เมื่อมีแผนพร้อมแล้ว The Writer จะสร้างบทบรรยายด้วยภาษาที่เรียบง่ายและเป็นกันเอง อธิบายสิ่งที่เกิดขึ้นโดยไม่เวิ่นเว้อและหลีกเลี่ยงโทนเสียงแบบหุ่นยนต์

The Editor (บรรณาธิการ)

The Editor จะคอยตัดทอน ขัดเกลา และแก้ไขส่วนที่ The Writer ตื่นเต้นหรือใช้คำฟุ่มเฟือยเกินไป พร้อมปรับการใช้คำเพื่อให้แต่ละประโยคสื่อความหมายได้อย่างชัดเจน

The Reviewer (ผู้ตรวจสอบ)

นี่คือตัวที่ละเอียดรอบคอบที่สุด พวกเขาจะได้รับสคริปต์ทั้งหมดและตรวจสอบให้แน่ใจว่ามันอ่านแล้วลื่นไหลเป็นเรื่องราวเดียวกัน ไม่มีจุดสะดุด ไม่มีข้อขัดแย้ง และไม่มีโทนเสียงที่ผิดเพี้ยน

และตรงกลางคือ Orchestrator (ผู้ประสานงาน) ซึ่งเป็นหัวหน้าเงียบๆ ที่ทุกคนคอยรับฟัง

มันทำหน้าที่มอบหมายงาน ตรวจสอบคุณภาพ และคอยกระตุ้นเอเจนต์เมื่อพวกเขาเริ่มออกนอกลู่นอกทาง หาก The Strategist พลาดช่วงเวลาสำคัญไป Orchestrator จะส่งพวกเขากลับไปพร้อมคำสั่งง่ายๆ ว่า “ดูใหม่อีกครั้ง คิดให้ลึกกว่าเดิม” หากประโยคไหนฟังดูติดขัด Orchestrator จะขอให้ The Editor ปรับแก้ใหม่อีกรอบ

โครงสร้างนี้ไม่ได้เพียงแค่ปรับปรุงคุณภาพเท่านั้น แต่ยังปลดล็อกระดับความชัดเจนและความสม่ำเสมอที่โมเดลเดี่ยวไม่มีวันทำได้

การทำซ้ำนั้นดีกว่า

การก้าวกระโดดครั้งใหญ่ที่สุดในด้านคุณภาพเกิดขึ้นเมื่อเราทำให้เอเจนต์ คิดทบทวน ผลงานของตัวเอง

แทนที่จะพยายามเพียงครั้งเดียวต่อขั้นตอน Orchestrator จะปล่อยให้เอเจนต์บางตัวลองทำหลายรอบด้วยความลึกที่เพิ่มขึ้น เริ่มจากรอบแรกที่รวดเร็ว ตามด้วยรอบที่ลึกซึ้งขึ้น และรอบที่สะท้อนความคิดอย่างเต็มที่หากจำเป็น

“โหมดการคิด” นี้ช่วยปรับปรุงความแม่นยำและคุณภาพได้อย่างมาก

The Strategist ฉลาดขึ้นมากในการจัดกลุ่มขั้นตอนและจดจำรูปแบบต่างๆ

The Writer อธิบายการกระทำที่ซับซ้อนได้อย่างใจเย็นมากขึ้น

บทต่างๆ เริ่มสอดคล้องกับวิธีที่ มนุษย์ ทำความเข้าใจงานตามธรรมชาติ

นี่คือความแตกต่างระหว่างการรีบเขียนสคริปต์ให้เสร็จกับการทำความเข้าใจเรื่องราวอย่างแท้จริง

กระบวนการทำงานแบบ Agentic ของเรา

วิดีโอของ Clevera ทุกตัวในตอนนี้ดำเนินไปตามจังหวะที่เรียบง่าย:

See (ดู): The Watcher จับภาพความจริงของสิ่งที่เกิดขึ้นบนหน้าจอ
Plan (วางแผน): The Strategist วิเคราะห์ว่าอะไรสำคัญและควรเรียงลำดับอย่างไร
Speak (พูด): The Writer อธิบายแต่ละขั้นตอนเหมือนที่มนุษย์ทำ
Smooth (ปรับให้ลื่นไหล): The Editor และ Reviewer ขัดเกลาจังหวะและการเชื่อมโยงเพื่อให้ผลลัพธ์ออกมาดูเป็นธรรมชาติ

ลูปนี้ไม่ได้ทำงานตายตัว แต่มีความยืดหยุ่นและร่วมมือกัน Orchestrator จะคอยนำทางกระบวนการทั้งหมดและเข้ามาแทรกแซงเมื่อรู้สึกว่ามีบางอย่างไม่ถูกต้อง

ทำไมการออกแบบแบบ Agentic ถึงสำคัญสำหรับคุณ

ความซับซ้อน “เบื้องหลัง” ทั้งหมดนี้ส่งผลลัพธ์ที่คุณสัมผัสได้ทันที ดังนี้:

  • วิดีโอสอนการใช้งานฟังดูเหมือนคนจริงๆ ไม่ใช่สคริปต์ที่สร้างจากระบบอัตโนมัติ
  • ขั้นตอนต่างๆ ถูกจัดกลุ่มตามตรรกะ ไม่ใช่ตามลำดับเวลา
  • ช่วงเวลาที่ไม่เกี่ยวข้องจะถูกตัดออกไป
  • คำอธิบายมีความชัดเจน ใจเย็น และมั่นใจ
  • บทต่างๆ ตรงกับวิธีที่ผู้ใช้เรียนรู้ผลิตภัณฑ์จริงๆ
  • ระบบสามารถพัฒนาต่อยอดได้โดยไม่ทำให้ทุกอย่างพัง

ก้าวต่อไป: เอเจนต์ส่วนตัวของคุณ

ก้าวต่อไปไม่ใช่แค่การทำให้เอเจนต์ของเราฉลาดขึ้น แต่คือการให้พวกเขาสามารถพูดคุยกับคุณได้โดยตรง

อยากให้เสียงบรรยายฟังดูเป็นกันเองมากขึ้นใช่ไหม? พิมพ์บอกในแชทได้เลย

อยากให้ลบบทไหนออกหรือขยายความตรงไหนเพิ่ม? แค่บอกมา

คุณเพียงแค่คุยกับ Clevera แล้วเอเจนต์ที่เหมาะสมจะรับงานนั้นไปทำต่อ มันจะให้ความรู้สึกเหมือนการทำงานร่วมกับทีมที่เข้าใจสไตล์ของคุณ รับฟังคำสั่งของคุณ และลงมือทำทันที มากกว่าแค่การใช้เครื่องมือตัดต่อทั่วไป

นั่นคือทิศทางที่ Clevera กำลังมุ่งไป

ไม่ใช่แค่การสร้างวิดีโออัตโนมัติ แต่เป็นสตูดิโอผลิตวิดีโอเชิงสนทนาที่อยู่ภายในแอปของคุณ