ไมโครซอฟท์เปิดตัว Windows Copilot Runtime ชุดพัฒนาสำหรับสร้างแอปพลิเคชั่นปัญญาประดิษฐ์บนเครื่องผู้ใช้โดยตรง ไม่ต้องส่งข้อมูลขึ้นคลาวด์ โดยมีส่วนประกอบตั้งแต่ตัวแอปพลิเคชั่นที่ไมโครซอฟท์ให้ไปกับ Copilot+ PC กับ API ต่างๆ เพิ่มเติม

ส่วนประกอบสำคัญคือ Windows Copilot Library ชุดโมเดลปัญญาประดิษฐ์มากกว่า 40 รายการที่รันอยู่บนเครื่องผู้ใช้อยู่แล้ว เปิดทางให้พัฒนาแอปพลิเคชั่นโดยใช้ฟีเจอร์ต่างๆ เช่น แปลภาษา, แปลงเสียงเป็นข้อความ, ข้อมูลกิจกรรมที่ผู้ใช้ทำบนเครื่อง, ตลอดจน API สำหรับการสร้างแอปพลิเคชั่น RAG เช่น embedding

ฟีเจอร์บางส่วนแทบไม่ต้องแก้โค้ดเลย เช่น การใช้ Live Caption ในวิดีโอ บางส่วนต้องการเชื่อมกับระบบมากๆ เช่น User Activity API ที่ใช้ทำงานร่วมกับฟีเจอร์ Recall เพื่อย้อนไปว่าผู้ใช้กำลังทำงานอะไรอยู่ในตอนนั้น

ฟีเจอร์ Recall ของ Copilot+ PC นั้นอาศัยฟีเจอร์ Windows Semantic Index ที่จริงๆ แล้วเป็นโมเดลภาษาขนาดเล็ก แต่รองรับข้อมูลทั้งภาพ, ข้อความ, และวิดีโอ ฟีเจอร์นี้จะเปิดออกมาเป็น Vector Embeddings และ Retrieval Augmented Generation (RAG) API ให้ใช้งานภายในปีนี้

ที่มา - Windows Developer Blog