Google เดินหน้าขยายความสามารถของ Gemini บน macOS ให้ทำหน้าที่เป็นผู้ช่วย AI ที่ใกล้เคียงกับการเป็น “ผู้ช่วยส่วนตัว” มากขึ้น ผ่านการอัปเดตใหม่ 2 ฟีเจอร์ ได้แก่ Intelligent Dictation และ Screen-aware Reasoning ซึ่งช่วยให้ AI เข้าใจบริบทการทำงานบนเครื่อง Mac ได้ดียิ่งขึ้น
พิมพ์ด้วยเสียงได้เป็นธรรมชาติมากขึ้น
ฟีเจอร์แรกคือ Intelligent Dictation ที่ช่วยให้ผู้ใช้สามารถกดปุ่ม Fn แล้วพูดเพื่อพิมพ์ข้อความได้ในทุกแอปบน macOS
จุดเด่นคือ Gemini จะช่วยลบคำติดปากอย่าง “เอ่อ”, “อืม” หรือคำพูดที่ไม่จำเป็น พร้อมเรียบเรียงประโยคให้ลื่นไหลทันทีที่เคอร์เซอร์ ทำให้สามารถร่างอีเมล เอกสาร หรือข้อความต่าง ๆ ได้สะดวกขึ้นโดยไม่ต้องเสียเวลาแก้ไขมากเหมือนเดิม
ฟีเจอร์นี้เปิดใช้งานเป็นค่าเริ่มต้น (Default) สำหรับผู้ใช้ Gemini บน Mac แต่สามารถปิดได้จากการตั้งค่า
Gemini มองเห็นหน้าจอ Mac ได้แล้ว
อีกหนึ่งฟีเจอร์สำคัญคือ Screen-aware Reasoning ซึ่งเปิดโอกาสให้ Gemini วิเคราะห์สิ่งที่กำลังแสดงบนหน้าจอ Mac หลังจากผู้ใช้อนุญาตสิทธิ์
ตัวอย่างการใช้งาน เช่น
- เปิดแอป Notes แล้วสั่งว่า “สรุปโน้ตนี้เป็น Executive Summary สำหรับประชุมบ่ายนี้”
- ให้ Gemini อ่านข้อมูลจากไฟล์หลายไฟล์ในเครื่อง แล้วร่างอีเมล
- ค้นหาร้านอาหารผ่าน Google Maps พร้อมนำข้อมูลมาประกอบในอีเมลนัดเลี้ยงทีม
- แก้ไขคำสั่งระหว่างทำงานได้ เช่น เปลี่ยนเวลานัดจาก 18:30 น. เป็น 19:00 น. โดย AI จะอัปเดตข้อมูลทั้งหมดให้อัตโนมัติ
แนวคิดของฟีเจอร์นี้คือทำให้ Gemini สามารถทำงานร่วมกับทั้งระบบของ macOS ได้ ไม่จำกัดเฉพาะภายในแอป Gemini เท่านั้น
ฟรี แต่ต้องเปิดใช้งานเอง
ต่างจากระบบพิมพ์ด้วยเสียง ฟีเจอร์ Screen-aware Reasoning ไม่ได้เปิดใช้งานโดยอัตโนมัติ ผู้ใช้ต้องให้สิทธิ์ Gemini ในการเข้าถึงหน้าจอด้วยตนเองก่อน จึงจะสามารถวิเคราะห์ข้อมูลบนจอได้
Google ระบุว่าฟีเจอร์นี้ถูกออกแบบมาเพื่อเพิ่มประสิทธิภาพการทำงาน ไม่ใช่ให้ AI ตรวจสอบหน้าจอตลอดเวลาโดยไม่ได้รับอนุญาต
ประโยชน์แลกกับความเป็นส่วนตัว
แม้ว่าความสามารถใหม่จะช่วยให้ Gemini ทำงานได้ใกล้เคียงผู้ช่วย AI แบบ Agent มากขึ้น แต่ก็ทำให้เกิดคำถามด้านความเป็นส่วนตัว เนื่องจาก AI จะสามารถเข้าถึงข้อมูลที่ปรากฏบนหน้าจอ เช่น เอกสาร อีเมล หรือข้อมูลส่วนบุคคล ระหว่างการทำงาน
นอกจากนี้ ยังมีความเสี่ยงในอนาคตจากเทคนิค Prompt Injection ซึ่งเป็นการซ่อนคำสั่งอันตรายไว้ในเว็บไซต์หรือเอกสาร หาก AI ที่มีสิทธิ์ทำงานแทนผู้ใช้ตีความคำสั่งเหล่านั้นว่าเป็นคำสั่งจริง ก็อาจนำไปสู่การเปิดเว็บไซต์อันตราย ดาวน์โหลดไฟล์ไม่พึงประสงค์ หรือดำเนินการอื่นโดยไม่ตั้งใจ
อย่างไรก็ตาม ความเสี่ยงดังกล่าวยังถือว่าต่ำกว่าระบบ AI แบบ Agent เต็มรูปแบบ เพราะ Screen-aware Reasoning ในปัจจุบันยังคงทำงานภายใต้คำสั่งของผู้ใช้เป็นหลัก และยังไม่สามารถดำเนินการต่าง ๆ ได้อย่างอิสระเหมือน AI Agent รุ่นสมบูรณ์
ดาวน์โหลด Gemini สำหรับ MacOS ได้ที่นี่ <<<
