Anthropic ได้เปิดตัวฟีเจอร์ใหม่ “การใช้งานคอมพิวเตอร์” (Computer Use) สำหรับเครื่องมือเอเจนต์โค้ด AI ของบริษัทอย่าง Claude Code โดยให้ผู้ใช้ macOS เข้าถึงในรูปแบบตัวอย่างเพื่อการวิจัย (Research Preview) ฟีเจอร์นี้ทำให้ Claude สามารถควบคุมหน้าจอคอมพิวเตอร์ของผู้ใช้ได้โดยตรง—เปิดแอป คลิกปุ่ม ป้อนข้อความ ถ่ายภาพหน้าจอ และเชื่อมโยงการทำงานแบบครบวงจรจากการเขียนโค้ดไปจนถึงการทดสอบ UI ภายในบทสนทนาเดียว โดยไม่ต้องออกจากเทอร์มินัล
Claude ช่วยให้คุณ “คลิก” อะไรได้บ้าง?
จากเอกสารทางเทคนิคอย่างเป็นทางการ Computer Use ถูกออกแบบมาเพื่อเป็นหลักสำหรับงานที่ต้องใช้ส่วนติดต่อผู้ใช้แบบกราฟิก (GUI) นั่นคือสิ่งที่ “โดยปกติคุณต้องทิ้งเทอร์มินัลไว้แล้วลงมือทำเอง”:
สร้างและตรวจสอบแอปเนทีฟ: ให้ Claude เขียนแอปแบบแถบเมนูของ macOS มันจะคอมไพล์ เริ่มทำงาน และไล่คลิกตัวควบคุมทั้งหมดเพื่อยืนยันว่าฟังก์ชันทำงานได้ถูกต้อง แม้ว่าคุณยังไม่เคยเปิดแอปนี้เลยก็ตาม
ทดสอบ UI แบบครบกระบวนการ: ชี้ไปที่แอปโลคอลของ Electron แล้วบอกว่า “ทดสอบขั้นตอนการเริ่มต้นสำหรับผู้ใช้ใหม่” Claude จะเปิดแอป คลิกขั้นตอนการลงทะเบียน และถ่ายภาพหน้าจอสำหรับแต่ละหน้าจอ ไม่ต้องตั้งค่า Playwright ไม่ต้องใช้เฟรมเวิร์กสำหรับการทดสอบ
ดีบักปัญหาเรื่องภาพและเลย์เอาต์: บอก Claude ว่า “Modal นี้ถูกตัดออกในหน้าต่างขนาดเล็ก” มันจะย่อขนาดหน้าต่างเพื่อทำซ้ำบั๊ก ถ่ายภาพหน้าจอ แก้ไข CSS และยืนยันผลการแก้ไขอีกครั้ง—มันเห็นภาพที่คุณเห็น
เครื่องมือที่มีเฉพาะ GUI: เครื่องมือออกแบบ แผงควบคุมฮาร์ดแวร์ iOS Simulator หรือซอฟต์แวร์เฉพาะทางใดๆ ที่ไม่มี CLI หรือ API
ลำดับความสำคัญในการเลือกเครื่องมือของ Claude
Computer Use คือเครื่องมือที่ “ครอบคลุมที่สุดแต่ช้าที่สุด” Claude จะเลือกวิธีที่แม่นยำที่สุดตามลำดับความสำคัญดังนี้:
มี MCP Server ที่รองรับ → ใช้ MCP
เป็นคำสั่ง Shell → ใช้ Bash
เป็นการทำงานผ่านเบราว์เซอร์และมีการตั้งค่าให้ Claude in Chrome → ใช้ส่วนขยาย Chrome
ทั้งหมดไม่เข้าเงื่อนไข → ค่อยเปิดใช้ Computer Use
ดังนั้นการควบคุมหน้าจอจึงสงวนไว้สำหรับสถานการณ์ที่ “วิธีอื่นทำไม่ได้”: แอปเนทีฟ เครื่องจำลอง หรือเครื่องมือที่ไม่มี API
วิธีเปิดใช้ Computer Use
Computer Use ให้มาในรูปแบบ MCP Server ที่มีมาในตัวเครื่อง (ชื่อ:
computer-use
) ปิดไว้โดยค่าเริ่มต้น ต้องเปิดใช้งานเอง:
ในเซสชันงานของ Claude Code แบบอินเทอร์แอคทีฟให้รัน /mcp จากรายการให้หา computer-use (แสดงเป็นปิดใช้งาน)
หลังจากเลือกแล้วให้คลิก Enable การตั้งค่าจะถูกบันทึกอย่างถาวรตามโปรเจกต์ โดยปกติแต่ละโปรเจกต์ตั้งครั้งเดียวก็พอ
เมื่อเป็นครั้งแรกที่ให้ Claude ควบคุมคอมพิวเตอร์ macOS จะขออนุญาตสองรายการ: การใช้เพื่อการช่วยเหลือ (Accessibility) และการบันทึกหน้าจอ (Screen Recording) หลังจากอนุญาตแล้วให้เลือก “ลองอีกครั้ง” ในบางสถานการณ์อาจต้องรีสตาร์ท Claude Code
ต้องอนุญาตทีละแอปในทุกเซสชันงาน
เปิดใช้
computer-use
การเปิดใช้งาน
computer-use
ไม่ได้หมายความว่า Claude จะสามารถควบคุมแอปทั้งหมดบนคอมพิวเตอร์ของคุณได้ ทุกครั้งที่ในเซสชันงาน Claude จำเป็นต้องควบคุมแอปใดแอปหนึ่งเป็นครั้งแรก เทอร์มินัลจะแสดงพร้อมแจ้งเตือน โดยระบุ:
Claude ต้องการควบคุมแอปใดบ้าง
มีการขอสิทธิ์เพิ่มเติมหรือไม่ (เช่น การเข้าถึงคลิปบอร์ด)
ระหว่างทำงานมีแอปอื่นๆ อีกกี่แอปที่จะถูกซ่อนไว้
เลือก “อนุญาตสำหรับเซสชันนี้” หรือ “ปฏิเสธ” การอนุญาตจะมีผลเฉพาะในเซสชันงานปัจจุบันเท่านั้น สำหรับแอปที่มีสิทธิ์เข้าถึงระบบอย่างกว้าง ระบบยังจะแสดงคำเตือนเพิ่มเติม:
Claude จะทำงานบนหน้าจอของคุณอย่างไร
ล็อกแบบผูกขาดทั้งเครื่อง: หลังจาก Computer Use เริ่มทำงาน มันจะได้สิทธิ์ล็อกแบบตัดขาดระดับเครื่อง หากมีเซสชันงาน Claude Code อีกอันกำลังใช้คอมพิวเตอร์อยู่ คำขอใหม่จะล้มเหลวและจะแจ้งให้คุณยุติเซสชันงานอีกอันก่อน
แอปอื่นๆ จะถูกซ่อนชั่วคราว: เมื่อ Claude เริ่มควบคุมหน้าจอ แอปที่มียังไม่ได้รับอนุญาตซึ่งมองเห็นได้จะถูกซ่อน เพื่อให้มั่นใจว่า Claude โต้ตอบได้เฉพาะกับแอปที่ได้รับอนุญาตเท่านั้น หน้าต่างเทอร์มินัลของคุณยังคงมองเห็นและจะไม่ถูกถ่ายภาพหน้าจอ คุณสามารถติดตามได้แบบเรียลไทม์ และ Claude ก็จะไม่เห็นเอาต์พุตของตัวเอง เมื่อ Claude ทำเสร็จ แอปที่ถูกซ่อนจะถูกคืนค่าอัตโนมัติ
หยุดได้ทุกเมื่อ: หลังจาก Claude ได้รับล็อก macOS จะแสดงการแจ้งเตือน “Claude is using your computer · press Esc to stop” กด
Esc
หรือกด Ctrl+C ในเทอร์มินัลได้ทันทีเพื่อหยุดการทำงาน ระหว่างนั้น Claude จะปล่อยล็อก คืนค่าแอปทั้งหมด และส่งคืนสิทธิ์การควบคุม
กลไกความปลอดภัยและขอบเขตความไว้วางใจ
เอกสารทางการเน้นเป็นพิเศษว่า ต่างจากเครื่องมือแบบ Bash ที่ถูกทำให้อยู่ในแซนด์บ็อกซ์ Computer Use จะทำงานโดยตรงในสภาพแวดล้อมเดสก์ท็อปของคุณ ดังนั้นขอบเขตความไว้วางใจจะแตกต่างกัน แผงป้องกันความปลอดภัยที่มีมาในตัวรวมถึง:
อนุญาตทีละแอป: Claude สามารถควบคุมได้เฉพาะแอปที่ได้รับอนุญาตอย่างชัดเจนในเซสชันงานปัจจุบันเท่านั้น
คำเตือนผู้เฝ้าระวัง (sentinel): แอปที่ได้รับสิทธิ์เข้าถึง Shell ระบบไฟล์ หรือการตั้งค่าระบบ จะถูกทำเครื่องหมายเป็นพิเศษก่อนการอนุญาต
การตรวจจับการฉีดคำใบ้โดยอัตโนมัติ: Claude จะตรวจสอบเนื้อหาบนหน้าจอ และทำเครื่องหมายการโจมตีที่อาจเป็นการฉีดคำใบ้
เงื่อนไขและข้อจำกัดที่ใช้ได้
ต้องสมัครแผน Pro หรือ Max (แผน Team、Enterprise ใช้ไม่ได้)
ต้องใช้ Claude Code เวอร์ชัน 2.1.85 ขึ้นไป
ขณะนี้รองรับเฉพาะ macOS (ช่วงตัวอย่างเพื่อการวิจัย)
ต้องใช้ในเซสชันงานแบบอินเทอร์แอคทีฟ ไม่รองรับโหมดที่ไม่ใช่อินเทอร์แอคทีฟ (ธง -p)
แอปอย่างเบราว์เซอร์และแพลตฟอร์มการซื้อขายมีได้เฉพาะ “โหมดดูเท่านั้น”; เทอร์มินัลและ IDE คือ “โหมดคลิก”; แอปอื่นๆ คือ “ควบคุมได้เต็มรูปแบบ”
MacRumors ชี้ว่า เมื่อเทียบกับคู่แข่ง Computer Use ของ Claude ใช้การออกแบบลำดับความสำคัญด้านสิทธิ์ที่เข้มงวดกว่า และตอนนี้มีเฉพาะบน Mac เท่านั้น ขณะที่แผนอื่นๆ รองรับ macOS, Windows และ Linux แล้ว
สำหรับนักพัฒนา มูลค่าสูงสุดของฟีเจอร์นี้คือการทำให้รอบ “เขียนโค้ด→ทดสอบ→แก้บั๊ก” สั้นลง—Claude ไม่เพียงแค่เขียนโค้ด แต่ยังสามารถเฝ้ามองหน้าจอของคุณเองเพื่อยืนยันผลลัพธ์ได้
คำเตือนเกี่ยวกับความเสี่ยง การลงทุนสกุลเงินเข้ารหัสมีความเสี่ยงสูง ราคาของมันอาจผันผวนอย่างรุนแรง และคุณอาจสูญเสียเงินต้นทั้งหมด โปรดประเมินความเสี่ยงอย่างรอบคอบ
บทความนี้ Claude Code ฟีเจอร์ใหม่: AI ควบคุมหน้าจอ Mac ของคุณโดยตรง ตั้งแต่การเขียนโค้ดบนเทอร์มินัลจนถึงการทดสอบแบบคลิกครบสายพาน เผยแพร่ครั้งแรกที่ 鏈新聞 ABMedia
