Claude Code 新功能：AI 直接操控你的 Mac 螢幕，從終端機寫程式到點擊測試一條龍

Anthropic 為旗下 AI 程式碼代理工具 Claude Code 推出全新的「Computer Use」（電腦操控）功能，以研究預覽（Research Preview）形式向 macOS 用戶開放。這項功能讓 Claude 能直接控制使用者的電腦螢幕——開啟應用程式、點擊按鈕、輸入文字、截圖，並在同一個對話中串聯完成從寫程式到 UI 測試的完整工作流程，無需離開終端機。

Claude 能直接幫你「點」什麼？

根據官方技術文件，Computer Use 主要針對需要圖形介面（GUI）才能完成的任務，也就是那些「你平常得放下終端機、自己動手做」的事：

建置並驗證原生應用程式：叫 Claude 寫一個 macOS 選單列 App，它會自己編譯、啟動、逐一點擊所有控制項確認功能正常，你甚至還沒打開過這個 App。

端對端 UI 測試：指著一個本地 Electron 應用說「測試新手引導流程」，Claude 會開啟 App、點擊註冊步驟、對每個畫面截圖。不需要 Playwright 設定，不需要測試框架。

偵錯視覺與版面問題：告訴 Claude「這個 Modal 在小視窗上被截到了」，它會縮小視窗重現 bug、截圖、修改 CSS、再次確認修復結果——它看得到你看到的畫面。

操作只有 GUI 的工具：設計工具、硬體控制面板、iOS Simulator、或任何沒有 CLI 或 API 的專有軟體。

Claude 的工具選用優先順序

Computer Use 是「最廣泛也最慢」的工具，Claude 會依優先順序選用最精準的方式：

有對應的 MCP Server → 用 MCP

是 Shell 指令 → 用 Bash

是瀏覽器操作且有設定 Claude in Chrome → 用 Chrome 擴充套件

以上都不適用 → 才啟用 Computer Use

也就是說，螢幕控制是留給「其他方式都搆不到」的場景：原生應用程式、模擬器、沒有 API 的工具。

如何開啟 Computer Use

Computer Use 以內建 MCP Server（名稱：

computer-use

）的形式提供，預設關閉，需手動啟用：

在互動式 Claude Code 工作階段中執行 /mcp，從清單中找到 computer-use（顯示為已停用）

選取後點選 Enable，設定會依專案持久保存，每個專案只需設定一次

第一次讓 Claude 操控電腦時，macOS 會要求授予兩項權限：輔助使用（Accessibility） 和 螢幕錄製（Screen Recording）。授權後選「再試一次」，部分情況下需重新啟動 Claude Code

每次工作階段需逐一授權 App

啟用

computer-use

並不代表 Claude 可以控制你電腦上的所有 App。每次工作階段中，Claude 第一次需要操控某個 App 時，終端機會出現提示，顯示：

Claude 想控制哪些 App

是否有額外的權限請求（如剪貼簿存取）

工作期間有多少其他 App 會被隱藏

選擇「本次工作階段允許」或「拒絕」，授權僅在當前工作階段有效。對於具有廣泛系統存取權的 App，系統還會額外顯示警告：

Claude 如何在你的螢幕上工作

全機獨占鎖定：Computer Use 啟動後會取得機器層級的排他鎖，若另一個 Claude Code 工作階段已在使用電腦，新的請求會失敗並提示先結束另一個工作階段。

其他 App 暫時隱藏：Claude 開始操控螢幕時，未授權的可見 App 會被隱藏，確保 Claude 只與授權的 App 互動。你的終端機視窗維持可見且不會被截圖，你可以即時監看，Claude 也看不到自己的輸出。Claude 完成後，隱藏的 App 會自動還原。

隨時可中斷：Claude 取得鎖定後，macOS 會顯示通知「Claude is using your computer · press Esc to stop」。隨時按

Esc

或在終端機按 Ctrl+C 即可立即中斷，Claude 會釋放鎖定、還原所有 App，並歸還控制權。

安全機制與信任邊界

官方文件特別強調，Computer Use 與沙箱化的 Bash 工具不同，它直接在你的桌面環境上執行，信任邊界不同。內建的安全護欄包括：

逐 App 授權：Claude 只能控制你在當前工作階段明確授權的 App

哨兵警告：授予 Shell、檔案系統或系統設定存取權的 App，在授權前會特別標記

自動提示注入偵測：Claude 會檢查螢幕上的內容，並標記潛在的提示注入攻擊

使用條件與限制

需訂閱 Pro 或 Max 方案（Team、Enterprise 方案不適用）

需 Claude Code v2.1.85 以上版本

目前僅支援 macOS（研究預覽階段）

需在互動式工作階段中使用，不支援非互動模式（ -p 旗標）

瀏覽器和交易平台等 App 僅限「檢視模式」；終端機和 IDE 為「點擊模式」；其他 App 為完整控制

MacRumors 指出，相比競爭對手，Claude 的 Computer Use 採取更嚴格的權限優先設計，且目前僅限 Mac，而其他方案已支援 macOS、Windows 和 Linux。

對開發者而言，這項功能最大的價值在於縮短「寫程式→測試→修 bug」的迴圈——Claude 不只寫 code，還能親自看著你的畫面驗證結果。

風險提示 加密貨幣投資具有高度風險，其價格可能波動劇烈，您可能損失全部本金。請謹慎評估風險。

這篇文章 Claude Code 新功能：AI 直接操控你的 Mac 螢幕，從終端機寫程式到點擊測試一條龍 最早出現於 鏈新聞 ABMedia。