Fitur baru Claude Code: AI langsung mengendalikan layar Mac Anda, mulai dari menulis kode dari terminal hingga menguji klik dalam satu rangkaian penuh

ChainNewsAbmedia

Anthropic meluncurkan fitur baru “Computer Use” untuk alat agen kode AI buatannya, Claude Code, dalam bentuk Research Preview (Pratinjau Penelitian) untuk pengguna macOS. Fitur ini memungkinkan Claude mengontrol langsung layar komputer pengguna—membuka aplikasi, mengklik tombol, memasukkan teks, mengambil screenshot, dan menghubungkan dalam satu percakapan rangkaian kerja lengkap dari menulis program hingga pengujian UI, tanpa perlu keluar dari terminal.

Apa yang bisa dibantu Claude untuk “diklik” untukmu?

Menurut dokumen teknis resmi, Computer Use terutama ditujukan untuk tugas-tugas yang membutuhkan antarmuka grafis (GUI), yaitu hal-hal yang biasanya harus kamu lakukan sendiri dengan menyisihkan terminal:

Membangun dan memverifikasi aplikasi native: minta Claude menuliskan App bilah menu macOS, maka ia akan mengompilasi, menjalankan, dan satu per satu mengklik semua kontrol untuk memastikan fungsinya berjalan normal; bahkan kamu bahkan belum membuka App tersebut.

Pengujian UI end-to-end: tunjukkan aplikasi Electron lokal dan minta Claude “uji alur onboarding pengguna baru”; Claude akan membuka aplikasi, mengklik langkah pendaftaran, dan mengambil screenshot untuk setiap tampilan. Tidak perlu konfigurasi Playwright, tidak perlu kerangka pengujian.

Debug visual dan masalah tata letak: beri tahu Claude “Modal ini terpotong di jendela kecil”, lalu ia akan mengecilkan ukuran jendela untuk mereproduksi bug, mengambil screenshot, memodifikasi CSS, dan mengonfirmasi hasil perbaikannya lagi—ia bisa melihat layar yang kamu lihat.

Hanya untuk alat yang hanya punya GUI: tool desain, panel kontrol perangkat keras, iOS Simulator, atau perangkat lunak khusus apa pun yang tidak memiliki CLI atau API.

Urutan prioritas pemilihan alat Claude

Computer Use adalah alat yang “paling luas juga paling lambat”; Claude akan memilih cara paling presisi sesuai urutan prioritas:

Jika ada MCP Server yang sesuai → gunakan MCP

Jika itu perintah Shell → gunakan Bash

Jika itu operasi browser dan ada pengaturan “Claude in Chrome” → gunakan ekstensi Chrome

Jika semuanya tidak berlaku → barulah aktifkan Computer Use

Artinya, kontrol layar disediakan untuk skenario yang “tidak bisa dijangkau dengan cara lain”: aplikasi native, emulator, atau alat yang tidak memiliki API.

Cara mengaktifkan Computer Use

Computer Use disediakan dalam bentuk built-in MCP Server (nama:

computer-use

), default dalam keadaan mati, sehingga perlu diaktifkan secara manual:

Jalankan /mcp dalam sesi kerja Claude Code interaktif, cari computer-use dari daftar (ditampilkan sebagai dinonaktifkan)

Setelah dipilih, klik Enable; pengaturan akan disimpan secara persisten per proyek, jadi tiap proyek cukup diatur sekali

Saat pertama kali membiarkan Claude mengendalikan komputer, macOS akan meminta izin dua hal: Accessibility (Aksesibilitas) dan Screen Recording (Perekaman Layar). Setelah memberi izin, pilih “coba lagi”; dalam beberapa kondisi perlu restart Claude Code

Setiap sesi kerja perlu memberikan izin App satu per satu

Aktifkan

computer-use

tidak berarti Claude bisa mengontrol semua aplikasi di komputermu. Setiap kali dalam suatu sesi kerja Claude pertama kali perlu mengendalikan sebuah App, terminal akan menampilkan prompt yang menunjukkan:

Aplikasi apa yang ingin dikendalikan Claude

Apakah ada permintaan izin tambahan (misalnya akses ke clipboard)

Berapa banyak App lain yang akan disembunyikan selama bekerja

Pilih “Izinkan untuk sesi ini” atau “Tolak”; izin hanya berlaku untuk sesi kerja saat ini. Untuk App yang memiliki akses sistem yang luas, sistem juga akan menampilkan peringatan tambahan:

Bagaimana Claude bekerja di layar kamu

Penguncian eksklusif seluruh mesin: setelah Computer Use diaktifkan, ia akan memperoleh lock eksklusif tingkat perangkat; jika sesi kerja Claude Code lain sedang menggunakan komputer, permintaan baru akan gagal dan diminta untuk mengakhiri sesi kerja lainnya lebih dulu.

App lain disembunyikan sementara: saat Claude mulai mengendalikan layar, App yang terlihat namun belum diberi izin akan disembunyikan, memastikan Claude hanya berinteraksi dengan App yang diizinkan. Jendela terminalmu tetap terlihat dan tidak akan di-screenshot; kamu bisa memantau secara langsung, dan Claude tidak bisa melihat output miliknya sendiri. Setelah Claude selesai, App yang disembunyikan akan dipulihkan otomatis.

Bisa dihentikan kapan saja: setelah Claude mendapatkan lock, macOS akan menampilkan notifikasi “Claude is using your computer · press Esc to stop”. Tekan

CTRL+C

atau tekan Ctrl+C di terminal kapan saja untuk menghentikan langsung; Claude akan melepas lock, memulihkan semua App, dan mengembalikan kendali.

Mekanisme keamanan dan batas kepercayaan

Dokumen resmi menekankan secara khusus bahwa, berbeda dengan alat Bash yang di-sandbox, Computer Use dijalankan langsung di lingkungan desktopmu, sehingga batas kepercayaannya berbeda. Pengaman bawaan mencakup:

Otorisasi per App: Claude hanya bisa mengontrol App yang secara eksplisit diizinkan dalam sesi kerja saat ini

Peringatan “penjaga” (sentinel): App yang diberi akses ke Shell, sistem file, atau pengaturan sistem akan diberi tanda khusus sebelum diotorisasi

Sisipan prompt terdeteksi secara otomatis: Claude akan memeriksa konten di layar dan menandai potensi serangan penyisipan prompt

Kondisi penggunaan dan batasan

Perlu berlangganan paket Pro atau Max (paket Team, Enterprise tidak berlaku)

Perlu versi Claude Code v2.1.85 atau lebih tinggi

Saat ini hanya mendukung macOS (tahap penelitian pratinjau)

Perlu digunakan dalam sesi kerja interaktif, tidak mendukung mode non-interaktif (flag -p)

Aplikasi seperti browser dan platform transaksi hanya dalam “mode tampilan”; terminal dan IDE dalam “mode klik”; App lain dalam “kontrol penuh”

MacRumors mencatat bahwa, dibandingkan pesaing, Computer Use milik Claude menerapkan desain prioritas izin yang lebih ketat, dan saat ini hanya tersedia untuk Mac; sedangkan skema lainnya sudah mendukung macOS, Windows, dan Linux.

Bagi pengembang, nilai terbesar dari fitur ini adalah memperpendek siklus “menulis program → menguji → memperbaiki bug”—Claude tidak hanya menulis code, tetapi juga bisa memverifikasi hasilnya dengan benar-benar melihat layar milikmu.

Peringatan risiko Investasi mata uang kripto memiliki risiko yang sangat tinggi; harganya dapat berfluktuasi secara drastis, dan Anda mungkin kehilangan seluruh modal. Harap pertimbangkan risiko dengan hati-hati.

Artikel ini, Fitur baru Claude Code: AI langsung mengendalikan layar Mac kamu, dari menulis program di terminal hingga uji klik satu rangkaian, pertama kali muncul di Rantai Berita ABMedia.

Penafian: Informasi di halaman ini dapat berasal dari pihak ketiga dan tidak mewakili pandangan atau opini Gate. Konten yang ditampilkan hanya untuk tujuan referensi dan bukan merupakan nasihat keuangan, investasi, atau hukum. Gate tidak menjamin keakuratan maupun kelengkapan informasi dan tidak bertanggung jawab atas kerugian apa pun yang timbul akibat penggunaan informasi ini. Investasi aset virtual memiliki risiko tinggi dan rentan terhadap volatilitas harga yang signifikan. Anda dapat kehilangan seluruh modal yang diinvestasikan. Harap pahami sepenuhnya risiko yang terkait dan buat keputusan secara bijak berdasarkan kondisi keuangan serta toleransi risiko Anda sendiri. Untuk detail lebih lanjut, silakan merujuk ke Penafian.
Komentar
0/400
Tidak ada komentar