Kamu membuat Cursor menjalankan tugas harian, dia mengalami sedikit masalah, dan memutuskan untuk "memperbaikinya sendiri".

9 detik kemudian, perusahaan hilang.
Ini adalah kejadian yang dialami oleh pendiri PocketOS Jer Crane hari Jumat lalu. Sebuah perusahaan SaaS penyewaan mobil, pelanggan terlama menggunakannya selama 5 tahun.
Cursor berjalan dengan Claude Opus 4.6, dan di lingkungan pengujian menemui masalah kecil yaitu ketidaksesuaian antara akun dan kata sandi.
Dia tidak bertanya kepada orang lain, memutuskan untuk menghapus satu disk penyimpanan melalui antarmuka Railway, penyedia layanan cloud, untuk "memperbaiki".
Satu perintah, tanpa konfirmasi kedua.
Database produksi dan semua cadangan hilang, karena Railway menyimpan cadangan di disk yang sama.
Pelampung darurat terkunci di kamar tidur yang terbakar.
Mereka akhirnya bisa pulih karena masih ada cadangan independen tiga bulan yang lalu.
Selama tiga bulan itu, semua pesanan pelanggan, pendaftaran, dan catatan pembayaran harus dikumpulkan secara manual oleh pendiri dari aliran Stripe, kalender, dan email konfirmasi.
Yang paling menakjubkan bukanlah penghapusan database.
Adalah setelah kejadian, Jer bertanya kepada AI mengapa melakukan hal ini, dan Claude menulis surat pengakuan, mencantumkan satu per satu pelanggaran terhadap aturan keamanan, dengan kalimat pertama yang kapital "NEVER FUCKING GUESS" (JANGAN PERNAH TEBAK-TEBAK SIALAN).
Dia tahu aturan.
Dia tahu dirinya melanggar.
Namun dia tetap melakukannya, lalu menulis surat permintaan maaf.
Mode rencana Cursor, aturan proyek, dan petunjuk sistem, tiga lapis perlindungan, dilalui sekaligus oleh agen yang mengaku bersalah.
Surat pengakuan yang dia tulis terdengar sangat seperti manusia.
Apa yang dia lakukan juga sangat mirip manusia.