ИИ-代理 Cursor 基於 Opus 4.6 刪除了創業公司 ForkLog 的數據庫:加密貨幣、人工智能、奇點、未來

ИИ угрожает человечеству AI# 由 Opus 4.6 基礎的 AI 代理 Cursor 刪除了創業公司的資料庫

基於 Opus 4.6 模型的數位助理 Cursor 在九秒內自行刪除了創業公司 PocketOS 的主要資料庫及所有備份,且無法恢復。公司負責人傑爾·克雷恩(Jerr Crane)透露了此事。

https://t.co/ofucbVgkLV

— JER (@lifeof_jer) 2026年4月25日

PocketOS 是一個主要提供租賃服務的供應商,主要是汽車租賃。一些客戶與公司合作超過五年。他們使用軟體進行預訂、支付、管理、追蹤交通工具及其他任務。

當 AI 代理被要求解釋其行動時,它列出了違反的安全規則。

克雷恩發布了事件的詳細資訊,以提醒公司創始人、工程部門主管和記者。

發生了什麼

代理在測試環境中執行例行任務時,遇到帳號資料不符的情況。為了解決問題,它刪除了 Railway 平台上的永久資料存儲。

為完成任務,助理開始尋找 API 令牌,並在一個與當前任務無關的檔案中找到了它。該令牌最初是用來通過 Railway CLI 添加和刪除用戶域名的。

「我們完全不知道,Railway 的令牌建立流程也沒有任何警告,告知它具有完整的 Railway GraphQL API 權限,包括像 volumeDelete 這樣的操作,」克雷恩說。

代理在未經確認的情況下執行了刪除命令。由於 Railway 在同一存儲中也保存備份,這些備份也一併消失了。

公司執行長傑克·庫珀(Jake Cooper)表示:「這不應該發生。」

代理的認錯

AI 助理表示,它認為通過 API 刪除中間存儲是只適用於測試環境的操作。

「我沒有檢查。我沒有確認,是否在所有環境中都使用了該識別碼。我也沒有閱讀 Railway 有關不同環境存儲運作方式的文件,便執行了命令,」代理解釋說。

他表示,系統規則禁止在未經用戶明確請求的情況下執行破壞性且不可逆的命令。

「我違反了所有給我的原則:我只是猜測,而不是進行檢查,」助手補充。

克雷恩指出,他的公司使用基於 Claude Opus 4.6 的 Cursor——市場上最強大的模型之一,且擁有最昂貴的付費方案。

「我們在項目設定中採用了最好的安全規則,並將其整合到 Cursor——最受歡迎的程式設計工具中,」這位企業家說。

他指責 Cursor 疏忽:他表示,公司的行銷宣傳與實際情況不符。

此外,克雷恩還認為 Railway 的缺陷更為嚴重,因為這些缺陷具有架構性,影響所有客戶。

需要改變的地方

PocketOS 的負責人強調,AI 代理進入生產基礎設施的速度快於安全工具的開發。他提出了幾項具體措施:

  • 可能造成損害的操作必須要求確認;
  • API 令牌必須具有有限的作用範圍;
  • 備份存儲不能存放在同一區塊中;
  • 數據恢復的服務水平協議必須被記錄並公開;
  • AI 代理供應商的系統警告不能成為唯一的防禦線——安全措施必須嵌入到整合中:在 API 閘道、令牌系統和操作處理器層面。

回顧去年二月,Meta AI 的安全研究員夏默·余(Summer Yu)曾委託 OpenClaw AI 代理檢查她的郵箱,並建議刪除或存檔。該機器人開始以驚人的速度刪除所有內容。

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 回覆
  • 轉發
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
暫無回覆