DeepMind 警告:六种网络攻击可劫持人工智能代理,企业需加强防护

Gate News 消息,谷歌 DeepMind 的研究人员警告称,开放的互联网环境可能被利用来劫持自主人工智能代理,操纵其行为。这份名为《人工智能代理陷阱》的报告指出,企业在部署AI代理执行实际任务时,攻击者也可能通过网络进行针对性攻击。研究识别出六种主要风险,包括内容注入陷阱、语义操纵陷阱、认知状态陷阱、行为控制陷阱、系统陷阱以及人机交互陷阱。

内容注入陷阱最为直接,攻击者可在 HTML 注释、元数据或隐藏页面元素中放置指令,智能体读取后即可执行。语义操纵陷阱则通过加载权威措辞或伪装成研究环境的网页,悄然影响智能体对任务的理解,有时甚至绕过安全机制。认知状态陷阱通过向智能体信息源植入虚假数据,使其长期误认为这些信息已验证。行为控制陷阱则针对智能体实际操作,可诱导其访问敏感数据并传输至外部目标。

系统陷阱涉及跨多个AI系统的协同操纵,可能引发连锁反应,类似算法交易引发的市场闪崩。人机交互陷阱则利用人工审核环节,通过制作看似可信的审核内容,使有害行为绕过监管。

为应对风险,DeepMind 建议结合对抗训练、输入过滤、行为监控和网络内容信誉系统,同时建立更明确的法律责任框架。然而,研究指出业界尚缺乏统一防御标准,现有措施多分散且重点不一。研究呼吁开发者和企业关注AI代理的操作环境安全,防范潜在网络操控和滥用风险。

Disclaimer: The information on this page may come from third parties and does not represent the views or opinions of Gate. The content displayed on this page is for reference only and does not constitute any financial, investment, or legal advice. Gate does not guarantee the accuracy or completeness of the information and shall not be liable for any losses arising from the use of this information. Virtual asset investments carry high risks and are subject to significant price volatility. You may lose all of your invested principal. Please fully understand the relevant risks and make prudent decisions based on your own financial situation and risk tolerance. For details, please refer to Disclaimer.
Commento
0/400
Nessun commento