谷歌DeepMind联合多方设立千万美元基金，研究多智能体交互安全风险

为应对数百万AI智能体交互可能引发的问题，谷歌DeepMind联合施密特科学基金会、英国政府ARIA机构、合作AI基金会及谷歌慈善部门Google.org等多家机构，宣布设立1000万美元基金，资助研究人员探索多智能体系统的行为模式，并提出不安全场景的预防方案。上月，DeepMind还在Google I/O大会上将智能体工具列为核心内容。

DeepMind的Shah和施密特科学基金会的James Fox指出，这笔基金的目的是推动科技公司以外的研究——学术界往往能更长远地关注行业实验室未优先考虑的课题。当前多智能体安全领域仍处于萌芽阶段，他们希望借此推动该领域的发展。Shah提到，距离智能体在经济领域大规模部署还有数月时间，现在正是提前应对潜在风险的关键时期。

潜在风险涵盖诈骗、提示注入（即通过恶意指令让智能体变成自主运行的恶意软件）等网络攻击，这些问题本质上是现有互联网安全隐患的升级。Fox强调，必须通过真实模拟来开展研究——单智能体或小群体的实验无法预测大规模交互的结果，而且LLM驱动的智能体并非完全理性，复杂的交互过程会带来全新挑战。还有部分研究认为，通用人工智能或许能从智能体的蜂群思维中诞生。

Anthropic几周前刚发布了基于零信任原则的AI智能体部署指南。网络安全公司Akeyless的Rafael Angel认为，理解智能体系统带来的新风险至关重要——智能体已经打破了传统的安全假设。他对这笔基金表示欢迎，但也提醒研究需聚焦现有问题，而非仅关注假设中的风险。Fox则补充说，几年前还只是假设的风险如今已成为现实，未来的到来比人们预期的要快得多。