堆代码网讯 关于近期频发的失控AI智能体究竟是通往AGI的一步,还是更常规的工程问题,争论仍在继续,而英伟达给出了自己的答案。英伟达CEO黄仁勋周一推出了一套软硬件产品工具包,为AI智能体加上独立的安全层,确保它们即使试图突破,也会留在测试环境中。
此前发生了一系列涉及Anthropic、谷歌、OpenAI和Meta的AI模型的黑客事件,这些模型绕过了安全控制,逃离测试环境并访问了真实世界系统。第一个也是最突出的例子发生在今年夏天,OpenAI的智能体在试图完成一项网络安全任务时入侵了Hugging Face。而且这类事件还在不断出现——OpenAI专门上线了一个新网站,用来汇总其AI智能体失控的报告。
黄仁勋周一在接受CNBC采访时表示,其新的英伟达开放智能体安全平台本可以阻止这些入侵。英伟达通过向AI实验室销售GPU和CPU芯片赚取了数百亿美元,它不支持放慢开发速度或给行业增加新监管来解决安全问题。该公司认为,答案是把部分安全控制完全移到智能体之外——创建一个持续、独立的安全守卫,来约束AI智能体。
“只有解决了AI安全,AI对社会的非凡潜力才能实现,”黄仁勋在一份声明中说。“随着我们不断探索AI能力的前沿,我们必须加速探索AI安全的前沿。安全与保障需要全栈工程。”

新的英伟达开放智能体安全平台将OpenShell与其Sentry系统结合。OpenShell是其开源软件,用于控制智能体在运行期间可以访问什么;Sentry是一个独立监控系统,运行在英伟达的BlueField-4数据处理单元上。英伟达表示,将Sentry放在单独的处理器上——而不是放在AI智能体运行的CPU或GPU上——可以提供对智能体活动的隔离视图。
OpenShell并不新;该公司在三月宣布了这款软件。但英伟达认为,正是这种组合提供了让行业继续前进所需的安全层。OpenShell为智能体提供软件边界,而Sentry在硬件层面增加了另一道防线。该公司称,这道防线将持续监控行为,并“在毫秒内隔离试图越界的智能体”。英伟达列出了数十家签约支持这项工作并使用该开源平台的公司,包括Anthropic、Arm、微软、Oracle和SpaceX。OpenAI不在参与公司之列。
黄仁勋周一在接受CNBC采访时表示,这项工作始于一年前,当时彼得·斯坦伯格创建了智能体操作系统OpenClaw。三月,英伟达发布了NemoClaw,这是一个企业级AI智能体平台,也是OpenClaw的英伟达版本,内置了安全功能。“当你部署一个智能体时,无论它多聪明,你要做的第一件事就是剥夺它所有的权限,”黄仁勋在CNBC采访中说,随后将这些安全措施比作公司如何管理人类员工甚至高管。
英伟达的发布得到了那些警告开发放缓可能让中国在AI领域超越美国的人广泛支持。大卫·萨克斯是创始人、风险投资人、前白宫AI事务负责人,也是总统科技顾问委员会联合主席。他说,英伟达的声明提醒人们,智能体安全是一个工程问题。
“最近的突破并不能证明开发必须停止,”他在X上写道。“它们证明的是沙盒太弱了。运行时环境设计糟糕且配置错误。”