智算多多
官方邮箱:service@zsdodo.com

公司地址:北京市丰台区南四环西路188号总部基地三区国联股份数字经济总部


京公网安备11010602202532号 Open Agent Safety Platform主要由OpenShell和Sentry两层组成。
其中,OpenShell是一套开源Agent运行时软件,通过沙箱和权限策略限制Agent的活动范围。英伟达表示,该系统可以控制Agent对文件、网络、进程、工具和凭证等资源的访问,并默认阻止未经授权的操作。
Sentry则将安全控制进一步延伸至硬件层。该系统运行在英伟达 BlueField-4 DPU上,与运行AI Agent的主机环境相对独立,可以持续检查Agent的请求和响应,并对数据、工具、API和服务进行访问控制。
英伟达表示,如果Agent试图突破既定的软件边界,Sentry可以对其进行隔离。相比单纯依赖模型自身遵守安全规则,这一架构增加了额外的运行时和硬件防护层。
Anthropic此次参与的重点是Claude Managed Agents。
Claude Managed Agents能够将Agent运行循环放置在独立服务器上,并与执行具体任务的沙箱环境分开。在此基础上,该服务与OpenShell及BlueField进行整合,为企业提供更细致的Agent权限控制。
Notion、Rakuten和Asana等企业已经在生产环境中使用Claude Managed Agents。
这意味着,企业部署Claude等AI Agent时,可以在模型之外增加一套独立的安全控制机制。Agent可以继续自主执行任务,但其能够访问哪些资源、使用哪些工具,以及出现异常时是否继续运行,都可以通过额外的软件和硬件层进行限制。
此次发布也发生在AI Agent安全问题受到更多关注之际。
英伟达创始人兼CEO黄仁勋表示,随着AI能力不断发展,AI安全能力也需要同步推进,并称AI安全需要“全栈工程”。
英伟达此次并没有把安全能力局限于某一个AI模型,而是将其延伸到Agent运行时、服务器以及网络和计算基础设施。对于企业而言,这意味着AI Agent的安全边界可以从模型本身进一步扩展至执行环境。
目前,超过100家机构参与相关技术。除Anthropic外,英伟达还披露,SpaceXAI正在将相关平台用于Cursor coding agents和Grok模型,Salesforce和SAP也在推进OpenShell相关整合。
随着AI Agent从聊天工具逐步转向能够调用工具、访问数据并自主执行任务的企业软件,围绕Agent权限、隔离和实时监控的基础设施需求也在扩大。
英伟达此次推出开放式安全平台,并与Anthropic等AI厂商展开合作,正试图将这类安全能力纳入AI基础设施体系。
