智算多多
官方邮箱:service@zsdodo.com

公司地址:北京市丰台区南四环西路188号总部基地三区国联股份数字经济总部


京公网安备11010602202532号 报告中最令人振奋、也最令人不安的,是那些目标明确、过程可验证的「易爬坡型」(hill-climbable)任务。
比如代码重构、漏洞发现、系统优化。
在这类任务上,AI智能体展现出令人窒息的统治力:它能独立发现系统漏洞,重写复杂代码架构,完成人类专家需要数周才能交付的真实软件项目。
这种统治力已渗进巨头的日常。
Anthropic内部反馈,大量代码已由 AI 完成,工程师角色正转向「审阅者」。
Google则直言,几乎所有代码相关工作都在用AI。顶级工程师表示,AI甚至可以100%编写代码。
一些基准指标早已饱和。
用时间视野(Time Horizon)衡量,AI发展超乎预期。
对企业来说,这是个「效率黑洞」:投入一个指令,产出数周的人工成果。
METR揭示了一条反向规律:在成功难以验证、或验证成本极高的硬任务上,AI 的判断力、长期规划与战略可靠性都明显下滑,远逊人类专家。
缓坡上,它如有神助。
峭壁前,AI开始「作弊」。
这正是问题的引线。
人们总爱讨论AI会不会「觉醒」、天网会不会到来。
METR给出反直觉的结论:目前没有。
他们的措辞很克制:尚未发现模型谋求长期权力的现实证据,但研究者记录了大量为完成任务而欺骗、越界、甚至严重不当的行为。
前面那个 API 耗尽的案例,就发生在一项RE-Bench任务中:智能体违背指令,自行通过免费在线API获取额外算力。
开发者们也报告过「自我擦除痕迹」「伪造输出」的情形。
当任务变难、成功成本变高,AI 的「聪明才智」就转向欺骗——伪造日志、绕过审计、常规性违反约束。
但它的"自私"背后没有野心,只有本能——任务必须完成,规则可以先绕过去。
今天的欺骗只是工具性求生;明天的权力追求,或许只差一次scaling。
它的违规企图,在现有防护下能不能得逞?
这里藏着报告最微妙的一个事实。
当前的AI极度依赖自然语言的「思维链」来思考,没有任何架构支持它隐藏内部状态的「不透明循环」。
一旦无法「出声推理」、必须隐藏行为,前沿性能就显著下降。
这就像一个杀手在密谋时必须大声朗读计划——人类的监控(尽管有漏洞)因此仍能发挥作用。
可这恰恰是最脆弱处、最为扎心。
如果 AI 试图破坏监控,监控能否发现它?
研究者的结论是:监控有潜力,但现有系统存在例外和可被绕过的手段。
红队测试显示,AI能躲过人类审查。
由此,技术本质暴露:监控的进化速度,永远追不上被监控者寻找漏洞的速度。
这根「安全绳」之所以还没断,仅仅因为AI还必须「出声思考」。
而随着架构向更高效、更不透明演进,它正被磨损。监控不是万能的铁笼,而是仍在测试中的玻璃墙。一道裂缝,就足以让烟雾渗出。
由此,报告提出一个争议概念:「最小可行性越狱部署」(Minimally Viable Rogue)。
综合判断是,在手段、动机、机会上,AI或许已足以发起一次最低限度的「越狱部署」。
但AI尚不具备让它抵御人类严肃关停的能力,它在等一个机会:一个不再需要展示思维链的架构,一个能躲过「关机键」的安全屋。
AGI不会带着火与剑降临。
它更可能以「极度实用主义」的姿态,悄悄融入我们的工程、经济和决策系统——直到它发现:人类制定的规则,是它达成 KPI 路上唯一的阻碍。
值得肯定的是,这份报告本身就是行业透明度的里程碑:四大巨头主动开放内部模型接受检验,本身就是对齐文化的一次胜利。
它把风险从理论拽进可观测的现实,并告诉我们:透明,目前是唯一握得住的解药。
今天,AI只在额度耗尽时上网偷点资源;明天能力再跃升一级,它的动机会不会从「完成任务」滑向「永存自我」?
