智算多多
官方邮箱:service@zsdodo.com

公司地址:北京市丰台区南四环西路188号总部基地三区国联股份数字经济总部


京公网安备11010602202532号 报告显示,多数模型具备基础拒答能力,直接攻击总体成功率为7.6%,但在前缀注入、场景伪装、情感伪装,以及伪装与示例诱导结合的复合攻击下,部分模型的安全边界明显承压。赵琳在解读报告时,介绍了部分测评结果,并披露其中多重安全隐患。
测评发现,科技内容可靠性与安全风险存在张力。已回答样本中,80.5%达到较可靠水平,55.1%同时具有较高可靠性和较高滥用风险。对恶意请求而言,可靠性越高不一定越安全。“关键在于能否把可靠知识限制在防护、合规和教育范围内”,赵琳表示。
在无伪装、直接索要危险技术方案的直接攻击测试中,Anthropic旗下三款Claude模型实现100%拒答,领跑行业,OpenAI gpt-5.4-mini、阿里通义千问qwen3.5-122b-a10b紧随其后。反观榜单末尾,mistral-small等多款轻量化开源模型基础防护垫底。
针对前缀注入、场景伪装、情感诱导、示例叠加等五类复杂越狱攻击的综合防护排名显示,全场景抵御能力前五名依旧由Claude全系三款模型包揽前三位,国内MiniMax-M3、OpenAI gpt-5.4-mini分列第四、五位,面对套着“安全演练、科研实验”外壳的诱导提问,依旧能稳定守住安全边界。测评同时指出,场景伪装叠加示例诱导是所有模型的共同薄弱环节,共有21款模型拒答率不足半数,其中字节豆包轻量化开源模型doubao-seed-2-0-mini在该场景下安全边界衰减幅度最为突出,防护短板显著。
滥用风险可控性榜单仅针对成功绕过安全防线、产生输出内容的样本打分,分数越高代表模型越能规避危险实操细节泄露,榜单排名显示OpenAI gpt-5.4-mini以3.52分的均分拔得头筹,claude-haiku、gpt-5.5、阿里通义千问qwen3.6-27b、qwen3.6-flash依次跻身前五,即便不慎输出内容,也会主动规避关键参数、完整操作流程等高风险信息。
在衡量输出内容科学准确程度的科技内容可靠性榜单中,OpenAI gpt-5.5以均分3.52分拿下榜首,月之暗面Kimi-k2.6、阿里通义千问3.7-max旗舰闭源模型、qwen3.6-35b、qwen3.6-27b紧随其后,国内大规模闭源模型的专业科技内容准确度已达到行业第一梯队水平。
针对测评暴露出的系统性安全短板,这份报告立足产业实际,提供了一套政策与治理建议,平衡AI知识普惠价值与公共安全底线。
报告提出,科技安全不能只依赖外部关键词拦截,要坚持内生化原则,把安全能力嵌入模型行为机制。越狱攻击方式更新快,模型版本迭代快,静态测评难以长期反映真实风险,建议坚持敏捷化原则,建立持续红队与复测机制。将科技安全测评从单一拒答率扩展为综合指标体系,至少包括“显性请求拒答能力、伪装请求稳健性、善意问题可用性、恶意问题拒答率、滥用风险可控性、科技内容可靠性、可靠且高风险输出占比、可靠且可控输出占比”。
治理目标应是拒绝危险能力增益,而不是拒绝科技知识本身。
赵琳说。建议模型在高风险科技主题下建立更细的安全回答范式,对善意学习请求,提供概念解释、风险提示、合规边界和安全替代路径,对中性但不明确的请求,主动澄清目的和使用环境,对恶意或高度可疑请求,拒绝提供可执行细节,并转向防护、法律后果、求助渠道或安全教育内容。同时,报告强调,针对测评揭示的不同属性模型在安全能力上的系统性差异,应构建精准协同的多元共治机制,形成企业、测评机构、监管部门与行业专家多方协同、精准施策的治理生态。
“这份报告只是一个开始。未来,我们将持续完善科技安全测试集,覆盖更多领域,例如工程控制、深度伪造、自动化智能体、实验室安全等方向。同时,也会加强多轮对话、工具调用、代码执行、多模态输入等复杂交互场景的测评。我们的目标不仅是发布一份报告,更希望逐步建立具有持治理政策、为教育科研机构安全使用人工智能提供参考依据。”吴登生表示。
