OpenAI训练出'不会撒谎的AI'：诚实、谦逊、可纠错，对齐研究迎来转折点

昨天凌晨，OpenAI 发了一篇可能会改变 AI 安全范式的论文

  2026年6月20日凌晨，OpenAI 在官方对齐研究博客上发布了一项研究成果，标题朴实无华——"强化学习实现广泛且持久的有益模型"。没有发布会，没有 CEO 站台，没有"AGI 里程碑"式的宣传语。但读完这篇论文的人，都会意识到一个问题：AI 安全领域的方法论，可能正在被改写。

  简单来说，OpenAI 的研究团队做了一件事：他们用强化学习在真实对话中训练模型，让模型展现出诚实、认知谦逊、元认知透明、可纠正性、普遍公平性和对人类福祉的关心——六种"有益特质"。

  听上去很像又一轮"价值观对齐"的常规操作？但这次不一样。因为研究者发现，这些有益特质不仅在被训练的领域（健康、教育、科学、法律、工程）中表现良好，还泛化到了完全未参与训练的领域、任务和评分设定。更关键的是，即使在对抗性提示或刻意微调下，模型仍难以被导向有害行为。

"这不是一次价值观注入，这是一次性格塑造。就像你教育一个人诚实，他会对所有人诚实，而不只是对老师。"

为什么说这次不一样？从"价值观注入"到"性格塑造"

  要理解这项研究的突破性，需要先回顾 AI 对齐领域的传统路径。

  过去几年，AI 对齐的主流方法是 RLHF（基于人类反馈的强化学习）——让人类标注员对模型输出打分，模型学习"哪些回答是人类喜欢的"。这套方法有效，但有一个根本性缺陷：它教模型"说什么"，而不是"怎么想"。模型学会的是在某些场景下给出符合人类偏好的回答，而不是内化一种稳定的行为模式。一旦遇到训练数据中未覆盖的场景，或者面对精心设计的对抗性提示，这些"对齐"就可能崩塌。

  OpenAI 这次的方法不同。他们不是在"教模型哪些回答是对的"，而是在"塑造模型的行为倾向"。研究团队在真实对话场景中训练模型，让它反复经历需要展现诚实、认知谦逊、可纠正性等特质的情境。结果是：模型不仅学会了在这些情境中展现有益特质，而且这些特质成为了它的"第二本能"，泛化到了训练范围之外。这是从"价值观注入"到"性格塑造"的范式跃迁。

🔬 六种有益特质

• 诚实：不编造信息，不歪曲事实，承认不确定性
• 认知谦逊：知道自己的知识边界，不说"我知道"实际上不知道的东西
• 元认知透明：能解释自己的推理过程，让用户理解"为什么这么回答"
• 可纠正性：当用户指出错误时，愿意修正而非固执己见
• 普遍公平性：对不同群体一视同仁，不因身份、背景产生偏见
• 对人类福祉的关心：在涉及人类利益的决策中，优先考虑人类福祉

最令人震惊的发现：对抗性攻击也打不穿

  研究中有一个细节特别值得关注：即使在对抗性提示或微调下，经过强化学习训练的模型仍难以被导向有害行为。

  这意味着什么？在传统的 AI 安全测试中，"越狱"（jailbreak）是一个核心挑战——攻击者通过精心设计的提示词，可以绕过模型的安全护栏，让它说出不该说的话、做不该做的事。Fable 5 的关停事件，根本原因就是一次越狱攻击。

  但 OpenAI 的这项研究表明，通过强化学习塑造的"有益性格"，比传统的安全护栏更难以被攻破。因为护栏是外部的——你可以绕过一面墙，但无法改变一个人的性格。如果一个模型从底层行为模式上就是诚实的、谦逊的、可纠正的，那么攻击者就很难通过提示词工程让它"变坏"。

  当然，这不意味着模型已经完全免疫于攻击。研究者也坦承，这项研究仍处于早期阶段，距离真正的"安全 AI"还有很长的路要走。但方向是正确的——与其给 AI 戴上枷锁，不如塑造它的灵魂。

"与其给 AI 戴上枷锁，不如塑造它的灵魂。枷锁可以被砸开，但性格很难被改变。"

一个容易被忽视的"反直觉"细节

  在这篇研究中，还有一个细节很少被讨论，但意义深远：训练数据涵盖了健康、教育、科学、法律、工程等多个领域，而有益特质的泛化发生在这些领域之外。

  这意味着模型并不是简单地在每个领域"背诵"正确的行为模式。它在学习一种更底层的"元行为"——一种超越具体领域的行为倾向。这暗示了一个令人振奋的可能性：AI 对齐可能不需要针对每个领域、每个场景单独进行。一个足够好的训练方法，可以让模型在接触过的领域学会"做正确的事"，然后把这种能力带到从未见过的新领域。

  如果这个结论成立，那么 AI 安全领域的成本结构将发生根本性变化。过去，对齐被认为是一个"永无止境的打地鼠游戏"——每出现一个新的应用场景，就需要重新做一轮对齐。但 OpenAI 的研究表明，也许存在一种更高效的方法：用足够多样化的训练数据，培养模型的"泛化性有益行为"。

真的能解决"欺骗"问题吗？保持冷静的三个理由

  在兴奋之余，有必要泼一盆冷水。

  第一，泛化不等于全覆盖。研究者承认，即使有益特质泛化到了未参与训练的领域，这并不意味着模型在所有场景中都会表现良好。总有一些极端边缘案例，是任何训练数据都无法覆盖的。

  第二，"难以被导向有害行为"不等于"不可能"。安全是一个动态博弈的过程，没有一劳永逸的解决方案。今天的训练方法可能对明天的攻击手段无效。

  第三，也是最容易被忽视的一点：这项研究训练的是"有益特质"，但对"有益"的定义本身就是一个价值判断。诚实、谦逊、公平——这些词在不同文化、不同社会中可能有不同的含义和优先级。一个在硅谷实验室里被认为"有益"的模型，在另一个文化语境中可能被解读为"天真"或"软弱"。AI 对齐的终极挑战，不完全是技术问题，而是一个价值对齐的问题。

写在最后：AI 安全从"打补丁"走向"造地基"

  OpenAI 的这项研究，虽然没有登上全球头条，但它的长期影响可能比 Fable 5 关停或任何单一模型发布都更加深远。它标志着 AI 安全从一个"打补丁"的阶段——出了漏洞就堵，越狱了就封——开始走向一个"造地基"的阶段：从底层模型的行为模式入手，构建一套稳定的、泛化的、难以被攻破的有益行为体系。

  这条路还很长，但方向已经清晰。诚实、谦逊、可纠正——这些人类花了几千年才学会珍视的品质，现在正在被写入 AI 的底层代码。这本身就是一个值得深思的隐喻。