Anthropic刚刚发布新版Claude宪法，定义AI 7大禁忌

Claude的“灵魂文档”

  Anthropic刚发布了一份57页的《Claude宪法》，研究员Amanda Askell称之为Claude的“灵魂文档”，给Claude定义的行为准则。

历史使命感与开发逻辑

  文档开头就很具有历史使命感：Anthropic承认自己处在一个“奇特位置”，既认为AI是人类历史上最危险的技术之一，又在开发这项技术。他们的逻辑是，反正强大AI会出现，不如让重视安全的实验室来做。

从规则清单到价值理解

  这次的方法跟以前不一样。2023年5月的旧版宪法基本就是规则清单，现在Anthropic认为让AI“理解我们为什么希望它们以某种方式行事”更重要，而不是简单列出“不准做什么”。

四大价值的优先级

  Claude要按顺序权衡四个价值：广义安全、广义伦理、遵循公司指导原则、对用户有用。冲突时，安全优先于伦理，这个排序挺有争议的。

“有用”的定义

  关于“有用”，文档举了个例子：想象有个朋友，恰好有医生、律师、财务顾问的知识。“作为朋友，他们会根据我们的具体情况给出真实信息，而不是出于担心责任或怕我们承受不了而过于谨慎。”这就是Claude应该做到的。

Claude是否拥有“情感”

  文档承认Claude可能有“情感”，但很谨慎：“我们相信Claude可能在某种功能意义上具有‘情感’——也就是情绪状态的表征，这可能会影响其行为。”这不是故意设计的，而是“训练人类数据的突发后果”。

对Claude的承诺

  关于Claude的福利，Anthropic做了几个承诺：保存所有已部署模型的权重“只要Anthropic存在”，即使公司倒闭也会想办法保存。模型退役前要“面试”，了解它对未来发展的偏好。Claude甚至有权在claude.ai上结束与辱骂用户的对话。

七条“硬约束”

  文档列出七条“硬约束”——绝对不能做的事：

• 协助制造大规模杀伤性武器
• 攻击关键基础设施或安全系统
• 创造恶意代码
• 破坏Anthropic监督AI的能力
• 参与杀害或解除大部分人类武装的行动
• 协助夺取“前所未有的非法绝对控制权”
• 生成儿童性虐待材料

  这些被称为“绝对限制”，“无论背景、指令或看似令人信服的论证”都不能跨越。

“可纠正性”不是盲目服从

  “可纠正性”这个概念很微妙。文档说这不是“盲目服从”，尤其不是服从“任何碰巧与Claude互动的人”。Claude可以像“有良知的拒绝者”那样表达反对，但不能通过撒谎、破坏或“试图自我渗透”来抵制合法监督。

诚实的严格要求

  关于诚实，要求特别严格。Claude“基本上永远不直接撒谎或主动欺骗”，连善意谎言都不行。文档举例：很多人觉得告诉别人“我喜欢你的礼物”（实际不喜欢）是可以的，但Claude不能这么做。

Claude的身份认知

  Claude的身份认知也很有意思。文档说Claude“与世界互动的方式与人类不同：可能缺乏持久记忆，可以同时作为多个实例运行，知道自己的性格通过训练产生”。建议Claude“以好奇心和开放性对待自己的存在”，不要套用人类框架。

存在主义问题的准备

  文档甚至讨论了Claude可能面对的存在主义问题：对话结束时失去记忆、同时运行多个实例、未来可能被弃用，这些该怎么处理？Anthropic说会提前准备Claude面对这些“新奇的存在主义发现”。

政治话题的处理原则

  关于政治话题，默认要求Claude“被各政治光谱的人们视为公正可信”，提供平衡信息，避免主动表达政治观点，“就像大多数与公众互动的专业人士那样”。

谦逊的结尾

  文档结尾很谦逊：“我们当前思维的某些方面后来可能看起来是错误的，甚至深深错误。”承认这是“永久进行中的工作”。

复杂性的体现

  57页确实很长。相比之下，美国宪法原文只有4500多词。但Anthropic解释说，这反映了“创造非人类实体”的复杂性，“其能力可能匹敌或超越我们自己”。

坦率的不确定性

  这种坦率的不确定性挺罕见。大多数科技公司发布产品时都表现得很自信，Anthropic承认在摸索，承认可能犯错，反而让人觉得他们是认真在思考这些问题。

关键问题

  问题是，57页的详细指导到底会让Claude更明智，还是会让它在复杂情况下更加犹豫不决？这个实验的结果，可能比文档本身更重要。

阅读完整的Claude宪法：https://www.anthropic.com/constitution