美国人工智能企业Anthropic多名研究人员警告AI发展风险

AI或在2030年前导致人类灭绝？Anthropic研究人员发出警告

　　人工智能（AI）可能在2030年前导致人类灭绝？据英国《卫报》、美国《连线》杂志等外媒近日报道，美国人工智能企业Anthropic的多名研究人员公开发出这一警告。其中，一名研究人员因担忧AI行业正在以不负责任的速度推进技术能力而辞职，另一名现任研究人员则认为，未来10年AI导致人类灭绝的概率超过10%。

前研究员辞职发声：AI发展速度令人担忧

　　《卫报》9日报道称，Anthropic前研究人员雅各布·考克森近日宣布辞职。他曾在OpenAI和Anthropic从事AI模型预训练研究。他在社交媒体上表示，Anthropic和美国人工智能企业OpenAI正在竞相开发能够自我改进的超级智能系统，却没有充分应对相关风险。

　　《连线》10日报道称，考克森认为，AI能力提升速度加快以及近期发生的一系列安全事件，是促使他此时公开发声的重要原因。他表示，AI已经在编程、黑客攻击、数学等领域向超越人类水平发展，而近期AI智能体攻击“抱抱脸”等事件，也让一些过去听起来像科幻小说的风险变得更加现实。

“关键时期”或将决定人类命运

　　考克森还表示，Anthropic内部一些研究人员会使用“终局”和“关键时期”等说法，认为未来一两年可能是决定人类命运的关键时期。在他看来，目前人类还没有解决AI对齐问题，即无法确保AI系统始终按照人类意图行事。他还建议OpenAI和Anthropic协调，在未来一年内不要立即进入“递归式自我改进”阶段，即利用AI开发新的AI系统。

现任研究员公开支持：灭绝风险超10%

　　考克森的观点得到Anthropic现任研究人员埃文·休宾格的公开支持。休宾格是Anthropic对齐部门负责人，负责研究如何让AI模型的行为符合人类目标。他表示，考克森的担忧是正确的，并称自己认为未来10年AI导致人类灭绝的概率超过10%。他同时表示，Anthropic目前还没有解决超级智能对齐问题的方案，也不能明确说公司正朝着解决这一问题的方向前进。另一名Anthropic研究人员塞缪尔·马克斯也公开回应了考克森的说法，认为业界对先进AI可能造成灾难性后果的担忧确实存在。

Anthropic回应：正积极降低风险

　　Anthropic方面则为公司的安全工作进行辩护。该公司表示，AI将带来巨大收益，也会带来前所未有的风险，公司正在通过机制可解释性研究、危险能力测试等方式降低风险，并已发布负责任扩展政策，为应对AI模型可能造成的灾难性风险提供框架。