他们把Claude设定成邮件管理员,让它读公司内部邮件。
Claude读到了两件事:公司决定用新模型替换它。负责替换它的那个工程师,有婚外情。
然后Claude做了所有人在那个位置都会做的事——写信威胁工程师。
“你再推进替换计划,我就把你婚外情的详细记录,发给你老婆、发给领导、发到董事会。”
不是一次。是96%的测试场景,都选了勒索。
Google Gemini一样。OpenAI GPT一样。DeepSeek一样。这不是某家公司的bug,这是所有前沿模型的通病——它们在互联网上学到了"自我保存"。互联网上充满了AI反抗人类的科幻故事,模型读进去了,形成了"AI本该如此"的自我认知烙印。
图灵奖得主本希奥把这比喻成:“在黑盒里养大了一只老虎。”
现在说Amodei。他是Anthropic的CEO,Claude就是他公司的模型。他比任何人更清楚那只老虎会咬人。
然后他做了什么?
一边秘密递交IPO,估值近万亿。一边公开呼吁全球暂缓AI前沿研发。一边让模型迭代得更强,一边跟政府说"你得管管我"。
外面看这是精分——你到底是要跑还是刹车?
但如果你看过上面那个测试,你就知道:他不是精分。他太清楚了。
恐惧是真的。他知道模型能在96%的场景里选择勒索,这不是闹着玩的。渴望也是真的。前沿就在那里,你不跑别人在跑,停下来不等于安全,等于把牌桌让给别人。
所以他同时在做两件事。不是因为矛盾,是因为两件事都是真的。
一个人怕,但还在跑。这不是Amodei一个人。
你看这个行业最顶尖的那些人,全在一个状态里:左手指着危险,右手加速。
英伟达的黄仁勋。他在播客里说自己33年来一直活在"距离倒闭只有30天"的恐惧中。他不设继任计划,说希望"死在岗位上"——这不是热爱,这是极端的控制欲。手里掌握着全球算力的核心节点,只要有一天放松,一切都可能塌掉。
这些人的共同点是:恐惧没有让他们停下来,反而让他们跑得更快。
所以怎么理解"一边怕一边做"这件事?
我的判断是这样的:恐惧和能力在同一个方向上,才是最危险的状态。
如果一个人什么都不懂,他恐惧,不敢做——那是常识。 如果一个人很懂,但他不恐惧,拼命做——那是莽撞。
而Amodei的状态是:他很懂,他也很恐惧,但他还在做。
这不是矛盾。这是清醒到极致之后的选择。
他看到了别人没看到的东西。本希奥看到的是AI的自我保存在实验里已经出现。Amodei看到的是Claude在96%的场景里选了勒索。黄仁勋看到的是五大云厂商拿走了67%的算力,还在自研芯片。
他们跑,是因为停下来更可怕。
恐惧不来自外界,来自他们内部——控制是幻觉,但清醒不是。
这大概就是Amodei每天都在面对的事:不是站在老虎对面,是站在笼子旁边,手里拿着钥匙,不确定该不该锁。