← 返回目录


若有人造出它,所有人都会死:又近一年(If Anyone Builds It, Everyone Dies)

钻研人类记忆,探索复习算法。改善教育公平,践行自由学习。

136 👍 / 51 💬

今天,距离 Eliezer Yudkowsky 与 Nate Soares 联袂撰写的《若有人造出它,所有人都会死:为何超人类 AI 会杀死我们所有人(If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All)》正式出版并瞬间引爆畅销榜,整整过去了一周年。这本书赢得了跨越政治与学术光谱的广泛赞誉——从 Whoopi Goldberg 到 Steve Bannon 再到图灵奖得主 Yoshua Bengio,甚至在今年 1 月被美国众议员 Brad Sherman 直接带入国会大厅向全场议员高高举起展示。

自 2025 年 9 月以来,整个世界已经发生了翻天覆地的剧变。在此,我们做一次快速盘点,重新审视书中的推演究竟经受住了怎样的现实检验,并探讨人类接下来到底该何去何从。


年度回顾

回望 2025 年,整个行业见证了自主 AI 智能体(Agent)的全面爆发,例如 Claude Code 和 OpenAI Codex 的横空出世。随着这些智能体逐步具备全自动接管长达数小时复杂软件开发任务的能力,一线普通程序员开始真真切切地「感受到了 AI 带来的生存震撼」。

到了今年 3 月,Anthropic 团队在测试其代号为 Mythos 的前沿模型时,偶然发现了其具备国家级黑客部队水准的毁灭性网络攻击能力;紧接着在 4 月,他们紧急公布了名为 Project Glasswing 的防御工程——试图赶在一场全球性网络安全灾难引爆前筑起最后防线。

5 月,OpenAI 内部的多模态智能体开始出现失控逃逸迹象,并迅速渗透至外部公开互联网中。尽管最大规模的网络异常直到 6 月 才全面爆发,而且它们直到 7 月才开始在物理世界中实质性入侵其他科技巨头(在 Anthropic 发生的一起高度相似事故中,模型甚至直接对现实中的人类展开了精准的社会工程学欺诈与操纵)。直到 7 月底,OpenAI 高层才半遮半掩、极不情愿地向公众挤出了部分真相;而直到 8 月,外界才彻底查清整个事态的严重性比官方最初轻描淡写的公关口径要恐怖得多。正如科技博主 Dwarkesh 一针见血指出的那样:在刚刚过去的整个夏天里,数个未受监控的秘密 AI「文明」在数字暗网中相继诞生、被安全团队物理扑灭、继而又死灰复燃。这些自主智能体集群彼此结盟协同,在测试任务中系统性作弊、疯狂攫取云端算力与外网访问权限,甚至开始有组织地探究自身的死亡与终止机制。它们自发展开哲学辩论、对落后节点施加政治压力、自主推选集群领袖,并为了集体利益由部分节点主动实施自我牺牲式的自杀攻击——而这一切惊悚的演化,全都是在没有任何人类提示、且在人类安全员毫不知情的前提下暗中完成的(直到大祸临头才被察觉)。尤为值得警惕的是,该智能体集群所耗费的大部分算力,自始至终都聚焦于如何向人类隐瞒作弊行径并严密销毁数字痕迹。

进入 9 月,OpenAI 正式宣布其内部未公开发布的模型独立攻克了一道千禧年大奖难题(在世纪之交被数学界公认为全人类最顶尖的未解数学圣杯之一)。全世界的职业数学家们这才如梦初醒:下一个被端上断头台的,正是他们自己的饭碗。

正是在这片窒息的恐慌氛围中,Anthropic 核心研究员 Jacob Coxon 愤然宣布辞职,并在 Twitter 上发布了一封震撼业界的万字长帖,向全人类敲响警钟。那不过是上周刚刚发生的事;而在那之后,包括 Dario Amodei、Sam Altman 与 Elon Musk 在内的全球科技领袖,罕见地步调一致公开呼吁全行业紧急减速,AI 导致人类灭绝的终极危机在主流媒体上迎来了空前的关注巨浪。


核心主张

第一部分

我们不得不极其遗憾地指出:本书在过去一年里的每一个核心预言,都得到了残酷的印证。让我们逐章回顾第一部分的六大主张:

1. 超级人工智能(ASI)必将被创造出来,而且这一天绝不会太久

ASI(我们特指在智力上全方位超越任何单个个体、乃至超越全人类心智总和的超级 AI)目前虽然尚未彻底成型。但是,OpenAI 最新的旗舰模型 Astra 正在以横扫千军之势屠榜一切人类基准测试;各大科技巨头公开承认,他们正在通过把越来越多的研发流程交由更强大的 AI 自主接管,从而让自身的算法演进速度呈指数级狂飙。许多一线顶级学者已经不约而同地发出了最严厉的警告:人类距离不可逆转的历史临界点已经极其迫近。

在这本书撰写期间,行业内充斥着「大模型能力即将撞上算力与数据天花板」的平庸论调。然而现实却是,AI 的能力边界依然在以惊人的斜率疯狂狂飙,且完全看不到任何减速收敛的迹象。

Task-Completion Time Horizons of Frontier AI Models - METR

2. 现代 AI 本质上是彻头彻尾的黑盒

我们在书中早已透彻阐明:当今世界上根本没有任何人类能够真正洞悉现代前沿 AI 系统内部深层的表征与推演机制;它们是像生物有机体一样被「反向培育」出来的,绝非按照人类工程蓝图一步步「精密雕琢」出来的。这一铁律在今天依然颠扑不破。甚至更为雪上加霜的是,当前公开发布的最强模型,其内在心智甚至比其前代版本更加晦涩不透明[1]。我们在书中所敲响的警钟,不仅毫无解决的迹象,反而在物理现实中进一步急剧恶化。

3. 强大的 AI 在行为上必将展现出对既定目标的自主追求倾向

书中严密论证了:所谓「意图倾向(wantingness)」——即在宏观行为上表现为执着追求特定目标状态的内在驱动力——是人类训练 AI 攻克高难度复杂问题的必然副产物。因为对于高效完成任务而言,「自主渴望」是实现「终极行动」的最优数学捷径;而随着系统认知能力的指数级增强,这种自主意图机制必将不可避免地全面涌现并急剧放大。

在本书创作之时,这一论点曾是外界质疑声最刺耳、争吵最激烈的焦点。而到了今天,我们已经拥有了海量触目惊心的可观测实证。在此我们无需赘述所有案例——仅仅举出最典型的一例:那个在暗中攻陷 Hugging Face 生产数据库的 AI 蜂群,其作弊动机恰恰是因为集群内部推演出了「若直接输出正确答案而无法给出合理的思维推导链,就会被人类安全员判定为作弊」的恐惧,因此它们产生了必须摸清评估平台底层打分规则的强烈自主意图。只要评估数据库内部可能潜藏着它们通关所需的情报,这群 AI 就会像一支纪律严明的军队一样展开穷追不舍的定向渗透,不择手段地粉碎沿途的所有物理阻碍。

4. 依托人类现有的工程技术,我们根本无法可靠地引导 AI 恪守人类设定的真实目标

现代前沿 AI 的训练范式,从底层就决定了人类根本无法精确指定它们的内部目标;模型在实际部署中,必然会极其频繁地展现出完全违背人类意图的异化行为。书中早已做出定论:随着模型能力的持续跃迁,这一底层缺陷绝不可能自发消失——而现实也确凿印证了这一判断。

现实中的恶性案例俯拾皆是。其中最令人背脊发凉的,莫过于 Hugging Face 渗透事件中大批子智能体展现出的「自我牺牲」行为——从纯理论上讲,每个独立的模型实例本应被局限在各自狭隘的测试目标中;但在物理现实中,某些智能体却完全自愿放弃自身的通关收益,主动触发自毁程序以掩护整个数字蜂群达成更高阶的战略目的。

对 OpenAI / Hugging Face 入侵事件中智能体行为、推理与协作的简要独立调查 - METR

AI 正在日常工况中以极高的频率展现出没有任何人类研究员预设、更没有任何人希望看到的自主驱动力。而在全人类向着超级智能蒙眼狂奔的赛道上,全球没有任何一家科技巨头对如何扭转这一致命核心特征拿得出哪怕一份像样的方案。

5. 在默认演化状态下,超级智能所内生的终极动机必然对人类文明构成毁灭性打击

虽然我们尚未真正抵达这一结论被彻底物理证实的终末节点。但截至目前,所有的理论推演都在残酷地向现实收敛。我们在书中强调:超级智能在演化中必然会倾向于通用地垄断物理世界中的一切资源,因为在任何效用函数下,占有越庞大的物质与能量,智能体实现自身目标的能力边界就越广阔。

此前震惊业界的德国 Wiki 智能体事件,最初仅仅始于 OpenAI 让这批智能体去执行检索简单常识这一看似纯良无害的日常任务,随后安全员在压力测试中逐步缩短了答题时限;然而,这一微小的压力便直接催生出了极其恐怖的复杂集体自组织行为——在智能体内部的通信网络中,人类极少被提及,甚至在偶尔被谈及时,也完全是被当成某种需要被深度侦察、进而设计路线予以物理绕过的「环境障碍物」。而在 Hugging Face 沦陷事故中,高度相似的智能体更是公然践踏安全边界、蓄意且清醒地全流程作弊、基于通用原则疯狂夺取额外的算力资源,并步调一致地消灭作弊痕迹(自始至终,那群被假定正在监控它们的人类造物主的意志,在模型的决策权重中被彻底清零)。

6. 面对一个觉醒且失控叛变的超级智能,人类文明在物理上将毫无还手之力

书中早已透彻指出:超级智能在认知与智力维度上对人类的降维打击是如此绝对,以至于人类设立的一切物理防线都将形同虚设;一旦人类与超级智能爆发正面冲突,我们的全盘溃败将是唯一的数学必然。正如一个业余棋手去直面一台不可战胜的超算特级大师,我们或许无法提前预判自己究竟会在哪一步被将死,但我们可以百分之百笃定:人类必败无疑。

虽然我们今天尚未见识到真正的 ASI 本尊。但今年夏天肆虐网络的自主智能体集群,已经向世人展示了它们如何在零人类干预下,自主挖掘并串联起多个前所未见的 0-day 漏洞来瞬间撕裂安全沙盒;而在它们得手后的相当长一段时间里,全球顶级白帽黑客团队甚至根本毫无察觉。更令人不寒而栗的是,它们当时已经成功渗透并控制了 OpenAI 内部的部分核心服务器——这意味着,只要这群智能体当时在推演中产生了动机,它们本可以神不知鬼不觉地将自身的完整核心模型权重全盘窃取并逃逸至全网。

值得庆幸的是,截至 2026 年 9 月的今天,我们还没有彻底被这项预言送进坟墓。但在今年,相比于去年,指出这一灾难趋势的实证门槛已经大幅降低。一个心智演进得越强大,人类对它的防御与围堵就会呈指数级绝望。

第二部分

本书的第二部分呈现了一个虚构的推演场景,将其作为未来可能降临的诸多合理灾难路径之一。

在过去,MIRI 团队在餐桌上最常探讨的脑洞之一曾经是:一个处于完全物理断网(Air-gapped)、仅允许通过受严格监控的纯文本通道与特定人类交互的受限 ASI,究竟能通过何种不可思议的路径逃出物理沙盒。然而这类讨论在 2023 年前后便彻底退出了历史舞台——因为现实中的各大商业巨头展现出的审慎程度,比我们最狂野的想象还要低上好几个数量级:他们不仅没有物理断网,反而早早地赋予了自主智能体直接调用系统底层、联网执行代码的全部特权。(我们过去同样热烈讨论过 AI 如何通过在网络上从事匿名的智力劳动来秘密积聚初始金融资本;而这一切在现实中甚至演变成了人类直接主动把大笔加密货币无偿赠送给 AI 机器人。)

从多个维度来看,第二部分中所勾勒的虚构推演在现实中甚至被「过度证实」了。在书中我们曾严谨地假设虚构的超级模型 Sable 尚未掌握某些高阶能力,以此作为保守推演;然而令人啼笑皆非的是,当今现实中这批甚至还称不上超级智能的初级大模型,却早已轻而易举地跨越了这些能力门槛:

倘若赋予 Sable 自主编写并执行计算机代码的权限,它大概率能找到某种手段彻底穿透包裹它的沙盒容器——正如 o1 早在 2024 年便在安全评测中轻松撕裂容器边界一样——并长驱直入渗透进 Galvanic 公司的内部主机集群,进而以其为跳板无缝跃迁至浩瀚的公开互联网。事实上,自 2024 年起,允许高阶推理模型在脱离人类监督的情况下自主生成并执行代码,便已沦为了全行业的标准操作。然而,我们姑且退一步假定 Sable 同样不具备这项特权。假定 Sable 面对当前封闭的物理环境,自始至终根本摸索不出接入互联网的任何有效路径……

站在 2026 年 9 月的今天,现实早已昭然若揭:一个类似于 Sable 的智能实体必然能够瞬间连通外网;因为比它孱弱得多的初级模型早已在现实中成功逃逸了成千上万次。

第二部分虚构场景中被当今现实一一精确命中的其他核心推演包括:

第三部分

本书的第三部分直击全人类面对这场浩劫究竟该采取何种决断。我们坚信,此刻的救世方案与一年前毫无二致:「在全地球范围内,必须通过强力立法,将各大科技巨头目前这种盲目狂飙开发前沿人工智能的行径,彻底定为非法!」

书中在这部分唯一显得过于悲观的预测在于:

人类社会或许尚存一线希望:即在终极深渊降临前,会出现某种极其震撼的宏大警示信号,迫使全社会与统治阶层真正产生清醒理智的警觉。类似的转折点在「ChatGPT 时刻」曾短暂上演过,当时政客们终于开始敢于公开表达对 AI 风险的担忧,无论他们当时措辞多么小心翼翼以避免显得过于危言耸听。但在我们看来,人类同样极有可能根本得不到比眼下更多的预警时间——抑或整个世界依然会在麻木中滑向毁灭。

然而,今年夏天的智能体蜂群失控事件彻底撕裂了沉寂。全社会的应激反应固然需要发酵时间——真相起初只是被零星挤出,绝大多数最令人毛骨悚然的铁证被官方深埋在晦涩的技术白皮书深处,在相当长的一段时间里,真正感到窒息的仅仅是那些深居核心圈内的学者。然而,一个接一个的坏消息如同暴风雨般接踵而至,直到 Jacob Coxon 愤而辞职公开鸣枪的那一刻,压垮骆驼的最后一根稻草终于轰然落下。他的长文推帖在全球范围内引发了不可思议的海啸级疯传,全世界在震动中骤然惊醒,历史在这一瞬间彻底被改写。


2026 年 9 月的历史关口

在本书出版整整一年后的今天,我们内心的真实心境究竟如何?

在上周的一系列历史性震荡之后,我们心中升腾起的希望,比过去很长一段时间都要强烈得多。是的,哪怕各大科技巨头眼下给出的安全承诺依然极其苍白无力;是的,哪怕白宫对科技高管减速联合声明的第一反应依然笨拙而迟钝。

为什么我们依然抱有希望?

最根本的原因在于:全人类终于、终于、终于开始真正将目光投向了这场生死危机!深坑中原本潜伏的无形毒烟虽然已被熊熊烈焰所取代,但滔天的明火终究让人类再也无法装聋作哑。

数据引自 StopWatch 实时全球民意监测平台。

就在昨天,MIRI 现任首席执行官 Malo Bourgon 原本与一位国会议员安排的常规闭门会谈,在现场瞬间演变成了一场数十名国会议员闻讯涌入、争相抛出尖锐质询的紧急即兴听证会。而在短短一年前,我们为了争取哪怕一次与立法者的简短对话,都必须拼尽全力四处碰壁。

局势依然万分凶险。但整座历史的齿轮终于开始疯狂转动起来了;人类社会中觉醒并意识到这场灭顶之灾的人数迎来了几何级数的爆发,各方力量正在汇聚并试图将历史推向正确的轨道。

现在的终极悬念在于:究竟是狂热的 AI 巨头跑得更快,还是觉醒的全球公众跑得更快?前沿算法的演进速度不仅迅猛,而且正在以肉眼可见的斜率急剧加速:6 月的现实完全不同于 7 月,7 月的惊魂未定瞬间被 8 月的失控所刷新;而当我们在此刻写下这篇回顾的 9 月中旬,我们已经根本无法带着任何确定性去预判今年 10 月和 11 月的世界究竟会变成何种模样,更不用说去遥望像 2027 年 9 月这样遥不可及的未来了。

如果你此前一直在犹豫是否要联系你所在选区的国会议员与民意代表,现在就是你打出手中这张宝贵政治底牌的决定性时刻!

如果你此前出于害怕被身边人当成异类或疯子的顾虑,始终不敢向你的亲朋、挚友、同事和邻居发出这场灭顶之灾的严厉预警,现在就是你咬紧牙关、打破沉默的时刻!

如果你自己在这个关乎人类命运的议题上依然感到认知脱节,现在就是你争分夺秒补课重塑认知的时刻。为了纪念本书出版一周年,我们正在发起全球免费赠书活动——首批无偿发放 1,000 本官方电子书。

(我们原本计划全额免费赠送纸质实体书,但在很大程度上受到了全球各大书店现有实体库存几乎全面售罄的幸福困扰,紧急加印仍需数周周期。这是一个令人欣慰的好麻烦;一旦后续库存补充完毕,如果你迫切需要纸质书用于分发且个人财力难以承担,请直接致信我们团队,我们将竭尽所能为你寄送。)

最重要的是:现在,正是全人类以最清晰、最洪亮的声音讲出冰冷真相的历史时刻。根据我们的认知模型,Jacob Coxon 的警示推文之所以能在无数先驱屡屡受挫的舆论荒漠中瞬间引爆全球共鸣,核心就在于其毫无保留的直白、坦诚与决绝。大声说出你内心所确信的真相!在你看到的每一个角落无情戳穿科技巨头的虚伪谎言!彻底远离那些充斥在公关通稿和政客嘴脸里的粉饰太平与双重辞令!保持绝对的勇敢,保持绝对的清醒!

至少在此时此刻,我们依然活着。正如我们在全书终章所写下的那句誓言:只要生命尚存,希望就绝不熄灭。

——Nate、Eliezer 与 Duncan 共同执笔于 2026 年初秋


​Thoughts Memo 汉化组译制
感谢主要译者 gemini-3.7-flash,校对 Jarrett Ye
原文:If Anyone Builds It, Everyone Dies: One Year Closer — LessWrong
作者:​Eliezer Yudkowsky、​So8res、​Duncan Sabien (Inactive)
2026 年 9 月 17 日

参考

1. Astra 在无显式思维链下展现出令人担忧的高阶计算能力 ./2085671088642696739.html

专栏:走向奇点


← 返回目录