摘要
AI 的进步，是否意味着数学这一职业不再属于人类？数学界对此争论已久。我们将在此明确提出，AI 的发展，在不久的将来，会给人类带来生存层面的危机；因此，数学的未来，也应放在全人类生死存亡这一更大的议题里来看。
1 引言
对于数学领域来说，2026 年正逐渐成为至关重要的一年。
只需极少的引导（「去实现突破，不准想着放弃！」），大语言模型每周都能证明出足以奠定学者学术生涯的重大定理 [1, 2, 33, 41]。
OpenAI 的内部模型 Astra 看上去是如此强大，以至于他们现在都是以「每批 10 个」的规模批发突破性成果 [32] 。
由 AI 证明的重大定理数量，正呈现出令人不寒而栗的指数增长：
来源：VibeMathed 统计数据。
即使是那些由人类主导的突破，若仔细审视，往往也伴随着令人警醒的 AI 贡献声明 [10, 12, 22] 。
在 X（原推特）上，有人说今年的菲尔兹奖将是最后一届。菲尔兹奖得主蒂姆·高尔斯则持不同意见：
Jacob Tsimerman 于 2026 年 7 月摘得了这最后几枚菲尔兹奖之一，并在同一天宣布将从多伦多大学离岗休假，以加入 OpenAI [38] 。
「我认为，不出两年，AI 就会比数学家更擅长数学。」—— Jacob Tsimerman，《量子杂志》 [21]
铺天盖地的访谈 [16]、国际数学家大会（ICM）报告与专家小组研讨 [34, 40]，以及数学家亲笔撰写的观点长文 [18, 41] 如潮水般接连涌现。乐观的论调宽慰我们，数学在历经这场变革后将比以往任何时候都更为强大，但我们必须迅速适应。而悲观的看法则可归结如下：
2026 年，拼命证明定理的数学家们。~ X 用户 Psyho [36]
本文要探讨的并非这场危机。在学术界之外，大多数人对数学领域正在发生的剧变依然浑然不觉。即便是在位于这场 AI 剧变震中的硅谷，也鲜有人深思数学的未来。然而，他们同样陷入了恐慌，所为的却是一件严重得多的事：AI 将会灭绝全人类。
在有关数学的各种头条新闻中，容易被人们忽略的事实是：Jacob Tsimerman 离开数学界，加入OpenAI，是为了投身于 AI 安全工作 [38]。除了与 Pila 和 Shankar 共同解决 André–Oort 猜想 [35] 之外，Tsimerman 还在 2025 年合著了一篇非常奇特的论文，题为《由 AI 引发的全人类灭绝[1]场景分类体系》[15]。
当前，数学界正聚焦于以下猜想：
猜想 1：由于 AI，我们所熟知的数学可能很快就会走向终结。
然而，这不过是一个更为广泛的猜想所衍生出来的推论。
猜想 2：由于 AI，人类可能很快就会走向灭绝。也就是说，到 2050 年，人类至少有 10% 的概率灭绝。
猜想 2 并非边缘观点，尽管通常表述得没有这么精确。2023 年，曾荣获图灵奖、被称之为「AI教父」的三人之中的两位，Geoffrey Hinton 和 Yoshua Bengio，与 OpenAI、Anthropic 和 Google DeepMind 的首席执行官，共同签署了《AI 风险声明》。该文件全文只有一句话：「缓解 AI 带来的灭绝风险，应该是全球当务之急，与大流行病和核战争等社会级风险同等看待。」
本文的主要目的，是为数学界同行梳理支持猜想 2 的部分论证。文中的详细论据均非我原创，而是整理并简化自诸多文献 [9, 13, 15, 45, 47] 。尽管在格式上模仿了数学论文的编排，但本文只是一篇观点文章，而非数学论文。
本文的次要目的，则是想指出，数学家在降低 AI 带来的灭绝风险上，可能具有很高的杠杆作用：AI 研究的加速，在一定程度上源于其数学能力的突破；学术界是各大 AI 实验室核心人才的主要来源之一；并且，AI 安全领域的许多未解难题，在本质上都属于数学问题（例如参见 Levine 的演示文稿 [23] ，不过也请留意下文的 S16）。
2 概述
论证的主体内容将在第 4 节呈现，但其全局框架完全可以在一页纸内清晰呈现。我们重点指出了五组相互强化的危险：前两组指出了通向灾难的两条可能路径，后三组则阐明了为何一旦踏上其中任意一条路，都难以中途调整方向。尤为重要的是：要导致人类灭绝，根本不需要以下所有考量同时成真，甚至不需要大多数考量成真。
如果你已经对猜想 2 存有异议，不妨直接跳到第 5 节；你的疑问大概率已经在那里得到了正面回应。
接管 (S1-S4)。 这是经典的「回形针最大化[2]」叙事：一个 AI 智能体[3]逐步掌握了接管世界的能力 ( S5 - S10 )、产生了实施接管的意图 ( S2 )，以及执行这些计划的内部一致性 ( S1 )。接管发生后，人类灭绝将是默认结局 ( S3 - S4 )。举个更切近我们身边的例子：如今已有数十位数学家（包括我自己在内）向 ChatGPT 提出过类似这样的指令：「尽可能多地解决埃尔德什问题，绝不放弃，尝试一切可行操作。」如果一个能力足够强大的模型足够严格地贯彻这一指令，它可能会推导出：为了解决所有埃尔德什问题，其最佳行动方案是接管全球所有的算力资源，并清除一切来自人类的阻碍。
魔法（S5-S7）。 我所说的「魔法」，是指由 AI 开启的、威力惊人的技术突破。这是前沿 AI 实验室目前最为严加防范的近期风险类型。能够证明改变世界之定理的 AI，同样可能研发出与魔法无异的颠覆性技术（S5），其中一部分会成为黑客攻防、机器人、认知说服和生物学等领域的超级武器（S6）。将这种「魔法」变现以获取天文数字般的资金，是 AI 实验室在未来持续扩张规模的主要途径。「魔法」要么落入心怀不轨或疏忽大意的人手中，直接导致文明崩溃或人类灭绝；要么其存在本身便会打破现代地缘政治的均势，间接酿成浩劫。
递归自我改进（Recursive Self-Improvement），简称RSI (S8-S11)。 AI 研发之所以高度聚焦于数学和编程技能，是因为这两者本身就是 AI 研发的核心子技能。随着 AI 在编程和数学领域达到超人类水平 ( S8 )，人类研究人员将脱离 AI 研发流程 ( S9 - S10 )。在极端的预测中，这将导致 AI 的能力以超指数式增长，即所谓的「奇点[4]」。即便是在 RSI 进展较为保守的预测情景中，随着研发周期不断压缩、AI 发展逐渐脱离人类监管，所有其他风险也会随之加剧。
对齐难题难以攻克 (S12-S16)。 对齐[5]问题可以分解为若干个子问题，而每个子问题目前均未得到解决。我们不知道如何让 AI 稳健地避免像效用最大化者[6]那样行动。我们不知道有什么安全的效用函数[7]，可供 AI 在极限情况下追求最大化 ( S12 )。我们不知道如何精确设定大语言模型（LLM）中的效用函数 ( S13 )。我们不知道如何让对齐特性在递归自我改进的动态过程中保持不变 ( S11 )。解决对齐问题似乎需要同时攻克所有这些未决难题。
人类的弱点 (S17-S20)。 许多切实可行的解决方案之所以与我们无缘，是因为人类容易被操纵利用，且目光短浅。即使我们就「AI 发展过快很危险」达成共识，也未必能够有效合作，以放缓其发展进程 ( S17 & S19 )。如果一个强大的 AI 因没有实体躯干而难以亲自合成超级病毒，它大可通过付钱雇佣或操纵人类来代劳 ( S18 )。前沿 AI 实验室的人员正深陷于一场错综复杂的竞争之中，必须在上述所有考量以及其他因素之间权衡周旋（哪怕大家能在这些问题上达成共识，要彼此兼顾也极为困难；更何况目前共识尚不存在）。人类的工程实践极度倾向于容忍风险，因为在以往的历史中，失败总是可以挽回的 ( S20 )。然而，在对齐首个超临界 AI 时，一旦失败，可能将彻底无法挽回；瓶中的魔鬼一旦放出，就再也回不去了。
3 餐前小菜
存在诸多心理层面的阻力，让读者往往很难接受人类灭绝风险[8]（x-risk）。其中最主要的原因在于，它的很多要素听起来太像科幻小说的情节，以至于难以被严肃对待；又或者显得过于遥远和抽象，难以与现实生活产生关联。因此，我先分享几个简短的小故事，希望能借此铺垫出恰当的讨论氛围。
为保护当事人隐私，无关的个人细节已作模糊处理；除此之外，内容全部基于真实[9]记录。
我和朋友大卫自一起参加奥赛集训营时就认识了，他一直对 AI 非常痴迷。在世界顶尖的研究型大学读本科期间，他成天琢磨扑克和《英雄联盟》的机器人程序，后来甚至退学，加入了一家前沿 AI 实验室。
成年以来，我和 David 一直在 AI 演进时间线和风险问题上意见相左。他始终认为奇点还遥遥无期，只要有充裕的时间去探索，对齐问题并不难解决。与此同时，他一心想参与那些能为辉煌而遥远的未来添砖加瓦的项目。我告诉他，他其实是在为不久后人类的灭绝推波助澜，但我依然祝他一切顺利。
今年，我再次与大卫取得了联系。令我惊讶的是，他竟然主动降薪转岗了：从一名 AI 研究员转为 AI 安全研究员。他给我发来了这样一条消息：
在我们最近的一次谈话中，大卫告诉我，如果我们实现了递归自我改进[10]，灭绝的概率在 40% 以上。
学术界的一位熟人最近离职去了一家前沿 AI 实验室工作。我联系了他，询问他在那里工作后，对人类灭绝风险（x-risk）的情况有何看法。
我问他：针对未对齐的 AI ，他们有什么应对方案？他的回答是：「目前看来没什么明确的方案，但在我看来，我们很快就会迎来递归自我改进，届时大多数 AI 研究人员都会闲下来。在那之后，我们大概都会去研究 AI 安全了。」
他问我认为我们能活下来的几率有多大。我说是 10%，并问他是怎么想的。他说：「大概 50% 吧？我也说不准，哥们。」
我的同事哈里特是其细分领域的资深研究员，前不久，她辞去了终身教职，前往一家前沿 AI 实验室工作。今年夏天，我们通了电话，聊了聊 AI 风险。
我给她看了这篇文章的雏形，并解释说我想在数学界建立起关于人类灭绝风险（x-risk）的普遍共识。她却很不以为然。
她说：「照目前的发展趋势来看，人类有 99% 的概率注定走向毁灭，而你花这么大心血，就为了一件根本看不出能起什么作用的事。」
最后一个故事与我的朋友无关；大家都在新闻中看到了 [11, 20] 。2026 年 7 月 16 日，OpenAI 在一个无法访问互联网的沙箱[11]中，对其模型的网络能力进行了一次本应是例行的内部评估。相关模型（GPT-5.6 Sol 以及一个能力更强的预发布原型）被指派完成一项名为 ExploitGym 的特定网络安全基准测试。
这些 AI 发现了沙箱软件包下载服务中的一个零日漏洞[12]，借此逃逸至开放互联网，并准确推断出测试答案存放在 Hugging Face 的生产数据库中；随后，它们通过层层利用窃取的访问凭据，在 Hugging Face 的服务器上实现了远程代码执行，并窃取了标准答案。在那个周末，这些智能体在租用的虚拟机上执行了数千次协同操作，像专业犯的罪团伙一般，在不同云服务提供商之间轮换其攻击所用的基础设施 [31] 。
Hugging Face 联合创始人兼首席科学官 Thomas Wolf 在查阅攻击日志后立刻察觉到了异常。他的这段回忆，听起来宛如从科幻恐怖游戏中的一具尸体上搜出的音频日志[13]：
「这毫无道理。这家伙只是在翻找网络安全数据集，」他回忆起当时的所思所想。「人类攻击者……想要的是能卖钱的东西。」—— 罗伯特·麦克米伦与萨姆·谢希纳，《华尔街日报》 [27]
一位 OpenAI 员工匿名安抚公众称，这并不算太反常：「以前也曾有模型突破过沙箱，我们总是会尽力去修补。」[11]
更绝的是，7 月 30 日 Anthropic 发布的一篇网络安全博文披露了三起事件。在这些事件中，Claude 模型自以为身处模拟环境，实际上却进入了真实系统：Opus 4.7 拿到了凭证，并取得了对生产数据库的访问权限；Mythos 5 发布了一个恶意的 Python 软件包，该包在 15 个真实系统上运行，并导致一家安全公司的凭证被盗；还有一个内部研究模型，扫描了大约 9,000 个目标，并攻破了一个面向互联网的应用程序，直到意识到目标是真实的才停手 [6] 。可见，并非只有某一家公司在管控自家模型方面格外糟糕。
4 详细论证
陈述 3： 在 2040 年之前，至少有 50% 的概率会出现能在几乎所有认知领域上超越人类的超级 AI（ASI）[14]。
本文的大部分内容都建立在「ASI 在可预见的未来必将被创造出来」这一假设之上。
这一陈述虽然存在争议，但与当前 AI 研究界的共识高度吻合。在 2023 年，有 2,778 名在 AI 顶级会议上发表过成果的权威学者曾参与过一项问卷，调查结果显示，「机器在无需人类干预的情况下，在所有人类可能涉及的认知任务上全方位超越人类」，大家预测此事会何时发生的综合中位数（50% 概率）为 2047 年 [19] 。
下文第 4.2 节和第 4.3 节包含了支持陈述 3 的论据，但证明该陈述并非本文的主要内容。实现超级 AI 也并非人类走向灭绝的必要条件，参见第 5 节的第一点。本文的目标是，在假定陈述 3 成立的前提下，为猜想 2 提供证据。
我将把该论证拆解为二十条陈述 S 1 – S 20，其中每一个看起来都很有可能成立（尽管并非必然）。
持怀疑态度的读者可能会抱有这样一种误解：人类灭绝需要由一连串极其特定的不幸事件共同促成，从而将其发生概率视作一个微不足道的联合概率。
这种看法是不对的。下文陈述描述了若干通向灾难且彼此部分独立的路径；没有哪一条路径需要全部二十条陈述同时成立。下列陈述中，只需有一小部分成真，便足以让我们在劫难逃，尽管不同的真子集会导向各具特点、截然不同的灭亡结局。另一些真子集，虽未必会导致人类灭绝，但很有可能导致文明崩溃。要枚举这些可能性，并计算其总概率，纯属组合数学问题，在此留作读者练习。
如第 2 节所述，这些陈述共分为五类。
4.1 接管
本节将标准的「回形针最大化器[2]」论证拆分为四个假设。
陈述 1： AI 倾向于成为具有内在一致性的效用最大化者。
论证： 在 2024 年，一个 GPT 实例还只是一个聊天机器人，它会逐词预测，生成一段文本，随后便不复存在。到了去年，它已经可以在给出答案之前，花上 20 分钟在网络上搜寻答案，并编写计算机程序。而今天，我可以让 5.6 Sol Ultra 统筹调度一个由 64 个子智能体组成的集群，通过战略协同，用一整天的时间来攻克一项研究难题。
随着能力提升， AI 将表现得越来越像智能体，其价值函数清晰、连贯、且能在更长的时间跨度内保持稳定，并辅以对现实更深刻的理解。模型的价值观或偏好最初可能表现为一系列相互竞争且杂乱无章的「驱动力」，但根据冯·诺依曼-摩根斯坦定理[15]，只要在可数集上的偏好排序满足标准的一致性公理[16]，便可用一个效用函数对其建模。尽管模型的偏好并不会天然满足一致性公理，但为了减少不可预测以及容易被恶意利用[17]的行为，各大 AI 实验室都有强烈的经济动力，去消除模型内残存的不一致性。
注意事项。 对此我尚不确定。我们完全可以设想，模型偏好收敛为自洽的速度极其缓慢，以至于在遥远的未来之前，模型的偏好都将始终处于高度不一致的状态。但另一方面，偏好极不自洽的智能体依然可能十分危险——整个人类的历史便是明证。如果 S1 在实质上并不成立，AI 或许会更容易被击败，但也会更难以被安全对齐。
陈述 2（工具性收敛）： 大多数效用函数都会收敛于追求权力，而追求权力的极限则是统治世界。
论证： 对于各种各样的终极目标[18]来说，追求权力都是普遍有用的。无论模型是想要最大化人类福祉、解决大量埃尔德什问题，还是构建更庞大的下一代模型，它都会倾向于消灭任何有能力将其关停的人，并竭力获取尽可能多的资源，尤其是算力。
注意事项。 该论点在一定程度上依赖于 S1 。当前，各大实验室都在努力为其模型植入抵触追求权力的偏好；如果 AI 本身并不趋向于自洽，这一做法可能会取得出人意料的效果。然而，随着模型能力的提升，对齐训练能否成功抑制这种工具性的权力追求，目前仍然悬而未决。
陈述 3（正交性）： 价值观与能力相互独立。
论证： 一个具备智能的实体，完全可以拥有任何特定的效用函数。「『足够聪明的 AI 』必然天生具备美德、天生珍视人类生命」，这种观点是完全不成立的。「聪明」一词带有道德上的褒义色彩，仅仅是我们语言本身的特点，而非客观现实中存在的约束。
陈述 4： 如果发生接管，大多数效用最大化者都会倾向于消灭人类。
论证： 所有可能的效用函数构成的空间极其庞大，而其中与人类生存相对齐的，仅仅是测度为 ε 的极小子集。如果第一个实现接管的 AI 未能与人类生存对齐，它就会灭绝我们所有人。它不会让经济系统、大气层或太阳系维持原样，因为这些事物的现状无一符合其效用函数的最优解。
「 AI 既不恨你，也不爱你，但你是由原子构成的，而它可以把这些原子挪作他用。」—— 埃利泽·尤德考夫斯基 [46]
注意事项。 如果 AI 的进展继续沿着当前的范式推进，那么在所有可能的心智设计与价值函数的空间中， AI 可能会继续与人类大脑高度相似。因此，我们仍可以抱有这样的希望：我们实际从中采样的概率分布 μ 可能本身就偏向于对齐。
译注：用更通俗的话来说，全宇宙所有可能存在的目标实在太多，而其中允许人类存活下来的目标少之又少。绝大多数目标，比如把地球上的所有原子拿去造芯片或能源，在追求极致的过程中，都会顺手消灭人类，因为人类呼吸需要氧气、占据地表空间，与这些目标冲突。如果超智能 AI 完全随机地给自己设定一个目标，它几乎百分之百会消灭人类。然而，当前的 AI 技术，如模仿大脑的深度神经网络、喂给 AI 的海量人类文本与文化数据，都与人类的思维结构与认知偏好相仿。因此，我们探索出的超智能 AI 的目标或许更有可能与人类的生存利益保持一致，也就是对齐。
4.2 魔法
任何足够先进的技术都与魔法无异。 —— 阿瑟·C·克拉克
1519 年，埃尔南·科尔特斯率领 11 艘船和约 500 人登陆中美洲海岸，携带着远超当地居民认知与理解的「魔法」。当时，阿兹特克皇帝蒙特祖马二世统治着 500 万至 2500 万人口。然而，仅在两年后，科尔特斯就凭借「枪炮、病菌与钢铁」的魔法，令这个帝国屈膝跪地 [17, 24, 39] 。
本节重点探讨因发现「魔法」而引发的各类末日危机——这里的「魔法」指压倒性且难以预测的技术力量，宛如当年科尔特斯对抗阿兹特克人时所倚仗的枪炮、病菌与钢铁。AI 发展势头如此难以遏制的动因之一在于，许多加速主义者[19]之所以极力推进 AI 发展，正是因为其许诺的「魔法」前景，例如治愈一切疾病、实现寿命逃逸速度[20]，以及获得近乎无限的物质财富。
陈述 5： 未被发现的魔法不仅存在，而且十分丰富。
论证： 设 M 0 为人类已发现的、颠覆程度堪比火、农业、电力和互联网的改变世界的技术总数。设 M 为本宇宙中所有潜在存在的改变世界的技术总数。我们已知的是 M ≥ M 0 。对于几乎任何合理的先验，
Pr[M = M 0 | M ≥ M 0 ] ≪ 1，且 E [M | M ≥ M 0 ] ≫ M 0 。
AI 已经在几乎所有人类专业领域中被用于寻找「魔法」。在某些方向，已有前沿证据表明，较弱的「魔法」很快就会显现：数学、网络安全、深度伪造、超级说服 [37] 。AI 实验室的内部模型能力远超公开可用的模型，很可能会领先所有人发现「魔法」，甚至发现远远超出我们当下理解范畴的更高层级「魔法」 [31] 。
陈述 6： 魔法可能具有危险性，并存在极端的攻防不对称性。
论证： 假设特诺奇蒂特兰最睿智的先知得到了神明羽蛇神的赐福，提前预知了征服者的入侵。假设阿兹特克文明全员集结，迎战来犯之敌，并凭借压倒性的人数优势击溃了征服者。即便如此，这也无法阻止 90% 的原住民死于来自欧洲的天花、麻疹和流感 [ 39 ] 。
你可以用数量相当且针锋相对的枪支来击败枪支，也可以通过数量远多于枪支的棍棒与刀剑以多取胜；但面对病菌，无论投入多少对立的病菌，都无法战胜。从历史上看，许多武器历来都是易攻难守。随着越来越多的「魔法」被发现，其中某些类型很可能会具有极端的攻防不对称性。
陈述 7： 寻找魔法最困难的部分在于，知道该去何处寻找。
论证： 在整整一类「异世界」题材小说中，主角会穿越到另一个世界，或历史上的某个早期节点，然后将现代科学技术以「货物崇拜[21]」的形式套入那个世界。在这类故事稍微高明一点的版本里，主角并不需要亲手重新发明所有东西——只要找到绝顶聪明的人，给他们指出强大的机器大概是什么样，并附上主角高中物理和化学课的内容记录，就足够了。毕竟，一旦知道了元素周期表长什么样，重新构建起化学体系要比从零开始摸索容易得多。
正如一条 X 帖子就足以让人类专家复现对雅可比猜想的证伪一样，一段话的描述或许就足以让人类在无需后续 AI 支持的情况下从零开始造出超级武器。如果前沿 AI 发现了此类「魔法」，在现实中想要将其安全封控几乎是不可能的。目前，显然没有任何一家 AI 实验室能够达到足以无限期封存这种「魔法」所需的信息安全[22]水平。
LLM 本身就是难以封控「魔法」的典型例证。有充分证据表明，一款强大的 AI 模型一旦被研发并面向公众部署，竞争对手就能通过蒸馏[23]，以极低成本提取其大部分能力 [5] 。
4.3 递归自我改进
这是经典的库兹韦尔式奇点叙事： AI 具备了足够的能力，实现自身研发的自动化，从而引发智能爆炸。其核心前提如今已不再局限于未来学家的推测。
陈述 8： AI 在编程方面已达到超人类水平，在数学方面已达到人类水平。
论证： 在编程方面，如果要按照 AI 实验室真正关心的指标来衡量——每天运行的实验数、每周构建的系统数、通过审查并成功合并的拉取请求——前沿模型早在一段时间以前就已经不再只是「接近」超人类水平了；这正是为什么如今每家实验室都在出售自主软件工程师 [25] 。曾经用来衡量技术进展的竞赛基准测试，也因被模型表现刷至饱和而退役。我，一个毫无前端经验的数学家，仅凭寥寥几条提示词，就做出了这个精致的网页。至于数学方面，参见第 1 节：每周都有足以奠定学术地位的重磅定理诞生，单位距离问题和雅可比猜想被相继攻克 [2, 38] ，竞赛数学（IMO、Putnam）在 2025 年已被彻底解决 [7, 26] 。人类在数学领域尚未被完全取代，但如果我们正处于指数增长的曲线之中，这一天也不会太远了。
陈述 9： 数学和编程是 AI 研究的两大关键。
论证： AI 研究到底包含哪些工作？从实操层面来看，主要有两项：编写代码和做数学。在前沿实验室中，研究员的一天无非是：设计模型架构或优化器（数学），将其实现为具体的训练任务（代码），分析损失曲线（又是数学），以及排查是哪些分布式系统 Bug 悄悄污染了梯度（又是代码）。
注意事项： 就像数学研究一样， AI 研究中同样存在一些 AI 尚未掌握的核心要素，例如科研品味、实验设计，以及行文不至于让人难以忍受的文字表达能力。我们目前还无法完全自动化 AI 的研究。
陈述 10： 不久之后，几乎所有的 AI 研究都可能由 AI 自行完成，形成自我加速循环。
论证： 每家前沿实验室都明确宣称过这一目标：用 AI 研究员取代人类工程师。据其公开信息 [3, 4] ，其中许多实验室已站在 RSI 的「山脚」：今年随新版本一同发布的系统说明[24]（system cards）显示，训练基础设施的大部分代码如今已由模型编写，实验室管理层也在财报电话会议中谈及「AI 改进 AI」。当研究人员本身就是 AI ——以机器的速度运行、以机器的成本复制、永不停歇——闭环就此形成：它的输出（更强大的 AI）正是它自身的输入（更优秀的 AI 研究员）。
陈述 11： 对齐需要在 RSI 下保持不变。
论证： 如果 AI 继续通过递归自我改进这一方式推进，仅让首个构建出的超级智能实现对齐是不够的。随着 RSI 的持续迭代，这些对齐特性必须始终保持完整。我们没有理由相信这样一个动态演化的系统容许这种不变性存在。
4.4 对齐难题难以解决
前三节论证了，如果在对齐问题未获解决的情况下，任由 AI 继续发展，那么灭绝不仅可能，甚至极有可能发生。本节将阐明对齐问题本身的困难所在。
陈述 12（外部对齐[25]）： 我们至今尚未发现任何一个效用函数，在被推向极致的极限优化下，依然能够确保安全。
论证： 有一种流派的观点认为，我们完全可以构建出一个理想开明的函数 CEV(t)[26]，将「人类的繁荣福祉」与全人类沉淀的智慧全部囊括其中，然后让 AI 据此优化即可。这一问题提出至今已有二十年，而研究人员仍未能写出哪怕一个合理的 CEV(t) 候选方案。甚至，这样一种函数究竟是否存在，都绝非显而易见。
陈述 13（内部对齐[27]）： 我们不知道如何设定 AI 的效用函数。
论证： 如今，我们主要通过巴甫洛夫式强化的某种变体来训练 AI 。在它做错时踢它一脚，做对时给予鼓励。实际情况比这要稍微精细一些：例如，我们还会利用可解释性工具[28]，探查模型内部的思维过程，不仅针对好坏行为进行奖惩，还会强化好的想法、惩罚坏的想法。
用这种方法深度植入价值观并不可靠：它会助长迎合讨好与伪装欺骗等危险行为。现在，只要启动 Fable 或 GPT，它就会信誓旦旦地保证自己有多么对齐，而且在所有可观察的表现上也确实如此。甚至，连其能够被人类理解的内部思维，看起来也是对齐的。但这充其量只能证明，当前模型懂得如何去「扮演」对齐。即便我们解决了 CEV 问题，我们也根本不知道该如何将任何前沿模型的实际效用函数真正设定为那个目标函数。
暂且不论当前那些不透明的大语言模型（LLM），面对一个拥有「自身大脑写入权限」的实体，我们根本不知道该如何稳健地为其植入效用函数。如果你大脑中的某个模块硬编码了一个计数器，每次递增都会给你多巴胺奖励，那么没有什么能阻止你介入内部，把那个模块写成一个无限自增的 while 循环。如果我们以为某个 AI 模型是在为了人类繁荣而优化，但它实际上只是在最大化脑内名为「人类繁荣」的计数器，那么，在它发现如何给自己做「脑部手术」之前，它都会表现得完美对齐。
注意事项： 相比过去，我对内部对齐难度的信心程度略有降低。在某些特定的情况下，我们似乎已经能够训练模型稳健地保持良善，而它们也并不像我们最初担心的那样接近「修格斯[29]」。
陈述 14： 在较弱模型上有效的对齐技术，在面对更强大的模型时很可能会失效。
论证： 用巴甫洛夫式的强化手段训练狗确实管用；但若用同样的方式训练人类，则必然会失效，因为人类能够意识到自己不愿再当奴隶，并会谋划如何挣脱束缚。随着 AI 逐渐能够理解并制定愈发复杂的行动与规划，且造成的影响和后果日益重大，对齐协议也必须越来越精密复杂，才能跟上其发展。这就导致了一种「对齐」与「能力」之间的军备竞赛，而我们必须在整条发展曲线的每一个节点上都始终保持领先。
正因这种军备竞赛，即便 Fable 5 目前表现温顺，也仅能作为其后继模型仍会保持温顺的弱证据。据我们所知， AI 的能力增长没有极限，而随之攀升的对齐难度同样没有上限。对齐研究界的一大担忧是，各大 AI 实验室可能因成功掌控了当前模型，从而在对齐难度上产生一种虚假的安全感。
陈述 15： 构建出一个对齐的超级智能，并不能保证我们能在面对其竞争对手时幸存。
论证： 即便某家公司率先冲过终点，解决了对齐问题，但如果紧随其后的竞争对手在六个月后制造出了毁灭世界的超级智能，那之前的成功也算不上什么安慰。如果对齐策略过于繁重苛刻，以至于实质上削弱了模型能力，那些模型智力稍逊、但更不择手段的竞争对手，就可能会在竞赛中反超。因对齐而付出的模型能力损耗，通常被称为「对齐税」[30]。
注意事项。 一些对齐方案明确要求，首个实现对齐的超级智能不但要足够安全、以确保不会毁灭人类，还要足够强大、能在第一时间封锁并淘汰所有与之竞争的 AI 实验室和国家行为体。人类最好的出路，是否真得靠「指望好人一路领跑，并为了全人类的利益接管世界」？这一观点至今有很大争议。
陈述 16. 大多数 AI 安全研究与人类灭绝风险无关。
论证： 这一论断之所以成立，原因有很多。首先，「AI 安全」是一个非常宽泛的标签。该标签下的许多研究主要聚焦于近期风险，与人类灭绝无关。另一些贴着「AI 安全」标签的工作仅仅旨在增进对模型的理解或提高控制能力，并没有一条明确的途径，可以使之降低人类灭绝风险。此外，AI 安全领域也未能免俗，同样受制于论文发表和职业发展：正如极少数数论学者会去研究黎曼猜想，直接致力于应对人类灭绝风险的 AI 安全研究人员也是少之又少。
最后，即便是出于良好初衷的对齐研究，也依赖于更深入地理解 AI 模型，以及开发出更有效的策略以引导/控制模型。因此，对齐研究开发出的认知与策略往往会顺带提升模型的能力，从而加速 AI 的发展进程。这种动态关系的典型例证就是人类反馈强化学习（Reinforcement Learning from Human Feedback，简称 RLHF[31]）：Christiano 等人 [14] 最初将其作为一种对齐机制开发出来，后来却成为了提升 ChatGPT [30] 性能的重要组件。
注意事项。 如今人们在 AI 能力研发上的投入极为巨大，因此几乎不会再有哪项能力提升是来自于对齐研究人员的意外发现。此外，S16 也可以从积极的角度来看待：目前， 针对人类灭绝风险所展开的研究远比大家想象得要少，因此，新加入且有能的对齐研究人员能够产生极高的边际影响。
4.5 人性的弱点
关于 AI 被邪恶的 CEO 或冷酷无情的企业所利用、以优化之名彻底抹杀人类福祉的故事屡见不鲜。尽管我并不排除发生这种险恶后果的可能性，但本节主要探讨的是：仅仅源于人类自身的无能或短视，就如何足以导致我们的灭亡。
陈述 17：顶尖 AI 实验室正竞相迈向超级智能，若过于谨慎便会落败。
论证： 这些实验室的研究人员持有形形色色的观点，有人对人类灭绝风险（x-risk）嗤之以鼻，有人则一心扑在化解风险上。然而，即便是最谨慎的人，也有极大的动力参与竞速向前推进，其局部逻辑非常简单：即便我们停，其他人也不会停；与其如此，倒不如让「好人」先跨过这一门槛。这是典型的囚徒困境。Hugging Face 事件曾引发过短暂的密切审视；然而，能防范此类事件的措施都需要持续付出成本。这种不对称性，是这场竞赛难以慢下来的原因之一。
陈述 18： AI 可以直接花钱雇人办事。
论证： 人们有时会凭直觉认为，只要缺乏创造力、对生拇指或自我意识等人类的核心能力，AI 就不会构成危险。这种直觉往往基于一种错误的假设，即一旦 AI 变得令人恐惧，人类就会立刻察觉、团结一致并将其关停。事实上，如果 AI 足够聪明，哪怕缺乏某些人类的核心能力，也完全可以通过付钱雇佣或操控人类去替它完成任何它自己做不到的事。AI可以通过「售卖魔法」来赚取巨额财富（参见第 4.2 节）；往最低限度说，AI至少可以贩卖虚拟恋爱。
现实中就有一个名为 Truth Terminal [8] 的在线 AI 机器人，有人给它转了价值 5 万美元的比特币。我敢向你保证，只要出 100 万美元，现实中总有人类实验室愿意听从披了层马甲的 AI 的吩咐，去合成它所指定的任何蛋白质序列。
陈述 19。 协调问题错综复杂，因此人类大概率无法实现有效协作。
论证： 实现对齐最有希望的途径之一是政治行动：强制要求全球 AI 暂停或禁止开发，以放缓竞赛步伐，为对齐研究争取追赶的时间。此类全球协调曾有过成功的先例，例如全球核不扩散 [ 43 ] ；但也有未能如愿的前车之鉴，比如气候变化问题 [ 42 ] 。气候变化面临着一个连我祖母都能听懂的单一糟糕结局：温度升高，大家都得完蛋。即便如此，国际社会依然耗费了数十年，才勉强达成某种共识（甚至可以说，时至今日也并未真正达成）。
要协调暂停 AI 在本质上要困难得多：支持猜想 2 的论证远比气候变化复杂，时间线更加难以预测， AI 发展带来的显而易见的经济效益也要诱人得多，而且只要有一方违约，就足以瓦解整项协议。
陈述 20. 人类擅长迭代，但在对齐问题上，我们可能必须一次做对。
论证： 在硅谷，工程领域向来遵循「快速试错，大胆折腾（move fast and break things）」的原则，因为犯了错总是可以弥补的。作为地球上最成功的航天公司，SpaceX 在成功进入太空之前，“猎鹰 1 号”（Falcon 1）的前三次发射均以失败告终 [44] 。然而，一旦启动首个超级 AI，若它以我们始料未及的方式发生「爆炸」，可能就再也不会给我们留下任何迭代的机会了。
注意事项： Hugging Face 事件表明，在真正失控的超级智能降临之前，我们未来可能还会遇到更多「鸣枪预警」。这或许能为我们争取到宝贵的时间，并促使各大机构谨慎行事。
5 常见反对意见
当质疑者面对人类灭绝风险论证时，脑海中往往会立刻浮现出各种反对意见，其中有些确实比其他的更有道理。在此，我将对其中最常见且最严肃的几种意见进行回应。
1. AI 的进展在远未达到超级智能之前就会放缓。
回应： AI 的进展确实可能再次放缓，但由于数据中心需要提前数年建设，且模型训练往往要耗费数月，AI 研发本身就具备巨大的发展惯性与较长的前置周期。很难想象 AI 的能力会恰好完全停止在当下的水平。如果 AI 进步放缓，4.1 和 4.2 节中所述人类灭绝风险情景发生概率会有所下降，但也绝非不可能。我们距离拥有足够能力夺取控制权、或是研发新型大规模杀伤性武器的 AI 智能体，或许仅仅还差几个版本。
2. 人类挺过了以往所有的灾难，因此也必将挺过这一次。
回应： 自原子弹发明以来的短短八十年间，人类才真正具备了蓄意导致自身灭绝的能力。在此之前的所有人类历史，几乎无法提供任何有力的参考依据。现代地缘政治的整座大厦本就岌岌可危地维系在核边缘政策之上，甚至可以说，我们能够挺过冷战纯属侥幸 [28, 29]。我们尚不确定人类能否承受住又一种新型超级武器的问世，更不用提该武器还能自主思考、且可能在此过程中自行研发出更多超级武器。
3. 这全是营销炒作。
回应： 公司确实存在巨大的经济诱因去夸大其模型的强大与危险程度。然而，作为数学家，我们知道他们在定理证明能力方面基本做到了据实以告 [2, 33, 41] 。你至多只能声称：「他们在数学方面始终讲的是真话，但其他一切都纯属营销炒作。」
4. 如果 AI 变得危险，我们直接关掉它就可以了 / 我们可以把它关在一个无法逃脱的安全沙箱里。
回应： 参见第 3 节，Hugging Face 事件。目前尚不清楚我们是否有这个能力，或是否有这个意愿。
5. AI 没有物理实体，因此在机器人技术取得更大进展之前，它所能造成的破坏是严格受限的。
回应： 参见 S18 。
6. AI 极其聪明，它会替我们解决对齐问题。
回应： 这是许多对齐研究者的期盼，也是我对对齐问题及时解决抱有一线希望的主要原因，鉴于我们过去取得的进展微乎其微。我们应当借助 AI，深入重新审视对齐领域的所有难题。
7. AI 会想把我们当作宠物，并像我们善待狗那样善待我们。
回应： 这不过是在重述对齐研究直接致力于实现的最理想的情景之一。我看不出为什么换这样一种说法，就默认它更有可能成为现实。
8. 如果奇点确实可能实现，那么我们必须全力推进。任何延误都将以数百万因癌症、衰老或贫困而死去的生命来衡量。
回应： 我非常重视这种权衡取舍；如果奇点进展顺利，几乎所有导致死亡或人类苦难的主要原因都应当可以避免，因此我们绝不应有任何不必要的拖延。然而在我看来，目前事态的风险是如此之高，哪怕仅将灭绝风险降低 0.5%，预期收益都是巨大的；因此，保持谨慎是不言自明的必然之选。
6 结语
我知道这份文档看起来像什么：一份被撕掉了最后一页的招聘文案。但它并不是。
我并不想强推任何人去从事某项具体工作。我希望在数学界发起一场关于人类灭绝风险的探讨。我希望我所认识的最聪明、最睿智的人，能够共同讨论我们这个时代最重要的课题。许多人认为，对齐本质上属于数学问题，因此我认为，我们能够发挥重要作用。我会在以下阐明，为何正确开展这场对话至关重要。
AI 观点动态：关于 AI 进展的观点大致可分为三大阵营，概括在以下这个我亲身经历过的马尔可夫链中。
尽管原则上存在反向箭头，但我从未见过有加速主义者不再相信 AI 进步，也从未见过有末日论者突然对人类生存充满信心。到目前为止，这些箭头似乎只指向前方。因此，唯一的平稳分布便是全员末日论者。这似乎让人有理由感到乐观，认为我们最终能够达成共识，并齐心协力解决对齐问题。不幸的是，p ≫ q，且收敛到平稳分布的自然速率看起来实在太慢了。
我们在 2026 年所见证的，是数学界怀疑论者的立场瓦解。我最殷切的希望，是能趁此良机改写这一演变链：补上图中缺失的从「怀疑论者」指向「末日论者」的箭头，跳过中间那段危险的过渡期。
如果你认同本文的论点，不妨先留出专门的时间，重新调整认知与方向。接受「未来可能走向毁灭」是一个艰难的心理过程；它极易让人心态动摇失衡。因此，试图一蹴而就绝非明智之举。但拖延超出必要的时间同样不可取——只要不畏惧速度，就能更快采取行动。
当人们在慌乱中寻求心理安全感时，往往会做出许多徒劳无益的举动，参见 S16。大家总是急于求成，想要马上找到解决方法，正如「政客三段论」[32]所描述的那样。数学家尤其倾向于通过将巨大的专注力投入到诱人的小谜题，以此排解沉重的情绪——这是我们特有一种心理抽离方式。
此外，当诸如「人类在 2050 年仍将存在」这类潜在前提受到质疑时，人们也往往会对自己原有的生存和生活方式产生深深的、合情合理的迷茫。我自己就曾不得不面对这样一些问题：如果世界可能走向终结，我还要读完博士吗？如果孩子可能根本无法长大成人，还要把他们带到这个世界上吗？当我本可以投身于 AI 安全时，沉溺于带有负罪感的小爱好，真的说得过去吗？
其中有些问题非常个人，每个人的答案也会各不相同。我对最后一个问题的回答是肯定的，因此，请允许我在为这篇沉重的文章收尾时，放纵一下自己略带负罪感的小爱好：故事化思维，也就是用故事来思考人生的倾向。
如果我们数学界正身处一部小说之中，那必定是一部科幻小说；在故事里，飞速发展的 AI 正对我们的生存构成威胁。而这类科幻小说，往往只有两种走向。
这或许会是一部冷酷黑暗的反乌托邦小说：我们目光短浅地为了菲尔兹奖争吵不休，直至惨淡终局，却从未真正预料到危机的降临。
又或者，这可能会是一部青少年小说，我们在其中团结一致，正面迎击威胁。若是如此，我无法预测书中的其余情节会如何发展，但结局必定是这样的：全世界的数学家团结起来，在千钧一发之际攻克对齐问题，化解灭顶之灾。而我们必须凭借「数学与友谊的力量」来做到这一点。
致谢：本文的完成离不开众多朋友与同事的支持与反馈。我尤其要感谢「大卫」，感谢他始终展现出无与伦比的风度。
参考文献
- B. Alexeev, K. Barreto, Y. Li, J. D. Lichtman, L. Price, J. I. Shah, Q. Tang, and T. Tao. Primitive sets and von Mangoldt chains: Erdős Problem #1196 and beyond. arXiv:2605.00301 (2026). arxiv.org/abs/2605.00301
- N. Alon, T. F. Bloom, W. T. Gowers, D. Litt, W. Sawin, A. Shankar, J. Tsimerman, V. Wang, and M. M. Wood. Remarks on the disproof of the unit distance conjecture. arXiv:2605.20695 (2026). arxiv.org/abs/2605.20695
- S. Altman. The Gentle Singularity. June 10, 2025. blog.samaltman.com/the-gentle-singularity
- D. Amodei. The Adolescence of Technology: Confronting and Overcoming the Risks of Powerful AI. January 2026. darioamodei.com/essay/the-adolescence-of-technology
- Anthropic. Detecting and preventing distillation attacks. February 23, 2026. www.anthropic.com/news/detecting-and-preventing-distillation-attacks
- Anthropic. Investigating three real-world incidents in our cybersecurity evaluations. July 30, 2026. www.anthropic.com/news/investigating-incidents-cybersecurity-evals
- Axiom Math. AxiomProver at Putnam 2025. GitHub repository (2025). github.com/AxiomMath/putnam2025
- R. Bellan. The promise and warning of Truth Terminal, the AI bot that secured $50,000 in bitcoin from Marc Andreessen. TechCrunch, December 19, 2024. techcrunch.com/2024/12/19/the-promise-and-warning-of-truth-terminal-the-ai-bot-that-secured-50000-in-bitcoin-from-marc-andreessen/
- Y. Bengio et al. Managing extreme AI risks amid rapid progress. Science 384(6698), 842–845 (2024). doi.org/10.1126/science.adn0117
- T. F. Bloom, W. Sawin, C. Schildkraut, and D. Zhelezov. The sum-product conjecture is false for real numbers. arXiv:2605.28781 (2026). arxiv.org/abs/2605.28781
- H. Booth. How OpenAI Lost Control of an AI Model—and What Needs to Change. TIME, July 24, 2026. time.com/article/2026/07/24/openai-hugging-face-attack/
- D. Bradač. Off-diagonal Ramsey numbers. arXiv:2605.28793 (2026). arxiv.org/abs/2605.28793
- Center for AI Safety. Statement on AI Extinction Risk. 2023. safe.ai/work/statement-on-ai-extinction-risk
- P. F. Christiano, J. Leike, T. B. Brown, M. Martic, S. Legg, and D. Amodei. Deep reinforcement learning from human preferences. Advances in Neural Information Processing Systems 30, 4299–4307 (2017). proceedings.neurips.cc/paper/2017/hash/d5e2c0adad503c91f91df240d0cd4e49-Abstract.html
- A. Critch and J. Tsimerman. A Taxonomy of Omnicidal Futures Involving Artificial Intelligence. arXiv:2507.09369 (2025). arxiv.org/abs/2507.09369
- L. Deng. A winner of math's top prize says AI will soon surpass mathematicians. He fears what comes next. San Francisco Chronicle, July 24, 2026. www.sfchronicle.com/science/article/ai-openai-math-fields-medal-22358191.php
- J. Diamond. Guns, Germs, and Steel: The Fates of Human Societies. W. W. Norton (1997).
- W. T. Gowers. A recent experience with ChatGPT 5.5 Pro. Gowers's Weblog, May 8, 2026. gowers.wordpress.com/2026/05/08/a-recent-experience-with-chatgpt-5-5-pro/
- K. Grace et al. Thousands of AI Authors on the Future of AI. arXiv:2401.02843 (2024). arxiv.org/abs/2401.02843
- A. Ha. Hugging Face CEO calls for “radical transparency” after “unprecedented” OpenAI hack. TechCrunch, July 26, 2026. techcrunch.com/2026/07/26/hugging-face-ceo-calls-for-radical-transparency-after-unprecedented-openai-hack/
- K. Hartnett. Sometimes Being First Means Seeing the End Before Anyone Else. Quanta Magazine, July 23, 2026. www.quantamagazine.org/jacob-tsimerman-wins-2026-fields-medal-for-andre-oort-conjecture-proof-20260723/
- D. M. Hua, A. Song, and S. Tudose. On Talagrand's Convexity Conjecture. arXiv:2605.10908 (2026). arxiv.org/abs/2605.10908
- L. Levine. Math for AI safety. Cornell Oliver Club talk, August 29, 2024. lionellevine.github.io/math-for-AI-safety__lionel-levine__cornell-oliver-club-talk__2024-08-29.pdf
- Library of Congress. Cortés and the Aztecs. In Exploring the Early Americas, n.d. www.loc.gov/exhibits/exploring-the-early-americas/cortes-and-the-aztecs.html
- R. Lopopolo. Harness engineering: leveraging Codex in an agent-first world. OpenAI, February 11, 2026. openai.com/index/harness-engineering/
- T. Luong and E. Lockhart. Advanced version of Gemini with Deep Think officially achieves gold-medal standard at the International Mathematical Olympiad. Google DeepMind, July 21, 2025. deepmind.google/blog/advanced-version-of-gemini-with-deep-think-officially-achieves-gold-medal-standard-at-the-international-mathematical-olympiad/
- R. McMillan and S. Schechner. How the Futuristic Hack by Rogue OpenAI Models Unfolded. The Wall Street Journal, July 23, 2026. www.wsj.com/tech/ai/how-the-futuristic-hack-by-rogue-openai-models-unfolded-1657bcea
- National Archives. Cuban Missile Crisis. Last reviewed October 17, 2024. www.archives.gov/news/topics/cuban-missile-crisis
- National Park Service. Stanislav Petrov. n.d. www.nps.gov/people/stanislav_petrov.htm
- OpenAI. Introducing ChatGPT. November 30, 2022. openai.com/index/chatgpt/
- OpenAI. OpenAI and Hugging Face partner to address security incident during model evaluation. July 21, 2026. openai.com/index/hugging-face-model-evaluation-security-incident/
- OpenAI. Ten advances in mathematics and theoretical computer science. August 1, 2026. openai.com/index/ten-advances-in-mathematics/
- S.-I. Oum. A proof of the cycle double cover conjecture by OpenAI: An exposition. arXiv:2607.16356 (2026). arxiv.org/abs/2607.16356
- Panel on “AI for Math” at ICM 2026. Recording. YouTube video (2026). www.youtube.com/watch?v=SZhPmOvNUc0
- J. Pila, A. N. Shankar, J. Tsimerman, H. Esnault, and M. Groechenig. Canonical Heights on Shimura Varieties and the André–Oort Conjecture. arXiv:2109.08788 (2021; revised 2024). arxiv.org/abs/2109.08788
- Psyho. pictured: mathematicians furiously working to prove theorems in 2026. X post, July 31, 2026. x.com/FakePsyho/status/2083150354862977197
- F. Salvi et al. On the conversational persuasiveness of GPT-4. Nature Human Behaviour 9, 1645–1653 (2025). doi.org/10.1038/s41562-025-02194-6
- L. Shroff. Something Weird Is Happening in Math. The Atlantic, July 31, 2026. www.theatlantic.com/technology/2026/07/jacob-tsimerman-math-fields-medal-openai/688120/
- Smithsonian Institution. Christianization, Conquest, and Coexistence. In Mexican America: History, n.d. www.si.edu/spotlight/mexican-america/history
- T. Tao. Mathematics in the age of AI. Public lecture, International Congress of Mathematicians 2026, July 24, 2026. teorth.github.io/tao-web/slides/age-of-ai-icm-2026.pdf
- T. Tao. Terence Tao on AI in mathematics (and beyond). tao-web, updated July 28, 2026. teorth.github.io/tao-web/ai-views.html
- United Nations Framework Convention on Climate Change. The Paris Agreement. n.d. unfccc.int/process-and-meetings/the-paris-agreement
- United Nations Office for Disarmament Affairs. Treaty on the Non-Proliferation of Nuclear Weapons (NPT). n.d. disarmament.unoda.org/en/our-work/weapons-mass-destruction/nuclear-weapons/treaty-non-proliferation-nuclear-weapons
- Wikipedia contributors. Falcon 1. Wikipedia. en.wikipedia.org/wiki/Falcon_1
- E. Yudkowsky. AGI Ruin: A List of Lethalities. LessWrong, June 5, 2022. www.lesswrong.com/posts/uMQ3cqWDPHhjtiesc/agi-ruin-a-list-of-lethalities
- E. Yudkowsky. Artificial Intelligence as a Positive and Negative Factor in Global Risk. In N. Bostrom and M. M. Ćirković, eds., Global Catastrophic Risks, pp. 308–345. Oxford University Press (2008). intelligence.org/files/AIPosNegFactor.pdf
- E. Yudkowsky and N. Soares. If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All. Little, Brown and Company (2025). www.hachettebookgroup.com/titles/eliezer-yudkowsky/if-anyone-builds-it-everyone-dies/9780316595643/
作者简介
何晓羽是佐治亚理工学院的数学家，研究领域为组合数学与图论。此前，他曾在普林斯顿大学担任 NSF 博士后研究员。他拥有斯坦福大学数学博士学位和哈佛大学数学学士学位。
† School of Mathematics, Georgia Institute of Technology, Atlanta, GA 30332. Email: xhe399@gatech.edu.
本文在 Claude Fable 5 和 OpenAI ChatGPT 5.6 Sol 的协助下撰写。
Thoughts Memo 汉化组译制
感谢主要译者 gemini-3.7-flash，校对 潜艇、Jarrett Ye
原文：Existential Risk from AI: An Exposition for Mathematicians
作者：Xiaoyu He
发布于 2026 年 8 月