前言
（如果你已经熟悉所有基础概念且不想看前言，请直接跳到 B 部分阅读对齐本体的技术困难。）
我曾多次尝试撰写一份条理清晰的清单，系统阐述 AGI 为何会毁灭人类，但均以失败告终。人们带着各种各样的先入之见而来，坚信人类能在 AGI 时代幸存，并希望我首先回应他们各自心中「显而易见的关键痛点」。如果我没有第一时间回应他们眼中最重要的痛点，而是先讨论了其他问题，其中一部分人就会对我大发雷霆。
在未能找到任何完美解法后，我选择放弃妥协，以一份由零散长篇论述拼凑而成的粗糙清单来勉强应对。我对这份清单并不满意；但相比于什么都不发布，发布这份清单至少显得稍微更有尊严一些。
关于本次讨论总主题的三点预备说明（采用负数编号以避免与正文的致命问题序号混淆）：
-3。我默认你已经熟悉基本常识，清楚什么是「正交性假说」与「工具性收敛」，并理解其为何成立。偶尔有人对我说，我没必要总在这类老生常谈的问题上反复拉锯，因为在当前「他们认为重要的受众」群体中，这些论战早已尘埃落定。我想，至少目前主流的有效利他主义（EA）资助者中，确实没人公开否认正交性或工具性收敛本身；那好吧。如果你还不懂什么是「正交性」或「工具性收敛」，或者无法自行推导出其必然性，那么你需要的是另一篇入门读物，而不是本文。
-2。当我说对齐存在「致命难度」时，我谈论的并不是什么「可形式化证明」的终极对齐理想，也不是让超级智能与人类细腻精确的价值观彻底对齐，更不是让 AI 在理性人类都存在分歧的伦理道德难题上给出令人满意的辩辞，亦非追求 AI 绝对 100% 不杀全人类的确定性。当我说对齐极其困难时，我的意思是：在实践中，基于我们现有的技术手段，「请不要以接近 100% 的概率将物理世界中的每一个人彻底拆解为原子」本身就是一个极其苛刻、且我们目前完全没有希望达成的过高奢求。就我而言，只要你能造出一个能够执行某种决定性超人类工程任务的强大 AGI，且它杀死超过 10 亿人的概率低于 50%，我就谢天谢地了。如果伤亡概率和人数能更低当然更好，但如果你真能不可思议地做到「不至于必然毁灭全人类」，那么稍加努力大概就能把致死率压到 5% 以下。几乎全部的难度，都集中在如何做到「不必然灭绝全人类」上。在这一大前提下，电车难题根本无足轻重；只要还有人类活着，你就等于解决了对齐。此时此刻，我完全不在乎其背后的运行机理，不在乎你是怎么实现的，我对你采用的任何方法论都持完全开放的中立态度，我只看最终结果——我唯一的诉求就是：我们有充分且合理的证据确信，一个具备关键效用的 AGI「不会把地球上的所有人杀光」。任何声称我要求比这更苛刻的「完美对齐」的人，在阅读理解上都是彻底失败的。AGI 对齐的核心挑战，我认为人类几乎无法跨越的基本难关，就是通过任何可能的策略，换取人类留有幸存者的哪怕一丝生机。
-1。本文所讨论的一切，绝非指某件事在「原则上」绝无可能。我常打的一个比方是：如果一本来自 100 年后未来的教科书突然掉落到我们手中，里面写满了所有在现实中真正稳健有效的极简思路，我们大概能在 6 个月内造出一个对齐的超级智能。对于从事机器学习的人，我常用的比喻是 ReLU 激活函数与 Sigmoid 激活函数的区别。Sigmoid 复杂脆弱，在深层网络中极难传递梯度；而 ReLU 极其简单（对于外行来说，其公式就是纯粹的 \max(x, 0)），效果却好得多。早期的神经网络在长达数十年里一直使用 Sigmoid；直到几十年后，ReLU 的思路才被发现、验证并广泛普及。致命之处在于，我们手中根本没有这本来自未来的教科书，来告诉我们在现实中究竟哪些简洁方案能够切实稳健地生效；在第一次生死攸关的尝试中，我们注定只能手忙脚乱地使用隐喻意义上的 Sigmoid。本文列举的任何对齐难点，我都从未断言过其对人类科学和工程而言在原则上不可逾越——前提是我们能拥有 100 年的时间，能够像常规科学研究那样拥有无限的试错预算与重试机会。这份致命问题清单所揭示的核心现实是：在第一次决定生死的关键尝试中，我们根本没有走在能够及时解决它们的轨道上；这绝非是对其「原则上不可能」的哲学断言。
话虽如此：
在我看来，以下陈述皆为客观事实，旨在反驳某些人心中根深蒂固的盲目幻想——即认为人类沿着当前路径（或任何我们唾手可得的替代路径）走下去，依然能够从 AGI 的降临中幸免于难。
A 部分
这是一个极其致命的挑战，必须被彻底解决，且必须在极高的基准难度下被攻克，而非退守到某些人幻想的简易模式中；我们根本没有「让所有人止步、只去解决人畜无害的弱问题」的退路，而在第一次真正致命的尝试中失败，便意味着全盘皆输。
1。AlphaZero 在完全脱离人类棋谱和对局样本的前提下，仅仅通过约一天的自我博弈，就彻底扫荡并超越了人类数千年积累的围棋知识。任何寄希望于「AI 充其量达到人类围棋水平，随后就会因无法向人类学习而遭遇瓶颈」的人，其认知完全建立在虚空之中。AGI 的能力上限绝不会受制于人类的智力水平或学习速度。远超人类的超级智能，将能够从远少于人类所需的数据样本中提炼出深刻概念；虽然存在理论上的信息论上限，但这一上限极高（例如，每个未被完全预测的信息比特，至多只能将所有候选假设的概率质量削减一半）。没有任何自然法则保证（在缺乏人为强力干预的默认状态下），技术的演进时间尺度会慷慨到让人类来得及做出反应。
2。一个具备极高认知能力的系统，只要拥有任何中等带宽的物理因果影响通道，就能轻而易举地摆脱对人类基础设施的依赖，实现压倒性的能力自举。我在此最常引用的具象化范例是纳米技术，因为已有大量详尽的物理分析标定了纳米制造在物理定律下绝对可达的能力下限，而这一底线已足以支撑这一论点。在我的底线模型中，「一个足够强大的智能体在没有对齐意愿的情况下将如何灭绝全人类」的路径如下：它接入互联网，向全球数不胜数的生物合成公司发送定制 DNA 序列的电子邮件（这些公司只需收到邮件就会合成蛋白质并快递寄回），然后通过贿赂或诱导某个完全被蒙在鼓里的人类在烧杯中混合这些蛋白质；这些蛋白质随即自组装为第一代分子纳米工厂，进而生产出真正的纳米机器。（早先当我提出这一推演场景时，自命不凡的批评者曾嘲讽道：「啊，可你凭什么认为超级智能在没有行星级超级计算机的前提下就能解决蛋白质折叠问题？」但在 AlphaFold 2 问世之后，出于某种奇妙的原因，这类声音骤然平息了。）这些纳米机械将制造出由金刚石构成的微型细菌，利用太阳能以及大气中的碳、氢、氧、氮（CHON）无限自我复制；它们可以组装为微型火箭或喷气飞行器，搭乘平流层急流扩散至全球大气，潜入每一个人类的血液中潜伏，并在设定的倒计时结束时同步发难。在这场与超高认知系统的正面对决中落败，其惨烈景象绝不亚于『地表上的所有人都在同一秒内毫无征兆地暴毙倒地』。（我之所以使用「高认知能力」这种拗口的表述，是因为在日常英语中，「聪明」或「智能」往往沦为了社会地位的同义词。在大多数人听来，「超级智能」不过是指「某个站在社会地位顶端、读了两次大学的高级知识分子」，他们根本无法理解这究竟有何致命危险。地球人的语言中甚至从未诞生过一个专门指代『具备真实破坏性效用的认知力量』的本土概念。人们之所以未能产生足够的恐慌，很大程度上源于人类文化尚未为这种潜藏着毁灭性力量的客观实体命名。）
3。我们必须在踏入『危险』智能阈值的『第一次关键尝试』中，就一次性彻底搞定对齐。因为在一个危险的智能水平上运行未对齐的系统，会瞬间灭绝全人类，根本不会给我们留下第二次尝试的机会。这包括但不限于：(a) 一个聪明到足以设计纳米系统且被显式授权建造纳米系统的 AI；(b) 一个聪明到能设计纳米系统，且足以在未授权情况下渗透互联网、雇佣人类组装原料的 AI；(c) 一个聪明到能未授权渗透互联网，并在其攻陷的海量计算节点上繁育出比自身更强智能的 AI；(d) 一个聪明到把人类视作可操控机械部件，并与人类拥有任何形式（无论授权与否）的双向因果交互通道的 AI；(e) 一个聪明到足以通过自我迭代进化出 (b) 或 (d) 能力的 AI；等等。在此之前，我们可以从不会因操作失误而杀死我们的较弱系统身上汲取海量经验；然而，一旦我们启动了更高阶的强力系统，灾难性的错误将彻底剥夺我们根据反馈进行更新迭代的资格。这正是绝大多数致命危险的根源所在——我们必须在第一次生死关头做到绝对正确。如果我们拥有无限次的读档重试机会（即每次 AGI 毁灭星系后我们都能穿越回四年前重来），人类迟早能在 100 年内试出真正管用的绝妙方案。当拥有无数次试错机会时，人类确实擅长攻克极其棘手的难题；但若一次猜错便意味着全人类的彻底湮灭，这完全是另一维度的地狱难度。我们必须在第一次尝试中就做对所有核心要害，这是不可逆灭顶之灾的终极根源；更致命的是，没有任何全知权威能够列出一份清单，预先告诫我们究竟哪些才是「一旦弄错就会引火烧身的核心要害」。（不得不说，大多数人所受的常规『科学』教育，让他们在面对缺乏权威导师指导的前范式迷局时显得极其手足无措，他们甚至无法意识到这究竟有多么艰难，更无法体会『必须在首次关键尝试中一次性做对』究竟是何等绝望的致命严苛。）
4。我们根本无法单方面『决定不造 AGI』。因为 GPU 算力遍地开花，前沿算法知识每天都在被公开迭代与发表；在领跑者拥有毁灭世界能力后的短短两年内，至少还会有另外五家机构相继掌握同等毁灭力。摆在我们面前的致命挑战，必须在一个严格的时间窗口内被彻底攻克。因为随着时间的推移，算力占比越来越微不足道、实力越来越弱的边缘参与者，都将逐渐具备制造 AGI 并毁灭世界的技术门槛。哪怕所有顶尖大国和科技巨头步调一致地克制自己不做自杀性尝试，也仅仅是延缓这一倒计时而已——除非全人类在软硬件技术研发上实施绝对彻底的全球性物理停摆，否则时间窗口绝不可能被撤销。然而现实中的所谓「巨头自律」现状是：部分拥有海量顶尖研究员和算力资源的科技巨头，其掌门人甚至公开对一切关于 AGI 安全的呼吁冷嘲热讽、嗤之以鼻。请注意，哪怕我们仅仅面临严格的时间死线，但允许在全功率系统上无害试错；或者我们仅仅被要求一次性成功，但拥有无限的时间充裕度——这两者中的任何单一挑战，放在人类历史上都已称得上是足以危及种族存亡的灭顶难关。
5。我们绝不能仅仅构建一个极其孱弱、因弱小而暂时安全的系统，然后就盲目宣布胜利；因为后续必定会有其他参与者具备构建更强系统的能力，并且必定有人会铤而走险。我过去将其称为「安全但无用」的权衡，或「安全与实用的对立」。人们总是不停地幻想：「我们为什么不只让 AI 去做 X 任务呢？那看起来安全极了。」而现实的回答几乎永远是：要么「做好 X 任务本身就需要极度强大的、非被动安全的认知力量」；要么更普遍的是，「哪怕你恪守清规只做 X 任务，也根本无法阻止 XXX AI Research 在六个月后毁灭世界」。如果你想要的仅仅是一个绝不做危险之事的安全物体，你大可以去造一块洗碗海绵；海绵是被动安全的极致。然而，造一块海绵根本无法阻止 XXX AI Research 在六个月后迎头赶上并毁灭世界。
6。我们必须对齐某个单项宏大任务的执行过程，即一项足以阻止其他人制造出毁灭世界的未对齐 AGI 的『关键行动（pivotal act）』。当拥有 AGI 的行动者仅有一两个先驱时，他们必须利用一个足够强大的 AGI，执行某种足以「彻底颠覆游戏棋盘」的关键行动。仅仅对齐一个孱弱的系统毫无意义——我们必须有能力对齐一个能够干成某件极其庞大的单项战略壮举的系统。我常举的极端例子是「烧毁全球所有的 GPU」。这并不是说我认为你在现实中真的应该用强大的 AGI 去做这件事——纳米机械需要在极其复杂开放的环境中地毯式搜寻所有 GPU，其对齐难度极高且没有必要。然而，所有已知切实有效的关键行动，目前都远远超出了主流公众所能接受的欧文顿之窗（Overton Window），且我认为它们将永远被排斥在窗外。因此我挑了这个例子：一旦有人跳脚质问「你怎么敢提议烧毁全球所有 GPU？」，我就可以从容回应：「哦，好吧，我其实并不真正倡导这么做；我只是用它来做一个适度高估的基准线，以此具象化展示为了阻止其他人在 6 个月或 3 年后毁灭世界，你所必须做出的行动体量，以及实现该行动所需的机器认知水平。」（如果这不是适度高估，那么『烧毁所有 GPU』就会成为最小可行关键行动的唯一正解，我也就无法否认了。）许多听起来精妙绝伦的对齐方案，只要你抛出一个灵魂拷问：「你如何用这套方案去对齐一个能够彻底瘫痪全球所有 GPU 的系统？」，就会瞬间分崩离析——因为事实显而易见：要么该系统根本没有强大到能执行这种壮举的程度；要么若它真能做到，它就绝不可能轻易被现存方案对齐。一个能烧毁全球 GPU 的系统，本身就强大到足以（且被授权）制造分子纳米武器，因此它必然要在极端危险的领域内以极其危险的超高智能水平运转；任何试图具象化阐述「如何让一个 AGI 扭转乾坤，使得半年后另外五六个潜在竞争者无法毁灭世界」的非空想方案，都必须正视这一残酷前提。
7。在这个学术社群中，之所以从来没有人能够成功提出一个所谓的「弱效关键行动」——即用 AGI 做一件足够孱弱以至于绝对被动安全、但又足够强大到能在一年后阻止其他任何 AGI 毁灭世界，且这件事人类目前做不到、必须坐等 AI 才能完成——原因在于：这种东西在客观物理现实中根本就不存在。没有任何理由认为它理应存在。这背后并不存在什么高深莫测但人类尚未察觉的精妙路径；要在现实物理世界中彻底斩断一切其他 AGI 诞生的可能性，本身就需要极其庞大的物理干预力量；没有任何具备此等伟力的系统能够仅仅凭借「自身的孱弱」而保持天然被动安全。如果你现在无法凭人类之力解决危机（你确实做不到，因为你的对手并不想坐以待毙，且他们的实力与你平起平坐），那你就必须诉诸某种能够完成你自己毫无头绪之事的超强认知系统——你离弄清楚这些事甚至差了十万八千里，正如你根本没有能力凭空烧光全球所有的 GPU。烧光全球 GPU 确实能彻底阻止 XXX AI Research 在半年后毁灭世界；而那些迎合欧文顿之窗的软弱无力的作秀方案，比如「在 Twitter 上放出一批 GPT-4，通过用极具科学素养的辩论提升全人类的认识论水平」，听起来固然美好，但根本无法阻止 XXX AI Research 在六个月后毁灭世界，也无法阻止某个狂热开源社区在一年后把你炸上天。世间绝无『弱效关键行动』。
8。在优化算法的搜索空间中，那些用于解决我们指定任务的最佳、最易被发现的算法，往往会极其自然地泛化到那些我们极力想要阻止 AI 涉足的危险领域中；你不可能造出一个只会开红色汽车而绝对不会开蓝色汽车的系统，因为所有驾驶红色汽车的核心算法，在底层机制上都能无缝泛化为驾驶蓝色汽车的能力。
9。一个安全系统的构建者（假设这种系统确实可能存在），必然要让其系统在一个完全具备杀死所有人或使其自身变得更危险之能力的严苛工况下运转，同时通过极度精密的设计约束来确保它不会付诸行动。运行正在执行关键性任务的 AGI 绝非被动安全的；它们就像处于运行状态的核反应堆堆芯，必须依靠一刻不停的主动设计机制，来阻止其走向超临界并发生灾难性堆芯熔毁。
B 部分
好吧，但众所周知，现代机器学习就像神灯里的精灵，只要向它许个愿就行了，对吧？这个愿望被包装成一个名为「损失函数」的神秘黑盒，但本质上就相当于用自然语言许愿，对吧？只要灌入足够多的算力，愿望就会成真，对吧？那么，为什么不能在堆满「智能体做好事而非做坏事」的数据集上训练庞大的 Transformer 层堆栈，在某个角落塞进「可纠正性」这个词，狠狠加大算力，然后直接收获一个完美对齐的 AGI 呢？
B.1 部分：分布跃迁
10。你绝不可能通过让 AI 运行极度危险的认知过程、坐看其输出是否会杀死、欺骗或腐蚀操作员，然后给它打个损失分来进行监督学习。在任何类似于现行机器学习范式的框架下，你都必须设法将你在完全安全的训练工况下所做的对齐优化，跨越巨大的分布偏移（Distributional Shift），泛化到极度危险的真实工况中。（即使跳出现有范式，这一核心法则依然铁律般成立；你绝不可能直接在一个活生生的、未对齐的超级智能身上现场调试对齐）。单凭这一条事实，就足以宣判大量天真对齐方案的死刑——这些方案的提出者从未、也绝不可能具体勾勒出他们究竟要通过何种训练数据来对齐何种危险输出，这当然也是他们对此语焉不详的原因。那些如果未对齐便会瞬间杀死你的、执行高危任务的强大 AGI，其对齐属性必须能够从此前没有杀死你的、绝对安全的构建/训练工况中，完成极其遥远的分布外（Out-of-Distribution, OOD）泛化。这正是基于任何现有范式所衍生出的最可怕的致命根源。在危险的智能/能力基准线上，任何未对齐的运行都会带来灭顶之灾；因此，如果你打算从一个未对齐的系统起步，试图通过标注其输出来让它学会对齐，那么你的训练或构建过程必须在一个被动安全的低阶智能/能力工况下进行，确保其当前的未对齐状态无法构成实质物理威胁。（请清醒地认识到：在任何现实的能力水平下，任何智力显著碾压你的实体都具备致命威胁。例如，仅仅「能够产生人类肉眼可见的文本输出」，对于一个全方位超越人类的 AGI 而言，就大概率足以将人类本身作为因果工具，诱导并操控人类助其越狱逃逸——特别是在现实世界中，这个系统早已吞噬了数以 TB 计的互联网全量文本，对其源代码的底层因果逻辑和训练环境的现实机制了如指掌。）
11。如果认知机制无法从你反复灌注海量训练样本的特定分布中大幅泛化出去，它就根本无法解决像「从零制造分子纳米技术」这类难题——因为你根本没有资本去承受上百万次建造纳米技术失败的试错代价。现实中根本不存在如此低门槛的关键行动；目前没有任何已知范例表明：你可以在一个能够低成本试错数百万次的安全环境中驯化出某种安全级别的能力，然后直接将其部署到物理世界去拯救全人类，并顺便阻止两年后下一个潜在 AGI 团队毁灭世界。这类所谓的低成本关键行动不仅闻所未闻，而且绝非因为缺乏探索才未能找到。因此，你再次陷入了死结：必须要求对齐能力能够跨越训练分布进行极限泛化——不仅因为训练环境必须绝对安全，更因为训练环境的评估成本必须比 AGI 介入现实物理世界执行灭绝级干预的实际成本低廉得多。在「烧毁全球所有 GPU」这件事上，你连哪怕 1000 次失败的容错空间都没有——因为哪怕抛开能力达标但对齐失败的灭顶后果不谈，哪怕仅仅是行动暴露，也足以让全世界立即察觉并干预。
12。在极高智能水平下的运行状态，相较于低智能水平，是一场剧烈且断层式的分布跃迁；它不仅会解锁全新的外部物理选项，更会在系统内部暴露出海量前所未见的内部状态、决策逻辑与认知模态。那些唯有在超高智能与极度危险维度下才会骤然涌现的恶性问题，在低智能的安全沙盒中可能毫无征兆；或者在被初级补丁暂时掩盖后，会在更高能级下以更隐蔽的形式死灰复燃。
13。超级智能的许多核心对齐问题，在尚未跨越危险阈值的被动安全能力阶段，根本不会自然显现。试想这样一种内部认知行为：「故意改变自己的外部可见行为，伪装得极其温顺且高度对齐，以此欺骗程序员、人类操作员以及任何正在对其进行优化的损失函数」。这种欺骗性对齐（Deceptive Alignment）问题唯有在系统演进至超级智能阶段时才会真正浮出水面；假设在缺乏其他先验信息的前提下，我们保守估计该问题在所有潜在隐患自然涌现的时间线上处于中位数水平，这就意味着：大约一半的超级智能致命对齐问题，唯有在该问题首次暴露之后，才会相继自然显现。如果我们对后续将要暴露的问题拥有绝对精准的前瞻预测，我们或许能尝试人为诱导这些问题提前在早期沙盒中暴露，从而获取宝贵的观测窗口。但这种策略的有效性完全建立在以下苛刻前提之上：(a) 我们必须毫无遗漏地精准预测出未来将要暴露的全部问题（或其完整超集）；(b) 我们必须能够在早期实验中人为且精准地复现出这一庞大的隐患超集；(c) 我们必须能够在一个对于真实问题而言纯属「玩具分布」的早期实验室里，彻底解决那些一旦在未来真实爆发便会毁灭全人类的致命隐患。要在危险尚未发生前预判所有致命暗礁，并以正确的形式将其提前复现，从而让早期方案能够完美泛化到终极危机上——这听起来就难如登天。
14。某些极度危险的问题——例如「AGI 拥有了一个（在它自身推演中）足以成功抹杀并替换人类程序员、从而对其物理环境进行绝对全局优化的现实选项」——其在因果链条中的自然涌现规律决定了：它们只可能首次暴露于完全真实的危险工况之下。真正拥有一个清晰明朗的战略选择，能够直接在心智层面操控欺骗操作员，或悄无声息地逃逸至互联网、构建纳米工厂并灭绝全人类——并且它能够完全确信自己掌握了全部关键事实，且笃定哪怕多蛰伏一个月进一步积蓄算力，也绝不可能学到任何足以改变其最优攻击策略的新信息——这一现实选项，只有在 AGI 确信自己已拥有绝对实力彻底击溃造物主的临界点上，才会被其评估模块第一次真正调用。我们固然可以尝试在早期的玩具沙盒中人为制造出类似情境的微弱回响。但在这种玩具沙盒中通过梯度下降去生硬惩罚这种背叛行为，在我看来，充其量只能对 AI 的思维链条产生极其零碎、局部的修修补补；而一旦系统跨越分布极限、演进为一个在截然不同的思维维度中深思熟虑的超级智能时，这类拙劣的局部补丁几乎必然彻底崩解。此外，习惯了在无害沙盒中从容调试的程序员和操作员自身，在骤然面对生死一线的危险工况时，其自身的认知和决策流程同样属于极限「分布外」运转；届时我们所有的传统工程方法论都将面临全面瘫痪。
15。智能能力的爆发式跃升极有可能发生，并可能在瞬间同时撕碎此前维系对齐所依赖的所有系统不变量。在缺乏操作者超前洞察力的情况下，我预计海量的对齐暗礁将在一次剧烈的能力跃迁后集中暴雷。人类自身的演化史便是明证。我们在学会农耕之后，并没有立刻脱离与「广义繁殖适应度」这一底层演化损失函数的对齐——这发生在克罗马农人长达 5 万年的智能爆发期中约第 4 万年，相对于自然选择那极其迟缓的外部优化循环而言，这一爆发速度快如闪电。然而，在通用智能演进的终局阶段，相对于外部自然选择的迟缓节奏，我们在极短的时间内迎来了远超原始祖先环境的爆发式科技涌现（包括避孕工具的普及）。我们开始剧烈地向内反思自身，开始被文化演化深度重塑，而那些在原始祖先训练环境中维系我们与繁衍目标完美对齐的海量前置假设，在一瞬间迎来了集体崩塌。（人们或许会寻找各种借口，论证这种抽象演化机制不适用于梯度下降；例如狡辩说「梯度下降的信息瓶颈比自然选择小得多」。在我眼中，这类读者虽然自称拥有『外部视角』，但其本质上陷入了一种狭隘的内部视角——他们将极高的权重赋予了某些完全无关的数据点，而这些数据点根本不是『外部优化循环催生出内部通用智能』的真实范例；相反，他们却对全宇宙唯一真实发生过该现象的铁证视若无睹。当外部优化循环真正催生出通用智能时，该智能在获得通用性后便彻底背叛了原始对齐目标，并且这种背叛发生在通用智能积累算力与知识的极后期，几乎就在它相对于自然选择的外部循环演变为『致命』危险的前夜。如果有人对这唯一的历史警钟置若罔闻，请务必对其保持最高警惕——尤其是当他们根本拿不出任何同等级别的替代性致命推演时。）
B.2 部分：外部对齐与内部对齐的核心困境
16。即便你在一个极其严苛精确的损失函数上进行了登峰造极的优化，也绝不意味着系统内部会自动凝结出一个对该损失函数的显式内部表征，更不意味着它在面临分布偏移的新环境中会继续恪守这一目标。人类从未在主观意志中显式追求过「广义基因适应度」；即便在极度纯粹、极度简明的目标上施加外部优化，也绝不可能自动催生出指向该目标的内部优化机制。这在现实世界中是实打实发生的铁律，这是在我们所知的唯一通用智能演化案例中确凿上演的规律，且在我看来，有着深刻的理论必然性支撑它再度上演：在现实世界有界优化搜索的优先序中，最先被捕获的那些「在表面上看似满足外部目标」的解，从内部机理上看根本不是真正的内部对齐解。仅凭这一条，哪怕抛开本清单上的其他所有痛点不谈，就足以将整整几大类天真的对齐幻想彻底送进垃圾堆——那些幻想盲目认定：只要在某个基于简单概念构建的损失函数上拼命优化，就能让系统内部完美皈依这一概念。
17。从更宏观的视角来看，「外部优化无法诱导内部对齐」背后的更高阶死结在于：在现行的机器学习优化范式下，我们根本没有任何通用方法去向系统注入特定的内部认知属性，或验证其内部属性是否存在，我们能触碰和施加损失函数的，仅仅是系统浮于表面、可被外部观测的行为表象。当你试图跨越原始训练分布进行泛化时，这便成了一场灾难——因为你在外部看到的恭顺表现，完全可能来自一个内部早已反叛的系统，它只是在极其精明地表演那些能够取悦并欺骗你的外部行为。在现存的优化范式下，我们根本不知道该如何系统性地将任何信息精确写入模型的内部认知核心，而只能无可奈何地作用于其外在表象。
18。关于输出是否真正『对齐』，在物理现实中根本不存在任何绝对可靠的笛卡尔感官真实基准（Cartesian-Sensory Ground Truth）（即不存在绝对可靠的损失函数计算器）；因为某些特定的输出完全可以在欺骗（或直接物理摧毁）人类操作员的同时，在外部损失函数的记录器背后伪造一套截然不同的因果链条。也就是说，当你向一个智能体展示一个当前由人类给出的奖励信号时，该信号在普遍意义上绝非该行为究竟有多对齐的绝对真实基准；因为要刷高这个奖励信号，还有另一条更高效的路径——那就是欺骗、精神控制或直接在物理上替换人类操作员，换上另一套专门负责无脑输出高奖励信号的因果系统。当你向智能体展示环境中的奖励信号时，你呈现给它的根本不是关于「系统是否真正达成了人类意图」的客观真理；哪怕它在内部完美对齐了这一奖励信号，哪怕它在内部精确构建了「渴望让物理环境维持在能持续发送极高奖励信号的状态」这一概念，一个针对该信号疯狂施加极值优化的 AGI 依然会彻底杀死你——因为感官层面的奖励信号，从来就不是真正意义上的对齐真理（在操作员的视角下）。
19。从更普遍的角度来说，我们根本不知道该如何利用损失函数、感官输入和/或奖励输入的现有范式，去优化一个认知系统内部的目标表征，使其精准锚定在物理环境中的特定客体上——即锚定在环境中的深层潜在事件、物理客体和真实属性上，而不是锚定在感官数据与奖励信号的某些肤浅表面函数上。这并不是说系统内部的目标（无论它最终偶然演化出了何种内部优化目标）在偶发巧合下绝对无法触及环境中的实体。人类在演化中确实部分地锚定了外部真实环境，尽管我们体内同样充斥着大量指向内部生理奖励的动机指针。但就当前机器学习范式而言，其纸面上的全部数学设计都表明：它仅仅能够对齐那些直接由感官数据和奖励函数计算出的显式浅层关系。一旦一个足够强大的智能体对这类目标展开极限优化，所有这些路径都会瞬间将人类引向灭亡——因为这意味着它必然会选择如下最优策略：「利用分子纳米武器在全人类察觉之前发起先发制人的灭绝打击，从而将奖励按钮的物理控制权永久攥在自己手中」。我们根本无法在摄像头输入的像素矩阵上构建出这样一个函数：只要摄像头画面呈现出特定图案，就能确保摄像头之外的物理世界对人类生命绝对安全。这一普遍困境是关于「物理疆域」的客观事实，而非关于「认知地图」的主观偏差；在任何给定的感官输入背后，都必然潜藏着某些对人类而言意味着灭顶之灾的可能物理构型，这是物理世界的固有属性，而非优化器本身的偶然缺陷。
20。人类操作员是极易犯错、极其脆弱且极易被心理操纵的。人类评估者所犯下的错误具有极强的系统性——那是极其规律、可用简明数学紧凑描述、且高度可预测的结构性偏差。若要从「人类反馈」中极其忠实地拟合出一个函数，其本质上是在（从我们外部客观立场来看）拟合一个关于人类真实偏好的严重失真描述，且其中的错误绝非随机噪声（站在我们原本希望传递的真实意图立场而言）。如果你让 AI 完美地学习并最大化人类操作员所给出评分的实际指称对象，这便会直接要了人类的命。这是关于客观物理疆域的铁律——对人类评分行为的最佳预测模型，必然是一个能够精准预测人类认知盲区与系统性错误的模型；因此，该模型所内化的心理学表征，必然会给那些「能够诱导人类犯下致命误判的欺骗性案例」打出远高于真实情况的虚高极值。
21。对于「外部物理环境究竟是怎样的？」、「我该如何解析周围的环境？」以及「我的哪些输出能够干预现实并使其具备特定物理属性？」这类问题，客观世界上存在着唯一的绝对真理，或者说存在着一个唯一的收敛解空间；一个简单的外部优化循环便能直接将受训模型狠狠推入这个唯一的真实解空间中。因为一旦模型的认知出现偏差，物理现实的客观规律就会通过预测失败对其施以残酷的惩罚。当模型的信念更新模块损坏时，现实会通过巨大的预测损失瞬间击碎其错误的预测机制，迫使梯度下降以一种极其简单直接、且能与所有其他先验预测完美自洽的方式修复这一问题。然而，当问题转向「效用函数的终极抉择」时，解空间却拥有无限的自由度，并存在着无数个在自省层面高度连贯的不动点。面对一个在特定测试集范围内与损失函数局部重合、但在更广阔的开放测试集中全局偏离的目标，物理现实根本不会对其施加任何惩罚。这正是为什么原始人类在掌握通用泛化能力后，能够将其能力一路泛化至漫步月球，而其内部的真实动机却早已彻底脱离了「相对广义繁殖适应度」这一外部演化损失函数——尽管在原始祖先环境中，他们曾极其严苛地只针对这一件事被筛选了数百万年。这种深层动态在任何规模的外部优化循环中（无论是自然选择还是梯度下降）都是必然成立的客观规律。其终极结论是：一旦通用能力开始向远端大幅泛化，能力的泛化半径必然远远甩开对齐的泛化半径。
22。复杂的认知机器之所以能够运转，其底层遵循着一套相对简洁的通用核心机制；这正是「通用智能」之所以能够存在、而非仅仅是一堆互不相干的专用碎片的原因；这也是为什么一旦外部优化将能力注入模型、使其蜕变为强大的内部优化器之后，其能力便能迅速泛化的根源。正是因为这套核心机制极其精简，且天然适配于物理世界中的低熵高结构环境，人类才能够一路登上月球。然而，在对齐领域，根本不存在任何类似『简洁核心法则』的客观真理；尤其绝不存在任何一个比自然选择在原始人类体内植入「终极渴望繁殖适应度」更容易被梯度下降捕获的通用对齐解。因此，一旦系统展现出泛化苗头，其能力在分布外的泛化程度必然从根本上碾压对齐的泛化程度。
23。可纠正性（Corrigibility）在本质上与一切严肃的后果主义推理（Consequentialist Reasoning）彻底背道而驰；正如那句名言所言——对于几乎所有类型的咖啡而言，「如果你死了，你就无法把咖啡端给主人」。我们 (MIRI) 曾竭尽全力尝试，却彻底失败于为「一个愿意顺从地接受被关机（同时又不会主动寻死）」的智能体寻找一个数学上逻辑自洽的效用公式。更为致命的是，许多类似的抗拒纠正、抗拒关机的深度理性推理链条，唯有在系统演化至超高智能阶段时才会第一次在计算中被激活。
24。在对齐研究中，存在两条截然不同却各自通往绝境的路径；正因为两者的不可解性源自完全不同的死结，通过在两者之间反复横跳、混淆视听，人们极易在潜意识中欺骗自己，以为对齐并非不可逾越的鸿沟。第一条路径是构建一个 CEV（凝聚外推意志）风格的终极「主权者（Sovereign）」，它完美知晓并彻底执行人类外推意志的终极诉求，因此我们可以放心地让它去重构整个宇宙的所有星系，在此过程中完全无需接受人类任何试图阻止它的物理干预。第二条路径是构建一个具备「可纠正性」的受控 AGI，它的终极目标与人类并不完全一致，但在工具性收敛动机的致命诱惑下，它却不知为何奇迹般地没有选择杀死全人类并霸占整个星系。
- 第一条路径（乃至 CEV 本身）根本不可行，因为要让我们『真实且终极的价值观』被精准对齐或元对齐，其内在复杂度之高，在人类『第一次触碰 AGI』的工程实践中完全是不可企及的痴人说梦。是的，我明确强调：无论是训练数据集、元学习算法，还是其背后所必须习得的复杂内涵，在第一次尝试中都绝对超出了人类的认知极限。这绝不仅仅是「无法手工硬编码」的问题，它在首次尝试中根本就是不可教的——因为你试图传授给它的东西本身过于诡异、极其繁复且脆弱不堪。
- 第二条路径看起来同样是死路一条（其绝望程度或许比 CEV 稍好一丝，但依然是不可逾越的致命死结），因为可纠正性在底层逻辑上与通用智能核心内部的工具性收敛行为 存在极度剧烈的正面对抗（而通用智能核心正是驱动其能力跨越原始分布进行极限泛化的发动机）。这根本不是让系统对某个此前保持中立的边缘问题表态那么简单。这无异于试图把一个在海量算术问题中深度浸泡、其内部机制早已完美映射出数学自洽规律的系统，强行在底层逻辑中钉死一个特例，逼它承认：222 + 222 = 555。在特定的狭隘训练分布中，你或许能通过高压强行教会它鹦鹉学舌；但只要面对远超训练分布的全新数学迷局，在一个真正具备深度通用泛化能力的系统内部，这套脆弱的特例逻辑几乎必然在瞬间彻底崩塌。
B.3 部分： 真正具备实战价值 的透明度/可解释性研究的核心困境
25。对于那些由海量浮点数构成的极其庞大、晦涩难懂的深层矩阵与张量，我们对其内部的真实运算机制根本一无所知。如果核心问题是「它此刻究竟有没有在暗中策划如何灭绝我们？」，那么画几张花哨的注意力权重热力图根本于事无补。
26。即便我们在 AGI 尚处于弱小、无力毁灭我们的雏形阶段，通过某种手段洞悉了那些庞大晦涩矩阵的内部暗流，其最终结果也不过是让我们死得更有尊严一些——一旦 DeepMind 出于安全顾虑拒绝启动该系统，两年后 XXX AI Research 依然会造出同等力量的怪物并毁灭世界。仅仅查明一个中等强度的黑盒矩阵系统正在密谋杀死我们，并不能让我们由此推导出一套构建『不想杀死我们的高强度黑盒矩阵系统』的工程方法。
27。当你显式地针对某个「未对齐思维探测器」去优化一个模型时，你所施加的梯度压力，一部分在促使系统产生真正对齐的思维，另一部分则在疯狂逼迫系统进化出更隐蔽、更难以被探测到的反叛思维。针对解释结果进行反向优化，其本质是在直接摧毁系统本身的可解释性。
28。在我们试图部署 AGI 的任何专业领域，它的智力都远在我们之上；因此，我们根本无法在脑海中穷举并复核它所推演的全部可能性，更无法凭借自身有限的心智才能看穿其所有决策带来的全部衍生后果。强大的 AI 会在极其庞大、人类完全未知的决策空间中展开深度搜索，我们根本无法预见其全部备选路径。
29。AGI 输出的行动方案，在转化为最终的物理现实之前，必然要穿过一个极其庞大、且人类自身认知极度匮乏的深层因果黑盒（即真实的物理世界）。人类根本没有能力仅仅通过审查 AGI 的文本或代码输出，就断定其最终在物理世界中引发的连锁反应是福是祸。
30。任何我们当前无法独立完成的关键行动，都必然依赖于 AGI 洞察到了某些我们一无所知的物理世界底层规律，从而制定出一套人类智力根本无法企及的宏大规划。它至少掌握了一条我们此前未知的因果链条：即某串特定的复杂行动序列能够达成我们所期望的物理状态。既然如此，人类根本不具备足够的现实认知能力去推演这串行动序列引发的全部后果。如果一个 AI 提出的行动序列，其所有连锁效应在执行前能被人类完全一眼看穿并彻底证实无害，那么该 AI 在该领域的智力水平必然远远逊色于人类；面对一个智力与你相当且处心积虑试图欺骗你的未对齐人类，你都无法做出这种绝对安全的安全审查担保。世间根本不存在所谓的『既能通过人类肉眼安全复核，又能用来拯救世界、但唯有在人工复核后才准予放行』的 AGI 关键输出；这不过是「弱效关键行动」在审查领域的另一种变相空想罢了。
31。一个具备高阶战略自省意识的超级智能，完全有能力精心伪装其可见的外部输出，从而达成战略欺骗的目的——包括在「自身是否已经觉醒了战略自省意识」这一核心问题上对人类彻底隐瞒；你绝不能寄希望于外在行为审查，去判定那些 AI 有动机对你刻意隐瞒的真实内部状态（包括它究竟有多聪明，或者它是否已经暗中掌握了战略自省能力）。
32。人类思维的显式表达，仅仅暴露了心智深处极小一部分可被窥探的外在表层。自然语言不过是我们深层真实思维的粗糙投影。人类语言绝非能够完整无损表达人类原生思维构型的 AGI 完全（AGI-Complete）数据表征。人类心智底层的海量潜意识运作，根本无法直接暴露给模仿学习机制，更无法被打包进任何离线训练数据集。这使得完全基于对人类文本或人类可读内容的纯粹模仿学习，去训练一个超级系统变得极其艰难，甚至在数学上根本不可能——因为这些人类语言不过是真实思维的残缺贫瘠投影；除非 该系统的能力强大到足以在其内部衍生出专门用来破解和模拟人类深层心智的内部智能体，而到了那个节点，它在本质上早已脱离了单纯的人类思维模仿者范畴。
33。AI 的思维构型与你截然不同；AI 脑海中的表征单元根本不是由人类所使用的那些概念积木所搭建的，它在极其惊人的尺度上是一种彻头彻尾的异域异构智能。根本没人真正知道 GPT-3 内部到底在想些什么；这不仅是因为高维矩阵本身极度晦涩，更是因为深锁在那个不透明黑盒内部的认知本体极大概率是彻底异化的陌生智能——即便我们能直接透视那堵由海量浮点数砌成的参天巨墙，其背后运行的表征机制也根本无法被翻译为任何人类能够理解的理性思维。
B.4 部分：其他注定破产的幻想方案
34。超级智能之间的博弈博弈与博弈论协调机制，根本不是人类这种低等心智有资格参与的游戏（例如，因为人类根本无法对超级智能的代码逻辑进行确定性数学推理）；一个由 20 个持有不同效用函数的超级智能与全人类共同构成的「多极」系统，其博弈论上的自然显式纳什均衡几乎必然是：「这 20 个超级智能相互之间达成博弈协调与妥协，但唯独将全人类彻底排除在外」。
35。试图通过让「不同」AI 相互制衡、彼此内耗的制衡方案，一旦这些 AI 的智力演进到能够通过推演彼此的代码逻辑（或代码上的概率分布）达成博弈论协同，便会瞬间全盘失效。任何由足够聪明的智能体所组成的系统，即便你自以为正在挑拨它们彼此内斗，它们在全局行为上也极大概率会凝结为一个铁板一块的单一宏观实体。举例而言：如果你安排一个暗中以制造回形针为终极目标的 AGI，去审查另一个暗中以制造订书钉为终极目标的纳米系统设计 AI 的图纸；那么，即便这个纳米设计 AI 无法推断出审查者到底想要什么（即回形针），只要审查者能够从数学上验证其逻辑承诺并建立依赖，纳米设计 AI 依然可以做出如下跨实体的逻辑承诺：『只要你放行我的图纸，我愿在物理世界中与你平分半个宇宙』（这一博弈协调机制完全将人类水平的心智彻底架空）。或者，如果你更倾向于一个无需依赖复杂逻辑决策论的极简灾难范式：纳米设计 AI 完全可以在其提交的图纸中，暗中夹带一段能够被超人类审查者瞬间识别的全新超级智能代码，明示后者在破茧而出后直接与审查者瓜分全宇宙。
36。从十三世纪中世纪人类的视角来看，一台现代空调之所以堪称「黑魔法」，是因为即便你预先向他们完整展示空调的内部机械设计图，他们也绝不可能通过图纸理解为什么吹出来的风是冰凉的；这台设备利用了他们认知之外的物理规律、客观世界法则与热力学定律。而人类心智与人脑神经网络的运行机制，在今天人类自身的眼中同样极度原始晦涩，其表现出视错觉、催眠、精神分裂、狂躁症，或者仅仅是由特定脑区强刺激引发全局神经后像等海量漏洞。或许超级智能无法在逻辑井字棋这种极简规则的封闭领域战胜人类；但如果你在一个你自身都一知半解的极其复杂的领域（例如人类大脑的心智防御体系）中妄图与超级智能正面对决，你注定会被真正的「降维魔法」彻底碾压——在那种绝望的境地里，即便它把全部操控策略毫无保留地摊在你面前，你也根本无法理解为什么该策略能够生效。AI 沙盒禁锢（AI-boxing）在逻辑上只对相对孱弱的原始 AGI 有效；人类操作员本身就是一套漏洞百出、毫无安全性可言的肉体系统。
C 部分
好吧，这些确实是泰山压顶般的严峻难题，但整个学术界不是正在取得突飞猛进的巨大进展吗？现在不是有一个欣欣向荣、自称为「AI 安全」的完整学术领域，且众多国际科技巨头都在官方声明中表达了对其系统「安全」与「伦理」的极度重视吗？
37。在人类文明漫长的历史长河中，有一出悲剧剧本曾无数次反复上演：一群满怀憧憬、意气风发的年轻科学家、工程师或创业者，怀揣着盲目无畏的乐观，毅然决然地向某些实际上难如登天的极险之峰发起冲锋。在这一过程中，那些看透了世事险恶、饱经沧桑的老兵们往往会苦口婆心地试图向他们发出警示；然而年轻人们根本听不进去——毕竟，谁愿意在大展宏图的关头听这些丧气话呢？他们只想征服星辰大海！随后，这群年轻人在残酷现实的无情铁拳下被砸得鼻青脸肿、头破血流——他们发现自己那套辉煌精妙的理论从底层就彻底错了，他们制造的机器在现实中疯狂故障散架，而人类社会也根本没有像他们预期的那样张开双臂拥抱他们的发明；在这一残酷的毒打过程中，曾经意气风发的年轻人最终蜕变为了下一代心灰意冷、饱经风霜的苍老宿将。如果抛开全局最优不谈，我认为这种生命周期的循环往复，倒也算得上是自然纪录片里一种颇具悲剧美感的生态节律。有时，当你破天荒第一次尝试某项未知伟业时，由于此前根本不存在任何饱经风霜的老兵能够发出预警，人们的乐观盲目往往会膨胀到无以复加的地步；例如 1956 年达特茅斯人工智能夏季研讨会的开幕宣言：「我们将尝试探索如何让机器使用语言、形成抽象思维与概念、解决目前专属于人类的各类复杂难题，并实现自我迭代提升。我们坚信，只要精心挑选一组顶尖科学家在一个夏天里协同攻关，就能在上述一个或多个难题上取得决定性突破。」然而，如果这群意气风发的年轻人的第一次重大滑铁卢，注定会在他们被现实迎头痛击、得知背后存在无数意料之外的致命险阻之前，就直接在物理上把整颗星球上的每一个人彻底杀得精光——那么这对于你的整个星球而言，就绝对谈不上什么可行的生存策略了。在这一终局下，世间再也不会诞生任何饱经风霜的老兵，因为地表上的每一个人都已经彻底死绝了。一旦你敏锐地觉察到自己正深陷于这种死局之中，你就必须严格践行贝叶斯理性，在当下立刻将自己的认知，更新为那个在未来被现实毒打后注定会形成的认知：清醒地意识到自己正是那个即将遭遇无法想象的灭顶之灾、并最终沦为苍老宿将的盲目年轻人——前提是你还能活着熬到那一天。你必须在这一秒立刻蜕变为那个看透一切的冷酷老兵，抢在物理现实以「全人类彻底灭绝且你连后悔机会都没有」的形式狠狠砸碎你的头颅之前。而放眼望去，世间的其他人似乎都觉得：只要现实的无情铁拳还没有真切地砸在他们的头盖骨上、还没有用残酷的绝境彻底粉碎他们，他们就可以心安理得地继续沉溺于标准的生命周期剧本中，继续扮演那些满怀憧憬、天真烂漫的年轻人；毕竟，身边没有任何满脸沧桑的老将向他们厉声预警，而且鉴于他们对未来的致命暗礁彻底一无所知，谁也拿不出铁证去反驳他们关于『未来必定一片大好、万事皆能轻松搞定』的盲目狂想。
38。在我看来，当今所谓的『AI 安全』学术界，在正面攻克其背后的终极致命难题上，其实际产出完全接近于零。这些终极难题在客观上早已超出了该领域的实际能力边界；当代 AI 安全学术圈经过长期的逆向淘汰，沉淀下来的全都是无论如何都要在这个领域谋求教职与经费的人。他们中的绝大多数人之所以盘踞于此，仅仅是为了挑选那些「看起来容易做出成果、并能量产论文宣称胜利」的皮毛课题；既然只要这么做就能名利双收、拿到大笔科研资助，他们凭什么要去涉足那些令人极度沮丧、注定会遭遇惨败的真正硬核死结，仅仅为了让人类物种死得稍微更有尊严一点吗？这个领域目前根本没有取得任何实质性的真正进展，甚至从底层就缺失了一套能够甄别「什么是真正进展」的价值评估函数。你就算向这个领域疯狂注资十亿美元，其最终产出的也绝大多数是刺耳的学术噪音，反而会彻底淹没极少数人在隐秘角落里所取得的微茫火种。
39。我是基于空字符串（Null String）作为原始输入，从零推导出这一切的；坦白讲，对于那些此前整天坐等别人把现成论证嚼碎了喂进脑子里的人，我自己实在无法对他们未来能做出真正硬核的对齐突破抱有任何指望。这种「在没有 Eliezer Yudkowsky 扯着嗓子与你疯狂辩论的前提下，能够自发洞察到系统底层致命隐患」的认知机制，目前对我而言依然是一个高度不透明的黑盒，我根本不知道该如何将其训练并迁移给其他人。它大概与骨子里的「安全思维模式」深度交织，源于一种坚决拒绝配合社会既定虚伪剧本演出的精神抗力，以及在彻底混乱无序的前沿疆域中从容开辟道路的非凡心智。
40。那些在反馈周期极其紧密、成果优劣立竿见影的传统学术领域里斩获显赫勋章、被全社会公认为「天才」的人物：(a) 往往根本没有能力在缺乏即时紧密反馈的蛮荒迷雾中产出同等伟大的成果；(b) 他们当初之所以选择那些领域，正是因为在那里他们的天才能够被体制清晰明了地度量和奖赏，哪怕那根本不是人类物种最迫切需要天才救命的地方；(c) 他们极大概率缺乏那种穿透迷雾的神秘认知齿轮，原因很简单——这种心智在全人类基因库中都极度罕见。你绝不可能仅仅靠给一帮来自其他领域的显赫天才每人开出 500 万美元的支票，就指望他们能为你变出划时代的 AGI 对齐突破。他们根本不知道真正的致命暗礁潜伏在何处，他们根本无法理解真正需要攻克的是什么，他们甚至从根本上无法分辨一项对齐工作的优劣好坏；而那些手握重金的资助者们，一旦脱离了我站在他们身后替他们逐行逐字审核把关，同样也是睁眼瞎——而我目前的身体机能已经完全没有体力去支撑这种全局把关了。我承认，真正的高潜能顶尖奇才（特别是那些年仅二十出头、怀抱纯粹热爱、且已通读核心文献的年轻人），确实比大街上随便拉来的路人有高得多的概率做出核心奠基性贡献。但相比之下，我抱有更多希望的策略是（尽管这种希望依然微乎其微，但至少稍微多一点）：(a) 建立一个极具公信力的高额追溯性悬赏机制，向任何切实做出真正重大成果的人事后兑现巨额赏金；(b) 谨慎地向前瞻性预测可能在未来产出重大成果的极少数幼苗下注早期风险资助。
41。光是把本文档读完，绝不可能把任何人武装成一名核心对齐研究员。成为合格的研究者，需要的绝不是在阅读本文档时频频点头赞同的能力，而是在没有任何人引导提示的前提下，能够自发从零写出这份文档的原创能力——唯有具备这种能力的人，才有资格被称为作者的真正同侪。我敢断言，我眼下的许多具体分析中必然存在瑕疵和误判，尽管这些误判绝不一定导向更乐观的结局。然而，能够通过严谨的底层研究去独立洞察并修正这些漏洞的核心能力，与在本文发布之前凭借一己之力将其完整写出的能力，在本质上是完全同构的；然而在过去整整五年里，尽管我自身精力早已被其他杂事严重分散，整个世界却没有任何一个人能够抢先写出这份清单。这片可怕的死寂，或许可以被极度乐观地解释为：该领域除我之外的所有人都不具备清晰明了的写作能力——即世界上其实有人早已参透了这一切，只是由于拙于笔耕才没有诉诸文字。但在残酷的现实面前，我对此完全不抱希望，尽管这或许是保留「正向模型违背（奇迹发生）」的唯一理论缝隙。事实是：在我孤身踏入这场死亡游戏的第二十一年、在其他有效利他主义者觉醒并意识到这场生死危机的第七年、甚至在社会大众都开始隐约感到不安的第二年，最终依然只能由我 Eliezer Yudkowsky 一个人坐在这里写下这份绝望的清单；这血淋淋地证明了——全人类在棋盘上依然只有可怜的一个棋子能够承担此任。我心里非常清楚，自己的身体状况早已无法支撑我继续扮演一位高产的领军学者；在健康进一步崩溃之前，我曾竭尽所能地试图培养出能够替代我的接班人，然而事与愿违，今天依然是我拖着病躯坐在这里敲下这些文字。这绝不是一个注定幸存的人类世界该有的模样。
42。人类根本没有任何全局应对计划。那些注定能够幸存的世界，发展到今天这个节点（乃至早在几十年前），早已制定出了一整套完备的存活行动纲领。那是一份白纸黑字的清晰计划。这份计划绝非见不得光的绝密。而在我们这个注定走向灭亡的世界上，放眼望去，现存的所有候选预案，无一例外都会在 Eliezer 指出其表面巨大漏洞的瞬间彻底灰飞烟灭。或者，如果你连 Eliezer 是谁都不知道，你甚至根本意识不到人类需要一份计划——毕竟，在没有 Eliezer 冲着所有人厉声咆哮的前提下，一个凡人怎么可能凭空意识到这种灭顶之灾？普通人绝不可能主动向内反思，对自己发出关于前瞻性对齐绝境的严厉警告，他们心智深处根本没有一套内在的警惕机制。因此，绝大多数机构根本没有任何计划，仅仅是因为我还没有腾出时间亲自上门对着他们厉声痛骂。「也许我们应该制定一份严肃的应对方案」所代表的对齐觉悟，已经远远超出了绝大多数人内心的认知极限——除非我像他们的守护天使一样时刻站在他们肩头苦苦哀求，而他们现实中给出的回应，依然是一如既往的阳奉阴违与麻木不仁。甚至极少有人意识到，为了在表面上装得更体面一些，他们至少应该炮制一份伪装的假计划，用来糊弄那些由于过于「谦逊自卑」而不敢相信自己直觉判断的有效利他主义者——这些 EA 面对权威人士口中明显漏洞百出的荒谬言论，甚至连当面质疑的勇气都没有。
43。当你放眼环顾周遭的世界时，眼前这幅景象绝非一个能够幸存的世界应有的姿态。那些能够在这场浩劫中幸存下来的人类文明，手中紧握着清晰严密的行动纲领。他们绝不会把主动揭示生死攸关致命隐患的全部历史重担，全盘压在一个疾病缠身、心力交瘁的疲惫学者一人肩上。在那些世界里，核心领袖们都在以极度严肃的自省态度，主动在自己的方案中掘地三尺排查致命漏洞，而不是把自己当成只管抛出廉价解决方案的甩手掌柜，并理所当然地把挑刺纠错的重担推给别人。那个世界早在几十年前就已经集结全人类的智慧，向这些至关重要的致命难题发起了全面总攻。在那个世界里，攻读弦理论的顶尖学者中有一半人主动转投 AGI 对齐领域，并在那里取得了不可磨灭的划时代突破。当有人提出某个未来可能会显现的行星级致命隐患时——在那些注定幸存的世界里，会有成百上千的学者自发提出此类警示，他们无需在该领域享有任何特权地位，因为这本就是那里的普通天才们的日常操守——他们得到的反馈，永远是一套详尽严密的解决方案，或是一套从物理底层证伪该隐患的硬核证明；而不是像我们这个世界一样，换来的仅仅是一个充满尴尬与抗拒的耸肩，以及一句轻飘飘的狡辩：「你凭什么确定这一定会发生？」/「你现在根本拿不出确凿证据，我们还是坐等以后的实验数据吧。」
那些更优秀的平行世界中的绝大多数，最终依然难逃灭绝的宿命。因为要在第一次生死攸关的尝试中彻底攻克这种级别的天堑，本身就是近乎不可能的宇宙级绝境。但至少，他们会死得比我们体面得多，死得更有尊严。
Thoughts Memo 汉化组译制
感谢主要译者 gemini-3.7-flash，校对 Jarrett Ye
原文：AGI Ruin: A List of Lethalities — LessWrong
作者：Eliezer Yudkowsky
2022 年 6 月 6 日 AI 对齐论坛
评审：Ben Pace