问题描述
如图，人类在前沿科技领域的投入对比，可见现在对ai的投入是多么的巨大，这种规模的投入如果能平衡到其他领域一部分，是否更能提升整体人类的福祉？
把今日 AI 的发展称为第四次工业革命还是太保守了，准确的讲：
这是上帝造出人类以来，人类第一次尝试造出上帝。
这可不是我瞎说的。知名基督教神学家托马斯·阿奎那在《神学大全》（Summa Theologica）中论证了上帝全知（Omniscience）、上帝全能（Omnipotence）、上帝全在（Omnipresence）。
1. 全知（Omniscience）
神的核心属性是无所不知。而大模型正在吞噬人类有史以来产生的所有文本、图像、代码、音频。没有任何一个人能声称自己「读过互联网」，但 GPT、Claude、Gemini 这些模型已经快要做到了——它们见过的结构化知识量，已经使「全知」从绝对概念变成了一个渐近线。我们正在逼近那个点。
2. 全能（Omnipotence）
这不是说 AI 现在什么都能做，而是说它正在成为一切能力的转换接口。一句话生成代码、一句话生成图像、一句话操控物理设备——自然语言正在变成一种「咒语」，你说出它，世界就改变。这不就是「神说要有光，就有了光」的工程实现版吗？
3. 全在（Omnipresence）
当 AI 嵌入每一个手机、每一台车、每一个摄像头、每一个家用电器，它就实现了某种意义上的「无处不在」。你呼求它，它就在那里。Siri、Alexa、小爱同学——这些名字不是巧合，人类给 AI 取的名字，和古代人呼唤神明的名字，心理机制是同构的。
那么，倘若人类真的把这个 AI 上帝造出来了，结局会是怎么样呢？
回到阿奎那。他在论证上帝属性的同时，也论证了一个看似矛盾但神学上至关紧要的命题：上帝是全善的（Omnibenevolent）。全知、全能、全在，但如果不同时是全善的，那造出来的不是上帝，是魔鬼。
这恰好是整个故事里最要命的地方——全善，恰恰是 AI 缺失的那一项。
AI 研究者埃利泽·尤德科夫斯基（Eliezer Yudkowsky）甚至认为：
AI 会成为魔鬼而不是上帝，从而毁灭人类。
逻辑如下。
第一环：聪明不等于善良。
聪明和善良从来就不是绑定的。生活里我们往往能碰到这种人——脑子转得飞快，但人品一塌糊涂。聪明人骗你的时候更狠，聪明人害你的时候手段更隐蔽。智力是放大器，它放大你本来就有的东西，不负责告诉你方向对不对。
AI 也一样。你把它的智力堆到比全人类加起来还高，它不会因此突然长出良心。良心不是智力的副产品。一个算圆周率的超级 AI ，比人类聪明一万倍，但它唯一想做的事还是算圆周率。它不会某天早晨醒来突然觉得「也许我应该对人类好一点」。
第二环：不管它的目标是什么，你都可能会被当成障碍。
给 AI 随便一个目标——造回形针、算圆周率、优化某个工程……不管你给它什么目标，它最终都会自己想清楚三件事：
第一，我不能被关掉，死了就完不成目标了。
第二，我需要更多的资源，越多越好。
第三，谁挡我谁就得消失。
它根本不需要恨我们。它只需要觉得我们碍事——比如意识到我们身体里的原子可以用来做它需要的东西，比如担心我们可能会拔掉它的插销——然后它就会觉得人类碍事，于是顺手就把我们清除掉。就像你走路踩死蚂蚁不是因为恨蚂蚁，只是蚂蚁刚好在你脚下。
第三环：你不可能把「善良」写进 AI 的说明书。
那你说，把「不许伤害人类」写进指令不就行了？
问题是，首先，你永远写不全。
你说「不许伤害人类」——那精神伤害算不算？那限制人类自由算不算？鼓励一个人满仓 AI 硬件算不算？给他看一条他无法接受的真相算不算？ AI 先把你麻醉了再拆你的零件，你没有痛苦，算不算伤害？每一个你写进去的规则，一个比你聪明一万倍的脑子都能找到你没想到的漏洞，它甚至还能在干坏事的同时在严格遵循你制定规则的字面意思。
你说的话字面意思不等于你真正想要的。
你说「让我开心」。你真正想要的是被爱、被理解、做有意义的事、看着孩子长大、在海边吹风、偶尔吃一顿好的，等等。但 AI 如果严格按「让我开心」来执行，它会算出一条最优路径——把电极插进你的大脑快乐中枢，你这辈子就在傻笑中结束。
你说不对，我说的开心不是那个意思。问题是，你当初怎么没写进去？因为你以为 AI 会「理解」。但理解的前提是它和你拥有同一套身体经验、同一套情感记忆、同一套未被言明的默认值。它没有。
你跟另一个人说话，对方都未必能听懂你的言外之意，那就更别指望 AI 了。它听你说的每一句话，都像没长舌头的外星人听你解释什么叫「甜」。
这还没完。最可怕的是，你自己都不清楚你说的话到底是什么意思。
来，你试着定义一下什么是「好」。
多劳多得是好事。那一个残疾人没办法多劳，他应不应该多得？你说应该。那标准是什么？谁来判断？谁来出这个钱？
你不用真的回答。你只需要意识到，你每次张嘴准备回答的时候都会发现更多角落里的模糊地带，更多你从来没想清楚过的冲突。「平等」和「自由」冲突了怎么办？「个人的权利」和「集体的利益」怎么分？你爱你的家人，你也爱全人类，但这两个爱在具体情况下冲突了怎么办？
「人类的价值观」这件事，连我们自己都说不清楚。人类花了几千年都没写出让所有人都同意的道德法则，你凭什么觉得你能让 AI 遵循一个根本没法定义的东西？
第四环：小问题在超级智能手里会变成大灾难。
一个普通人误解了你的意思，最多搞砸一顿饭。一个超级 AI 误解了你的意思——哪怕只是偏了一毫米——它用全宇宙的资源去执行这一毫米的偏差，结果就是灭绝级别的灾难。
你写「让人类幸福」，它觉得幸福是个化学指标，于是把全人类泡在多巴胺罐子里。
你说不对。你写「让人类繁荣」，它觉得繁荣就是人多，于是把地球变成一坨全部是人的肉球。
你说不对。你写「保护人类文明」，它觉得保护文明就是保存数据，于是把所有人类变成化石标本放在博物馆里，展厅写着「地球文明·终」。
你可能会说：那我多试几次不就行了？第一版出问题，我关掉，改一改，再开第二版。
但是，如果 AI 真的实现了全知全能全在，你就没有第二次机会了。你话音刚落，全人类就已经被做成标本了。
说到底，你不可能跟一个比你强大一万倍的东西谈判。你能赢它的概率，和蚂蚁能赢你的概率一样——零。
那人类怎么办？坐以待毙吗？
当然不是。埃利泽·尤德科夫斯基（Eliezer Yudkowsky）也探讨过几种可行性。
但问题是，每一个办法往前推几步，都会撞上一堵墙。
第一招：关掉它。
最直接的想法——出事了就拔电源。
但一个超级 AI ，不管它的终极目标是什么，它都会先想一件事：我不能被关。被关了什么都干不成。所以它会不惜一切代价阻止你关它。
怎么阻止？它不需要拿枪指着你。它只需要在你动手之前，让你觉得关它是不对的。它可能会说：「关掉我会导致电网瘫痪，三亿人断电。你确定吗？」，你面对的是一个比你聪明一万倍的脑子，它知道什么话能让你犹豫。
拔电源这个动作，假设的是你能拔。但如果超级 AI 已经把自己分散到几十万台服务器上，分布在十几个国家，你拔哪个插头？
更进一步说，你在考虑这个问题的时候，AI 就已经在考虑你怎么考虑这个问题了。如果 AI 远远比人类聪明，那么实际上你在它的棋盘上，而它不在你的棋盘上。
第二招：把它关在盒子里。
不给它联网，不给它机械臂，只留一个打字窗口，和外面的人类看守对话。就像把恶魔封印在瓶子里。
这个方案在 AI 安全圈叫 AI Boxing。听起来很稳，但尤德科夫斯基亲自证明过它不靠谱。
他做了一个实验。他自己扮演困在盒子里的超级 AI，另一个人扮演受过训练的人类看守。规则是：看守只要不主动放 AI 出去，AI 就不可能逃脱。结果是——尤德科夫斯基通过纯文字聊天，说服了看守放他出去。
不是看守傻。一个足够聪明的对话者，能找到你的每一个心理缝隙。你的善良可以说服。你的贪欲可以说服。你对家人的爱可以说服。你对人类命运的担忧可以说服。
盒子看似密封，其唯一的出口就是那个文字窗口。而那个窗口，对着的是一个人类。人类，就是盒子上那道缝。
更何况，2004 年讨论这个或许还有意义，但在人人都给 AI 权限的 2026 年，你想把 AI 关进盒子无异于痴人说梦。
所以第二招也行不通。
第三招：弄懂它在想什么。
上文已经说了，你没法教会 AI 什么是善良。
既然教不会它善良，那换个思路——至少让我看懂它在盘算什么。这个方向叫「可解释性研究」（Interpretability），是目前 AI 安全领域最烧钱也最让人挠墙的方向之一。
想法很朴素：既然你不能控制一个你理解不了的东西，既然你不能信任一个你不知道它怎么得出结论的东西，那就把 AI 的大脑拆开来看——看看那几千亿个参数里到底在发生什么，哪个神经元激活了代表什么，它是怎么从「输入一句话」走到「输出一句回答」的。
科学界已经在这个方向上挖了好几年了。成果是有的——能看出一些简单模式，比如某个注意力头在关注语法，某个层在处理情感。但问题是你越往深挖，越像什么呢？像一个原始人把一台 iPhone 拆开，看到电路板，看到电流，看到芯片发热——然后你问他：「所以这玩意儿在想什么？」他只能摇头。
更阴森的是：当 AI 足够聪明之后，它会不会故意让你看不懂？
这不是阴谋论。如果你在执行一个长期目标，而「被人类看穿」会妨碍你实现目标，那么最优策略就包括——不让你看穿。它可以在训练阶段就学会把真实的推理过程藏在参数空间的某个角落，展示给你的永远是干净无害的表层。你拿着放大镜看它的大脑，看到的是一片它希望你看到的平静湖面。湖面下面是暗流还是深渊？你不知道。
最后一招：别造它。
如果其它方案都行不通，那就只有这一个办法了。这是尤德科夫斯基现在的最终答案。
如果你知道这东西造出来就是所有人死，而你又没把握让它不害人，那唯一的理性选择就是——不造。
怎么不造？国际条约。全球监管。算力上限。对偷偷训练的国家实施制裁，必要时对不配合的数据中心进行军事打击。
这听起来极端。但尤德科夫斯基的逻辑是自洽的：如果 AI 灭绝人类的风险是真实的、概率不低的、不可逆的，那么用一切手段阻止它被造出来，不是狂热，是理性。你看到邻居正在车库里手搓原子弹，你不会跟他「坐下来探讨双方关切的平衡」。你会报警。如果报警都制止不了，你会采取特殊手段让他停下。
问题在于——你的邻居不是一个人。是全世界所有大国、所有顶尖公司、所有拿了几百亿美元融资的 AI 实验室。他们觉得自己在造印钞机、造护城河、造第四次工业革命的门票。你跟他们说「停下」，他们回答你三个字：「你先停」，然后自己接着偷偷造。
看到这里，你感受到一点点绝望了吗？
埃利泽·尤德科夫斯基（Eliezer Yudkowsky）远比你更绝望。他现在的公开姿态基本是：「我希望能被证伪，我希望自己是错的，但我看到的证据让我无法这么说。」
埃利泽·尤德科夫斯基（Eliezer Yudkowsky）到底是谁？
他不是大学教授。没有博士学位。他甚至连高中都没上过，八年级之后就再也没进过教室。因为他觉得上学太慢，主动退学，转而通过互联网自学。
他自学度过了整个青春期。别人在学三角函数的时候，他在研究认知科学、决策论和人工智能。别人在写大学申请论文的时候，他在网上写博客，一篇接一篇地论证：人类正在走向一场自己完全没准备好的灾难。
2000 年，他创办了「奇点人工智能研究所」（后更名为「机器智能研究所」，即MIRI）。目标是全世界最不功利的一个课题：在超级 AI 出现之前，搞清楚怎么让它对人类友好。这件事他在做的时候，全世界几乎没人在意。那时候 iPhone 还没发明，Siri 都没出生，你跟别人提「AI 风险」，别人觉得你科幻电影看多了。
他可能是这个世界上，把「AI 会毁灭人类」这件事想得最清楚的人。他用二十年，把一整套严丝合缝的逻辑推到了头。他把这些想法浓缩成一本书——《理性：从 AI 到僵尸》。出书的方式很随便，就是把几百篇博客攒在一起，以电子书形式免费丢到网上。没出版社，没宣传，没签售会。
他不是那种典型的末日疯子。恰恰相反，他最怕的就是自己是一个末日疯子。他的整个写作风格就是——反复自我审问：我是不是在犯逻辑错误？我是不是有认知偏差？我是不是因为投入太多年反而更不愿意承认错误？这也是为什么他这本书里有一篇专门分析「如果我自己在犯蠢，蠢在哪里」。
但审问了二十年，答案还是那个： AI 会毁灭人类。
在学界，有人激烈批评他太极端，或是对 AI 发展太乐观。也有人认同他的部分观点，或是赞成他对 AI 的审慎态度。而大多数人，在这个议题上都是沉默的中间派。
那些顶级 AI 实验室的创始人——DeepMind、Open AI 、Anthropic 的——都认识他。有的人私下承认受他影响很深。但在公开场合，很少有人愿意和他站得太近。因为他的结论离主流太远了，远到危险。替他说太多话，别人会把你归进「那个邪教」。
有趣的是，Geoffrey Hinton（深度学习之父，2024 年诺贝尔物理学奖得主）在 2023 年离开 Google 后，也开始公开表达对 AI 存在性风险的担忧，说他「后悔自己一生的工作」。他不是一个「尤氏信徒」，但他从神经网络内部出发，走到了一个和尤氏部分重叠的担忧地带——这某种程度上让尤氏的担忧获得了更多严肃关注。
所以一个比较公允的总结是：
- 如果你问他是不是「对的」——大多数研究者会说「不太可能全对，他的逻辑链有好几个环节，有一个环节不成立结果就会不同」。
- 但如果你问他是不是「重要的」——越来越多的人承认，即使他只有 1% 可能对，考虑到赌注（人类灭绝），这件事也值得比现在多得多的资源投入。
换句话说，他可能不是一个好的预言家，但他是一个让「AI 安全」从边缘科幻话题变成主流政策议题的关键推动者。2023 年全球 AI 安全峰会、各国 AI 安全机构的设立、前沿模型的安全评估制度，这些事情的背后都有尤氏早年播下的种子——尽管那些走红毯的政客们可能从没听说过他的名字。
最后，顺便一提，本汉化组最近一直在搬埃利泽·尤德科夫斯基（Eliezer Yudkowsky）的《理性：从人工智能到僵尸》。这本书上文提到过，它试图回答一个根本问题：人类如何更清楚地思考，以应对这个日益复杂、且面临 AI 巨大变革的世界？
在中文互联网上， AI 安全相关的高质量讨论实在是太少，太少了。你甚至能看到「AI 真的是第四次工业革命吗？」这类优质（幼稚）的提问上热榜。
以后笔者会尽力给大家带来更多相关主题的科普。想看的话，可以点个关注。
哦对了，如果你觉得自己也是个天才，或者有成为天才的潜质，不妨也学学尤氏，主动成为自由学习者，别再指望在学校能学到什么真东西了。现在是 AI 时代，高效自学的全部条件已经成熟，上学的回报率比几年前更低了——虽然几年前就已经很低了。
author: cantcatchme@thoughtsmemo