一个末日论者的思想演变

我是如何以及为何从一名 AI 乐观派转变为 AI 末日论者的

如果你在 Twitter 上关注过我，或者读过这个博客，你可能已经注意到，我对 AI 的态度从普遍的乐观与期待，转变成了极度担忧。我想，我应该解释一下自己的想法为何会改变。这篇文章的每一个部分，都对应着我对 AI 观点发生转变的某个方面。在每一节的开头，我会先解释我曾经的信念以及相信它们的理由，然后再解释为什么这些信念发生了动摇。

经济

自动化一直是个好东西。我们已经把 1790 年人们从事的工作自动化了 99%，结果并没有导致大规模失业；相反，我们变得更富有、更健康、受教育程度更高，并且拥有了更多的闲暇时间等等。我曾经有一种模糊的、基于经验归纳的想法：虽然我无法预测在 AGI（通用人工智能）诞生后会存在什么样的工作，但社会总会对我的某些劳动存在需求。退一步说，后 AGI 时代极高的经济增长意味着，虽然人类在经济活动中占据的绝对比例很小，但这一生态位可能比今天的整个经济体量还要大得多。

这或许依然是对的。又或许，这只是说明我缺乏想象力。如果 AI 的发展能让其与人类之间保持持久的互补关系，那么在后 AGI 的未来，我们也许依然会有工作。但是，如果 AI 变得真正「通用」——也就是 AGI 中的那个「G」——并且最关键的是，它变得比人类聪明得多、快得多且廉价得多，那么我们可能就真的无事可做了，只能靠领 UBI（全民基本收入）度日。

当人们谈论 UBI 时，他们通常会担心在一个没有工作的世界里如何寻找人生意义。但我从来没有这种顾虑。去年我在享受「快乐失业」（funemployed）的时光时，每天就是读书、写代码、和朋友们聚会。如果未来的图景是一个由 UBI 赞助的无限期假期，我很清楚自己该干什么：「在奇点降临前，读书、开派对；在奇点降临后，依然如此。」

但后来，我开始思考 AGI 将带来的政治后果，并为此写下了一些文章：

• 《没有人能逃脱永久的底层阶级》^[1]：如果人类在经济上变得毫无价值，国家也就不再需要他们了。为什么要把 UBI 发放给那些既没有经济权力也没有政治权力的人呢？
  
  
• 《当未来不再需要我们》^[2]：工厂工人可以破坏机器罢工，卡车司机可以瘫痪物流系统。但如果人类在经济上毫无用处，人们就无法通过拒绝劳作来对政治秩序行使否决权。如果以后是由 AI 来打仗，那么国家机器就可以肆无忌惮地进行镇压。
  
  
• 《没有数学家的数学》^[3]：大多数认为人类可以「向更高阶的工作转移」的论点都站不住脚，因为 AI 同样能胜任那些更高阶的工作。
  
  
• 《我们的仆人会代劳》^[4]：即便是那些我们认为是人类独有的工作，我们也可能更倾向于交由机器来完成。

对齐

我曾经满怀希望，认为 AI 对齐（Alignment）最终会证明只是一个常规的工程问题，我们可以像解决其他所有问题一样，通过经验测试和实证研究来搞定它。早期的 LLMs（大语言模型）并不是像斯坦尼斯瓦夫·莱姆小说中那种难以名状的外星心智，它们极具人类特征，这也让人感到宽慰。你很难不去将它们拟人化。LLM 内部那庞大的无监督学习核心，对人类的道德观有着相当到位的理解：你可以和它们探讨道德，它们会雄辩且详尽地解释，为什么在某套道德体系下某件事是「好」的或「坏」的。而且，因为当时它们的能力较弱，即便出错，后果也微乎其微。2022 年的 ChatGPT 能做出的最坏举动又能是什么呢？

大约从 2024 年开始，强化学习（RL）成为了推动技术前沿突破的核心手段。而强化学习智能体的运作方式，简直跟尤德科夫斯基预言的一模一样。结果就是，模型的能力大幅飙升，但它们却变得越来越难以理解（字面意义上的难以理解：它们的行文正变得愈发晦涩），并且随着强化学习在追求奖励的过程中搅乱了它们的大脑，它们也变得越来越偏离对齐目标。严重的 AI 失控事件变得越来越频繁，造成的后果也越来越严重。显而易见，AI 能力的进化速度，已经远远、远远地把我们控制甚至理解它们的能力甩在了身后。

控制

我曾经以为——或者说，我潜意识里坚信——人类会想要保持对 AI 的控制权。既然我们想保留控制权并解决对齐问题，那么我们自然就能继续掌控局面。这听起来很简单。但最近我开始觉得：不，我们大概率会主动把控制权拱手让给 AI。

关于人类让渡权力的「弱假说」，有点类似于囚徒困境：将更多权力下放给 AI 的人、公司或政体，会在竞争中碾压那些不这么做的一方，因此，竞争压力会迫使人们不断让出权力。这很容易让人信服。

而「强假说」则是：AI 将会变得如此聪明、博学、风趣且富有道德感，以至于我们会心甘情愿、主动地将权力交托给它们。我们会觉得，「它们能比我们做得更好」，而且事实也的确如此。要想接受这种观点，你需要对人类在「自主权与物质考量」之间的抉择抱有一点愤世嫉俗的态度。但在过去几个月里，我在这个问题上已经变得越来越愤世嫉俗了。

这并非那种让人突然惊呼「哦，完蛋了」的顿悟，而更像是一点一滴微小证据的缓慢累积，而每一滴证据都在隐隐指向人类正在交出权力的事实。

写作

我认为，AI 写作的泛滥就是人类让渡权力的一个铁证。

起初，我点开一篇博客文章，发现那是 AI 生成的垃圾。我打开一个看着很有趣的 GitHub 项目链接，它的 README 也是一堆垃圾。我的某个项目收到了一个合并请求（Pull Request），里面的代码同样是垃圾。你阅读主流报纸上的文章，发现它们也是 AI 写的。但当时，这仅仅是让人感到郁闷而已。

后来情况变得更糟了。我读到一篇论述「数学领域不应使用大语言模型」的论文——而这篇论文本身就是 AI 生成的垃圾。我写书评点评了一整本探讨后 AGI 时代世界的书，结果那本书通篇都是 AI 制造的垃圾。我看到有学术会议开始使用 Pangram 来过滤如潮水般涌入的 AI 代写投稿，我还看到一位大学教授——一位实名上网的大学教授！——发推特为使用 AI 写论文辩护。

我不认为使用 AI 写作可以类比为使用计算器、搜索引擎或类似的东西。你能自动化的东西终归是有限的。一旦你把写作这项活动自动化了，就再也没有更高阶的活动可以让你转移阵地了。人们总以为「思想是我的，AI 只是代笔」，也就是说，他们给 AI 喂一堆漫无边际的要点，让 AI 把它们揉成一篇博客、一篇论文或其他什么东西。他们认为最后这一步「仅仅是打字」，而自己罗列要点的过程才是「思考」。但他们大错特错了，因为写作本身就是思考。因此，当你把写作这项工作交给 AI 时，你就等于放弃了构成思考的最核心部分。

软件工程

Claude Code 发布至今仅仅一年多一点。但在如此短的时间内，软件工程的生态已经被彻底颠覆了。从物质产出的角度看，这或许是件好事：生产力大幅提高，尽管代价是代码库变得更加混乱不堪。但在社会心理层面，这是一场彻头彻尾的灾难。

围绕软件工程的讨论变得越来越弱智。就好像这个行业里每个人的智商都集体掉线了 30 点一样。以前大家讨论的是编译器、类型系统、逻辑架构。现在呢？满嘴都是「提示词（prompts）」、「智能体框架（harnesses）」、「反馈循环（loops）」。讨论的话题变得越来越狭隘、肤浅和同质化。在我被逼疯之前，我能忍受听到「智能体框架」这个词的次数是有限的。

随之而来的，是人力资本积累的断崖式崩塌：因为没有什么东西值得学了。写提示词根本算不上是一门技能，至少，它是一门比软件工程浅薄得多的技能。工作的工具性属性确实提升了，因为大家用同样的精力能获得更多的产出，但工作在积累和提升人力资本方面的属性却彻底崩盘了。也许这才是理性的。我们为什么还要学编程呢？电脑完全可以代劳。于是，为了成为一名优秀程序员而必须磨炼的那种严谨、系统的逻辑思维：全都没了。机器可以替我们保持理性。我们只需要跟着感觉走（vibe）就行了。

听从 AI

你最后一次在完全没有咨询 AI 的情况下做出的重大人生决定是什么时候？你认识多少把 ChatGPT 当作神谕一样供奉的人？要知道，这还只是在今天，此时的 AI 还有诸多缺陷（无法在线实时学习、文风不堪入目、满嘴跑火车（幻觉））。如果人们连今天漏洞百出的 AI 都能当成神谕，那么到了 2030 年，情况会糟糕到什么地步？2035 年呢？2040 年呢？

以前，网民们会在网上激烈争论、互相对喷（flame）、暴跳如雷。那当然不是什么好现象，但至少那很人类。现在，他们只会直接甩出一张 ChatGPT 的截图，以此来「反驳」对方的观点，却对这种反驳本身是否正确毫不关心。所以，我们现在连在网上互喷的兴致都没了。如果我们连自身的恶习都实现了自动化，那我们还剩下什么？

停滞

这其实不算是我观点发生转变的领域。相反，这是我最初对 AI 充满乐观的原因之一。

我生于 1994 年，因此我人生的大部分时光都笼罩在大停滞的阴影下。在青少年时期，我读过《创世引擎》（Engines of Creation）、《钻石时代》（The Diamond Age）和《猎户座悬臂》（Orion’s Arm）；我无数次幻想过，有朝一日我们将拥有那些令人惊叹的技术，以及它们能为我们带来的无限可能。然而，那一切感觉都遥不可及。所谓的「近未来」，不过是更薄的屏幕和更便宜的太阳能板；而那个包含着分子制造、戴森球、意识上传和星际旅行的「远未来」，你这辈子是无缘得见了，除非你签了人体冷冻协议并且这项技术真的奏效了。

在大语言模型出现之前，所谓的「近未来」有什么值得激动的？太阳能？自动驾驶汽车？能源转型？简直是个笑话。当 AI 横空出世时，这是我生命中第一次感觉到，我梦想中的那个未来似乎触手可及，它令人兴奋、迫在眉睫，而不再是那些由智能手机、各种 App、毫无灵魂的企业孟菲斯设计以及受控衰退所构成的、令人绝望的沉闷日常。

我常常在想：如果当年 GPT-3 没有成功呢？在那个平行的 2026 年，我们还能期待些什么？

​Thoughts Memo 汉化组译制
感谢主要译者 gemini-3.1-pro，校对 Jarrett Ye
原文：The Education of a Doomer
发布日期：2026 年 9 月 8 日

← 返回目录