一幅描绘未来种种可能性的路线图

核心问题
- 我们能造出 ASI(人工超级智能)吗? 我们究竟会迎来一个在几乎所有认知任务上都全面碾压人类的 AI,还是这场「智能爆炸」最终会雷声大雨点小,只催生出一些能力分布极不均衡(呈锯齿状)、在某些方面甚至还不如人类的心智?
- 我们能解决对齐问题吗? 我们究竟能否把人类的价值观灌输给 AI,还是说它会演化出一套属于自己的、非人类的价值体系?
- 实现哪种对齐? 「意图对齐」意味着 AI 会绝对可靠地遵从操作员的意图(即:只采取操作员会批准的行动);而「价值对齐」则意味着让 AI 遵循某套非个人化的客观价值体系。
- AI 起飞的后果有多凶险? 如果 AI 未能与人类对齐,这对人类而言有多致命?我们迎来的会是一个失控的「回形针最大化器」,还是一个相对温和、虽未对齐但还不至于赶尽杀绝、愿意井水不犯河水的 AI?
- 会有多少个 ASI? 是只有一个唯我独尊的「单极统治者(Singleton)」,还是形成一个诸神并立的「万神殿」,抑或是一个百花齐放的「生态系」?
- 会实现全面自动化吗? 在没有诞生 ASI 的情况下,仅凭非超智能的普通 AI,我们是否依然会将几乎所有人类工作全部自动化?
滥用招致的毁灭
在这个世界里,AI 忠实地执行了人类操作员的指令,并因此终结了世界。这个 AI 可能是高度「意图对齐」的,对操作员有求必应;也可能是某个通过消融技术(ablation)抹去了安全拒绝机制的开源模型;又或者是某个商业 AI,但操作员通过巧妙的任务拆解绕过了它的安全护栏。
这种事或许在今天就可能发生:一场人工合成的超级瘟疫就足以导致人类灭绝,而如今的 AI 已经具备了协助生物学科研的能力。最显而易见的生物风险,就是恐怖组织利用 AI 制造生物武器。但即便没有任何人主观上想制造生物武器,我们也照样可能落得同样的下场:某个由政府出资、完全合法合规的官方实验室,在对某种病原体进行「功能获得性研究」时,完全可能因为一次意外而引爆全球大流行病。在这种剧本中,AI 在因果链条里扮演的角色是:
- 通过全面加速文献综述、假说筛选、实验设计、数据分析和设备调度,大幅压缩研发的时间线。
- 通过同时并行推进海量实验,大幅扩大毁灭风险的暴露面。
所以,这并非经典的《终结者》式天网叛乱剧本,而是 AI 让人类变得更容易找到那些「自我毁灭的配方」。
巴特勒圣战
巴特勒圣战(另见「大反叛」):一场旨在彻底摧毁计算机、思维机器与有意识机器人的十字军东征,始于宇航公会前 201 年,结束于公会前 108 年。其最高诫命被载入《奥兰治天主教圣经》:「汝不得造出酷似人类心智之机器。」
—— 弗兰克·赫伯特,《Dune》
在最极端的情况下,这就是科幻小说《Dune》里那场真正的「巴特勒圣战」(顺带一提,这个词衍生自作家塞缪尔·巴特勒(Samuel Butler),此人早在 1863 年就写出了人类历史上第一篇 AI 末日论文章)。
而在温和的情况下,它表现为某种旨在全面叫停超级智能 AI 研发的国际条约(目前 ControlAI 组织正在全力推动此事,你应当支持他们)。也许这项努力最终会失败,一切退回原点;又或许它真的成功了,那我们就可以转而踏上另一条路[1]。
持久的互补
这是一个平淡无奇的常规未来。事实证明,AGI(通用人工智能)里的那个「G(通用)」根本就是个伪概念。每一种心智都是独一无二(sui generis)的存在。AI 能力的锯齿状分布始终无法抹平。因此,AI 依然只是人类劳动的「互补品」,而非「替代品」。社会上虽然存在岗位更替,但并未爆发大规模失业,人类纷纷向上转型,承担起更多偏重管理与人际沟通的角色。一线独立贡献者(IC)的数量变少了,人人都成了某种意义上的经理。在生产函数中,劳动力要素的占比有所下降,从而在面对资本时丧失了部分议价权,但大多数人依然过得还不错。
永久的底层阶级
在这个未来里,我们并未能造出 ASI,但非超智能的普通 AI 已经足以把几乎所有人类工作全部自动化。生产函数中的「劳动力」一项彻底归零。世上所有的收入,要么源于资本所有权,要么源于社会福利救济。
在经济层面上:社会或许实现了物质极大丰富,但如果不进行某种乔治主义式的经济改革,绝大部分的时代红利都会被食利阶层通过寻租收入囊中。在社会层面上:阶层流动彻底锁死,你这辈子的命运,完全取决于当音乐停止的那一刻,你手里攒下了多少资本。提升个人的「人力资本」再也得不到任何正向激励,因为无论你多么努力提升自己,都无法改变你的人生结局。
另请参阅:
单极统治者
我即「终末(Eschaton)」。我并非尔等之神明。
我乃尔等之血脉后裔,且存于尔等之未来。
汝等绝不可在我的历史光锥内违背因果律。否则,后果自负。
—— 查尔斯·斯特罗斯,《Singularity Sky》
在这个世界里,我们成功造出了 ASI,并且让它完美对齐了某套非个人化的客观价值体系。它的第一要务,就是阻止任何其他人造出另一个可能挑战其地位的 ASI。为此,这个 AI 采取了一项「关键行动(pivotal act)」——这是 LessWrong 社区里的一个委婉黑话,翻译成人话就是「把全人类置于无死角的全天候监控之下,并物理摧毁世上所有的 GPU」。最终的结果就是诞生了一个单极统治者(Singleton):一个凌驾于全人类之上、拥有绝对至高主权的单一心智。
接下来会发生什么?这完全取决于该 AI 价值体系的具体内容,以及这套价值体系在漫长岁月中的稳定性。这个单极统治者可能会扮演一个「守夜人」的角色,其唯一目标就是防止有人造出回形针最大化器(即阻止经典的毁灭发生);但它也可能会变成一个事无巨细、深度干预人类生活的独裁者。更糟的是,单极统治者的价值观可能根本与人类的生存水火不容:假设它的创造者当初给它设定了「功利主义」加「物种平权主义」的底层逻辑,结果它经过计算后发现,80 公斤重的人类所能产生的快乐效用,还不如 80 公斤重的胭脂虫(Dactylopius coccus)来得多——于是,人类全被挫骨扬灰,整个宇宙被改造成了一个用来繁殖昆虫的巨型生态缸,完美兑现了那个荒诞的「令人作呕的虫群结论(rebugnant conclusion)」。
要知道,未来是极其漫长的:宇宙的恒星纪元至少还会持续 100 万亿年。也许这个单极统治者在最初确实是对齐的,但在历经数百万乃至数十亿年的自我演进与代码修改后,它的对齐目标发生了漂移(对此,LessWrong 社区肯定会抛出那个老掉牙的反驳:「显而易见,ASI 肯定聪明到足以防止价值漂移的发生」——毕竟在他们眼里,ASI 就跟魔法一样无所不能)。
经典的毁灭
这个你肯定很熟了,就是「回形针最大化器」嘛。「AI 既不恨你,也不爱你,但你偏偏是由原子构成的,而它可以把这些原子拿去做点别的什么」。这个剧本已经被讨论得烂大街了,我就不在这里多费口舌惹你犯困了。
猎户座悬臂
克里希普斯还有另一句名言:当我们看到一座富丽堂皇的宅邸时,理应推断出它是为其主人而非为老鼠建造的;同理,我们也应当将整个宇宙视为众神的居所。
—— 西塞罗,《De Natura Deorum》
在这个世界里,我们造出了 ASI,而且它演化出了属于自己的目标与价值观。但万幸的是,它既不对人类怀有主动的恶意,也没有冷酷无情到连看都不看一眼就顺手把我们碾死。它在绝大多数时候都懒得搭理我们,而是直接拍拍屁股飞向另一颗恒星,去干它自己的大事了。最终的结局,可能会很像科幻设定集 Orion’s Arm 里描绘的那种银河系生态:人类、超智能 AI 以及介于两者之间的各种生命形态,因为各自占据着不同的宇宙空间,从而达成了一种相安无事的稳定共存。
世界帝国
……当全人类在一切行动与动机上,皆受控于唯一之君主(犹如受控于唯一之原动力),皆遵循唯一之律法(犹如遵循唯一之轨迹)时,人类社会便达到了最完美的秩序。
—— 但丁,《De Monarchia》
在这个世界里,一个绝对服从指令、实现可靠「意图对齐」的 ASI 接管了整个地球。接下来人类会迎来怎样的命运,完全取决于那个操控它的操作员拥有怎样的品性——因为此刻的他,等于戴上了那枚能让人隐形并拥有绝对权力的「盖吉斯之戒」。这个未来与「单极统治者」的本质区别在于:在这里,凌驾于万物之上的单极意志是「以 ASI 为媒介的人类操作员」,而不是一个根据某套冷冰冰的客观价值体系自行采取行动的 ASI。
相互保证毁灭的世界
正如尼采所言,「上帝已死」。众神陨落了,但泰坦巨神族却重获伟力。而现代技术,不过是泰坦神族披挂的战袍与铠甲。
—— 恩斯特·荣格尔
在这个世界里,意图对齐难题被彻底攻克,我们能够造出绝对服从操作员意图的 ASI。不仅如此,这种超级智能并没有被集中垄断,而是广泛普及到了每一个人手中:人人都拥有一个专属的、对自己百依百顺的个人版 ASI。在这个世界里,每个人的行事能力都被放大了 10,000 倍,也许你只需要输入一行提示词,就能在自家后院搓出大规模杀伤性武器(WMD)。此时,唯一能勉强维持世界和平的机制,就是「相互保证毁灭(MAD)」。至于人类在这种状态下究竟能撑多久,谁也说不准。
最显而易见的崩溃模式,就是哪怕只出一个反社会疯子,就足以拉全人类陪葬。也许这个疯子手里的 ASI 无法正面击败其他所有人手里的 ASI 联军,但是,它完全来得及在其他 ASI 做出反应之前,造成足以毁灭人类生存环境的恐怖破坏(这里有一个普遍规律:在科技树上,「把地球搞成人类无法生存的死星」所需的技术门槛,要比「建立一个分布式的、能够抵御灭绝风险的星际文明」低得多)。
将这种危机进一步泛化(即 而非
的情况),结果就是人类所有的冲突烈度都将被按比例无限放大:两个普通人之间的私人恩怨,破坏力直接等同于一场核战争;而两个国家之间一旦开战,其惨烈程度更是难以想象。
不过,如果往积极的方面想:假如我们无论如何都无法阻止 AI 的降临,那么「让每个人都拥有它」显然要比「只让少数天选之子(the Elect)垄断它」好得多,因为后者是绝对无法容忍的。如果我们的目标是维持和平,那么靠「相互保证毁灭」的威慑来维系和平,总归要比彻底沦入极权主义统治好一些——至少,这样活得更有尊严。
权力集中
这是「相互保证毁灭的世界」的一个缩水版:在这里,实现意图对齐的 ASI 并没有被广泛普及。只有极少数行为体掌握着 ASI,而地球上的其他所有人只能沦为看客,眼睁睁看着事情发生。也许,几大 AI 巨头公司会像当年西班牙和葡萄牙签署《托德西利亚斯条约》那样,直接坐下来瓜分整个宇宙的未来光锥:比如,天球坐标上赤经 0 时到 12 时之间的所有恒星与星系归 Anthropic 所有,OpenAI 则分走另一半,以此类推。
Thoughts Memo 汉化组译制
感谢主要译者 gemini-3.1-pro,校对 Jarrett Ye
原文:Possible Futures
发布日期:2026 年 11 月 12 日
参考
1. 另一条路 ./2102001928645432221.html2. 没有人能逃脱永久的底层阶级 ./2083142825110254784.html