优化与智能爆炸

在我尚未深入讨论的主题中，有一个便是「优化过程」的概念。粗略地说，它指的是：心智的力量，在于它能在巨大的搜索空间中命中微小目标。这个空间指的可以是未来的可能性（即规划的能力），也可以是设计的可能性（即发明的能力）。

假设你有一辆汽车，且我们已知你的偏好涉及出行。现在，假设你把车里的所有零件，甚至所有原子，都拆开并随机打乱。你最终得到的，几乎不可能还是某种出行工具，哪怕只是一辆带轮子的手推车都很难，更不用说像原本那辆汽车那样在你偏好排序中位居高位的出行工具了。因此，相对于你的偏好排序，汽车是一种极其不可能出现的产物。而优化过程的力量，就在于它能产出这种「不可能性」。

你可以把智能与自然选择^[1]都看作优化的特例：它们都是在巨大的搜索空间里命中极小目标的过程，而这些目标由隐含偏好所定义。自然选择偏好更高效的复制者，人类智能则拥有更复杂的偏好^[2]。无论进化还是人类都没有一致的效用函数，因此，把它们视为「优化过程」只是一种近似。我们试图理解的是它们「完成的工作类型」，而不是声称人类或进化能完美地完成这些工作。

这就是我看待生命与智能故事的方式——一个通过优化过程产出不太可能的优秀设计的故事。这里的「不太可能」，是相对于从设计空间里随机抽取的概率而言的，而不是绝对意义上的不太可能——如果存在一个优化过程，那么「不太可能」的优秀设计就会变得很有可能。

回顾迄今为止地球上的优化史，第一步，是在概念上将元层面与对象层面区分开来——将「优化的结构」与「被优化之物」区分开来。

如果你考虑没有人科动物存在的生物界，那么在对象层级，我们有恐龙、蝴蝶、猫之类的生物；在元层级，我们有有性重组、无性种群的自然选择之类的机制。你会发现，对象层级要比元层级复杂得多。自然选择并非一个简单的课题，而且它涉及数学。但如果你去观察一整只猫的解剖结构，就会发现猫的动态复杂性远非「突变、重组、繁殖」这几个词所能比拟。

这并不令人意外。自然选择是一个偶然的优化过程，本质上只是在某一天、某个潮汐池里偶然开始发生的。而一只猫，则是数百万年乃至数十亿年进化的对象。

当然，猫有大脑，它会在猫的一生中运转以实现学习；但当猫的生命结束时，这些信息就被丢弃了，并不会累积起来。因此，猫的大脑作为优化器对世界产生的累积效应^[3]相对很小。

或者想想蜜蜂的大脑，或者海狸的大脑。蜜蜂会建造蜂巢，海狸会筑坝；但它们并不是从零开始想出如何建造的这些东西的。海狸想不出如何建蜂巢，蜜蜂也想不出如何筑坝。

因此，直到不久之前，动物的大脑都不是地球这场优化游戏中的主要玩家；它们是棋子，而不是棋手。相较于进化，大脑既缺乏优化能力的通用性（它们无法产出进化所产出的那种范围惊人的造物），也缺乏优化能力的累积性（它们的产物不会随时间累积出更高的复杂度）。关于这个主题的更多讨论，见 《蛋白质强化与 DNA 后果主义》。

但就在最近，某些动物的大脑开始同时展现出优化能力的通用性（在自然选择几乎来不及发挥任何显著作用的时间尺度里，产出范围惊人的造物）与优化能力的累积性（通过语言与文字传递的技能，产生出复杂度不断提高的造物）。

自然选择需要几百代才能做成任何一点事^[4]，而要从零开始产出复杂设计，则需数百万年。人类程序员却可以在一个下午里设计出一台包含上百个相互依赖部件的复杂机器。这并不令人意外，因为自然选择是一种某一天偶然开始发生的优化过程；而人类则是自然选择在数百万年中亲手打造出来的、经过优化的优化器。

进化的奇迹，不在于它运作得有多好，而在于它未经优化竟然也能运作。这就是优化将自身引导进宇宙的方式——正如人们所预期的那样，它从一种极其低效的偶然优化过程开始。注意：这里说的不是偶然出现的第一个复制者，而是指偶然出现的第一个自然选择过程。要区分对象层面与元层面！

自从优化在宇宙中出现之初，自然选择与人类智能之间就一直保持着某种结构上的共性……

自然选择选择基因，但一般来说，基因并不会反过来去优化自然选择。有性重组的出现是这一规则的例外，细胞与 DNA 的出现也是例外。从进化生物学家围绕这些事件来组织整部地球生命史这一事实，你就可以看出它们的力量与稀有性。

但如果你退后一步，站在人类视角，像程序员那样思考，你就会发现，自然选择其实仍然没那么复杂。我们试试把不同基因捆绑在一起？我们试试把信息存储与运动机械分离开来？我们试试随机重组一组组基因？从绝对尺度来看，这些不过是任何聪明的黑客在思考系统架构的头十分钟里就能想到的好主意。

正因为自然选择起步时如此低效（作为一个完全偶然的过程），这些从复制者那里反向反馈回来的、复杂度远不及一只猫的结构的、少得可怜的元层面的改进，却足以塑造地球生命进化的各个纪元。

而在经历了这一切之后，自然选择仍然是个盲目而愚蠢的神。尽管有细胞与性，基因库仍然可能一路进化到灭绝^[5]。

当然，从某种意义上说，自然选择确实会自我反馈，因为每一种新适应都会开辟进一步适应的新路径，但这发生在对象层面。基因库的复杂性也会自我滋养——但这要归功于在后台运行的那个受保护的自然选择解释器，而这个解释器本身，并不会被物种进化所重写或改变。

同样地，人类发明了科学与技术，但我们尚未开始重写人类大脑自身那套受保护的结构。我们拥有前额叶、颞叶与小脑，就像最早的农业发明者一样。我们还没有开始对自身进行基因工程。在对象层级，科学滋养推动科学，每一个新发现都会为未来的新发现铺路——但这一切的发生都是在一个受保护的解释器，即人类大脑，在后台不受干扰地运行的前提之下。

我们有像科学这样的元层面发明，它们试图指导人类如何思考。但第一个发明贝叶斯定理的人并没有成为贝叶斯主义者；他们无法重写自己，既缺乏相应的知识，也缺乏相应的力量。我们在思维技艺上的重要创新，比如文字与科学，强大到足以塑造人类历史的进程。但它们在复杂度上无法与大脑本身匹敌，而它们对大脑的影响也相对浅表。

目前理性训练的最高水平，仍不足以把一个随便挑选的普通人变成阿尔伯特·爱因斯坦。这说明，与二十世纪写下的所有自我提升书籍相比，大脑设计中少数几个微小的奇特基因有多么强大的力量。

由于大脑在后台无形地持续运转，人们往往忽视它的贡献，把它视为理所当然。他们说起话来，好像一句简单的「用实验检验想法」的指令，或者 p < 0.05 的显著性规则，与整个人类大脑的贡献处于同一量级。你可以试着告诉黑猩猩用实验检验它们的想法，看看你能走多远。

现在……我们当中有些人想要智能地设计一种智能：它不仅能智能地重新设计自己，而且能一直深入到机器码的层面。

起初，机器码会是某种受保护层面，之后，物理定律也会在某种意义上成为受保护层面。但这些「受保护的层面」并不包含优化的动态机制，即受保护的层面并不会组织实际的优化工作。相反，人类大脑会自行做出不少优化，也会自行出错，无论它在学校里受到了怎样的教育。而这种「全环绕递归优化器」不会有任何受保护的层面在持续运行优化。优化结构的每一个部分，都将成为被优化的对象。

这是一个划时代的变化，它打破了自第一个复制者以来的全部历史，因为它打破了「受保护的元层面」这一惯例。

迄今为止，地球历史一直是一部优化器以恒定速率运转、产生恒定优化压力的历史。同时，它们创造出的优化产物并不是以恒定速率出现的，而是以加速的方式出现的，因为对象层面的创新会为其他对象层面的创新开辟道路。但这种加速，发生在一个受保护的元层面实际执行优化的情况下。它就像一次搜索，在搜索空间里从一个岛跳到另一个岛，而好岛往往邻近更好的岛，但跳跃者并不会改变自己的双腿。偶尔，少数极小的变化能够反向作用于元层面，比如性或科学，于是优化史进入一个新纪元，从那以后，一切都变得更快。

设想一个没有投资的经济，一所没有语言的大学，一种没有制造工具所需工具的技术。每隔一亿年，或者每隔几百年，才有人发明一把锤子。

这就是迄今为止地球上的优化大致呈现出的样子。

当我审视地球的历史时，我看到的不是一部「随时间推进的优化史」。我看到的是「输入的优化能力」和「输出的优化产物」。迄今为止，多亏元层面几乎完全受保护，我们才得以把优化史切分成若干纪元（epoch），并且在每一个纪元内部，绘制出对象层面的累积优化随时间变化的曲线——因为受保护的层面在后台运行，在一个纪元内它本身并不会变化。

如果你构建出一个全环绕的、能够递归自我改进的 AI时，会发生什么呢？那时，你便将「输入的优化能力，输出的优化产物」这张图，折叠在了自身之上，打个比方来说的话。

如果这个 AI 很弱，它就什么也做不了，因为它的能力不足以显著改进自己——就像让黑猩猩去重写自己的大脑。

但如果这个 AI 足够强，能够以提高自身进一步改进能力的方式来重写自己，并且这种能力一路深入到 AI 对自身源代码以及作为优化器的设计的完整理解……那么，即便「输入的优化能力」和「输出的优化产物」这张图看起来基本不变，优化随时间变化的曲线也将与迄今为止的地球历史截然不同。

人们常会说类似这样的话：「但如果自我重写需要指数级更多的工作量，却只能带来线性的提升呢？」对此，一个显而易见的回答是：「自然选择在孕育出人类的过程中，对人科谱系施加的大致是恒定的优化力量；而每获得一个线性增量的改进，似乎并不需要指数级更多的时间。」

但这一切仍只是类比推理。一个完整的通用人工智能（AGI），思考优化的本质，开展自身的 AI 研究，并重写自己的源代码，并不真的像把地球历史的图表折回到自身。它是一种完全不同的存在。这些类比最多也就用于定性预测，而即便如此，我还有大量尚未解释的其他信念，在告诉我该采用哪些类比，等等。

但如果你想知道，为什么我可能不愿把生物与经济增长随时间推进的图表，延伸到未来，延伸到一个以晶体管速度思考、发明自复制分子纳米工厂、并改进自身源代码的 AI 的所形成地平线之外，那么，这就是我的理由：你画错了图。你应该画的是「输入的优化能力」与「输出的优化产物」之间的关系，而不是优化产物与时间之间的关系。

上一篇：

下一篇：待翻译

Thoughts Memo汉化组译制
感谢主要译者 糖颗颗，校对 Jarrett Ye
原文：Optimization and the Intelligence Explosion

← 返回目录