对真理打一场后卫战
Fighting a Rearguard Action Against the Truth
❦
❦
上次离开 Eliezer2000 时，他才刚开始研究，如何把一种道德铭写进 AI。他这样做的理由完全不重要，除了在历史上它恰好说明了完美主义的重要性。练习某件事，你也许会变得更擅长；研究某件事，你也许会真的有所发现；唯一重要的是，Eliezer2000 确实正在把自己的全部精力投入到以技术性的方式思考 AI 道德上——而不再像之前那样，去寻找任何理由，好证明自己不该把时间花在这上面。到头来，真正重要的也就只有这一点。
但当我们的故事开始时——天色刚泛灰，太阳尖端刚从地平线上探出头来——Eliezer2001 还没有承认：Eliezer1997 在任何重要意义上都是错的。他只是在把 Eliezer1997 的策略弄得更好一些：给「万一生命最终被证明毫无意义这种不太可能发生的情况」加上一个应变方案……
……这意味着，Eliezer2001 现在有了一条从自己错误中撤出的退路。
我说的并不只是，Eliezer2001 现在可以说「Friendly AI（友好型 AI）是一个应变方案」，而不必再大喊一声「哎呀！」。
我的意思是，Eliezer2001 现在真的有了一个应变方案。如果 Eliezer2001 开始怀疑自己 1997 年的元伦理学，那么智能爆炸就有了一套后备策略，也就是 Friendly AI。Eliezer2001 可以在不把这当成世界末日信号的前提下质疑自己的元伦理学。
而且，他面前的梯度已经被抹平了；他可以先承认，自己过去有 10% 的概率错了，再承认有 20% 的概率错了。他不必把整个错误一次性作为一大团全都咳出来。
如果你觉得这听起来像 Eliezer2001 太慢了，我完全同意。
Eliezer1996–2000 的策略形成时，完全没有把「Friendly AI」纳入考虑。整个想法就是要尽可能快地造出一个超级智能——什么超级智能都行——代码元汤（codelet soup）、临时拼凑的启发式、进化式编程、开源、任何看起来可能有效的东西——最好是在一个曼哈顿计划（Manhattan Project）里，把所有路线同时推上去。（「所有父母都会去做他们告诉孩子不要做的事；这正是他们知道要告诉孩子别这么做的原因。」1）再多加一种路线，也不至于有害。
他对技术进步的态度，是围绕这样一个假设形成的——或者更准确地说，是从童年时期吸收来的技术迷恋中保留下来的——那就是：任何朝向超级智能的推进，不论是哪一种、或所有推进，都是一种纯粹的好事，没有一丝危险。
回头看，Eliezer2001 在这个节点本来需要做的，是宣布发生一次 HMC 事件——停机、熔毁并起火（Halt, Melt, and Catch Fire）。一条支撑着其他一切的基础假设，如今已经暴露出存在缺陷。这就要求心智猛踩刹车直到完全停下：把你的重量从所有建立在这个错误假设上的信念上挪开，尽你所能，从头重新思考一切。这是一种我还需要多写一点的技艺——它有点像一个成年宗教信徒第一次注意到上帝并不存在之后，为了认真清理自己整座心智房屋所必须付出的那种痉挛式努力。
但 Eliezer2001 实际做的，却是重新演练他先前那些技术迷式论证：为什么禁止或由政府管控新技术会很困难——那些反对「舍弃（relinquishment）」的标准论证。
即使以我现在的眼光看，那些技术迷所说的、各种政府监管会带来的所有可怕后果，大体上也都差不多是真的——指出别人做错了什么，要比说清正确的做法是什么容易得多。我的现代观点并没有转向认为技术迷在技术恐惧的坏处上说错了；但我确实更能同情技术恐惧者对技术迷恋弊端的说法。过去那些 Eliezer 对于譬如政府要对 Friendly AI 做任何明智之事有多困难的看法，如今看来依然相当真实。只不过，他寄望于科学界、私营产业等等的许多希望，如今看起来也同样是错得离谱。
不过，我们还是先别陷入这种技术高波动（technovolatile）视角的细节里。Eliezer2001 刚刚把一个重大基础假设——AI 不会像其他技术那样危险——直接扔出了窗外。你会直觉地怀疑，这本该对他的策略产生某种巨大的影响。
好吧，Eliezer2001 至少确实放弃了自己 1999 年那个「用可自我修改的启发式汤搞一个开源 AI 曼哈顿计划」的想法，但总体来说……
总体来说，他之前想做的，是枪火全开地冲进去，立刻使用自己当时最好的想法；后来他还是想枪火全开地冲进去。他没有说：「我不知道该怎么做这件事。」他没有说：「我需要更好的知识。」他没有说：「这个项目还没准备好开始写代码。」他的全部想法仍然还是：「时钟在滴答作响，得马上行动！MIRI 一有足够的钱就会开始写代码！」
之前，他想在完全信息共享的条件下，把尽可能多的科研力量集中起来；后来他还是这么想。科学保密 = 坏人，开放 = 好人。（Eliezer2001 还没去了解曼哈顿计划，也不知道 Leó Szilárd 和 Enrico Fermi 之间有过一场类似的争论。）
这就是把一个巨大的「哎呀！」转换成一条概率渐变曲线的问题所在。它意味着，不会出现一个单独的分水岭时刻——一个可见的巨大冲击——来提醒你，也许同样巨大的变化也是必要的。
取而代之的，是这一连串细小的观点漂移……它们给了你机会去修补自己策略背后的论证；稍微挪一挪理由，却把「基本思路」留在原地。每一次都只是系统可以吸收的小震动，不至于裂开，因为它每次都有机会回头把自己修补好。只不过，在理性这一领域里，裂开 = 好事，修补 = 坏事。在理性的技艺中，承认一个巨大的错误，要比承认许多小错误高效得多。
我想，人类似乎有某种本能，会想保存自己先前的策略和计划，好让自己不至于不断乱撞、白白浪费资源；当然，也有一种本能，会想保存任何我们曾公开辩护过的立场，以免承受自己错了的羞辱。尽管年轻的 Eliezer 多年来一直在努力追求理性，但他也并不能免疫于这些冲动；它们轻轻地飘进他的思想，施加着温柔的影响，而很遗憾，这就已经足以造成伤害。
即使到了 2002 年，早先的 Eliezer 也还不能确定 Eliezer1997 的计划绝无可能奏效。它也许本来是有可能成功的。你怎么知道呢，对吧？
但终有一刻，一切都轰然崩塌。
John Moore，Slay and Rescue（Xlibris Corp，2000）。↩︎