我最好的也是最糟的错误
❦
❦
上一章里，我讲了年轻时的 Eliezer 围绕某种他称之为「智能」的东西所陷入的情感死亡螺旋。Eliezer1996，甚至就此而言 Eliezer1999，都会拒绝去尝试给它下一个数学定义——是有意识地、刻意地拒绝。事实上，他甚至会非常不情愿给「智能」下任何定义。
为什么？因为 AI 领域里有一个标准的偷梁换柱问题：你把「智能」定义成类似「逻辑推理」或者「在结论不再合适时撤回结论的能力」之类的东西，然后你造出一个廉价的定理证明器，或者一个特设的非单调推理器，再宣布：「看啊，我已经实现了智能！」人们给出了糟糕的智能定义——盯着相关表征而非核心——接着就去追逐自己写下的那个表面定义，把真正的智能忘在一边。Eliezer1996 又不是想在人工智能领域经营一番职业生涯。他只是想要一个真正能够造出纳米技术的心智。所以，他并没有动机为了给论文撑门面而重新定义智能。
如今回头看，在我看来，我的很多错误都可以界定为：因为看见了别人的愚蠢，而被推得在另一个方向上走得太远。我见过太多「定义智能」的尝试被滥用，于是我干脆完全拒绝去定义它。要是我说智能就是 X，可它其实并不真的是 X，那怎么办？我凭直觉知道自己在寻找什么——某种强大到足以把恒星拆成原材料的东西——而我不想掉进一种陷阱：被定义分散注意力，从而偏离那个目标。
类似地，我见过太多 AI 项目被所谓的「物理学嫉妒」拖垮——总想坚持简单而优雅的数学，结果因此被束缚在玩具系统里——于是我就推广出了一个一般化结论：任何简单到能够被整洁方程形式化的数学，大概都不适用于真正的智能。「贝叶斯定理除外，」Eliezer2000 补充道；这句话从不同视角看，要么稍微减轻了他那一整套错误的严重程度，要么恰恰说明：他本该怀疑整个一般化本身，而不是试图只额外加上一个例外。
如果你想知道 Eliezer2000 为什么会那样想——为什么会不相信存在一种关于智能的数学——嗯，这么久远的事，我已经很难记清了。当然，那肯定不是因为我曾经讨厌数学。如果非要指出一个根源，那大概就是：我读过的人工智能书太少、太通俗，而且还读错了方向。
但当时我并不认为答案会来自人工智能；我基本上已经把它看成一个病态而死亡的领域了。所以，我花在调查它上的时间太少，也就一点都不奇怪了。我相信那套关于人工智能夸大承诺的陈词滥调。这也可以归进那种「朝相反方向走得太远」的模式里——这个领域没兑现自己的承诺，所以我已经准备把它一笔勾销了。结果就是，我没有做足够深入的调查，去找出那些并非伪货的数学。
我年轻时不相信存在一种关于通用智能的数学，这同时是我一生中最糟糕的错误之一，也是我一生中最好的错误之一。
正因为我不相信智能会有什么简单答案，我才去阅读了认知心理学、功能性神经解剖学、计算神经解剖学、进化心理学、进化生物学，以及不止一个分支的人工智能。当我冒出一些看似简单而闪亮的想法时，我不会停在那里，也不会急着跑去实现它们，因为我知道：即使它们是真的，即使它们是必要的，它们也不会是充分的；智能本来就不该是简单的，它本来就不该有一个能印在 T 恤上的答案。它本来该是一个由许多碎片组成的大谜题；而当你找到其中一块时，你不会高高举着它欢呼着跑开，你会继续寻找。只缺一块拼图就去造一个心智，结果很可能什么有意思的事都不会发生。
我当初认为学术界的人工智能是一片荒芜废土，这是错的；而认为智能不可能有其数学，则是更大的错误。但我并不后悔去研究例如功能性神经解剖学，尽管我现在认为，一个人工智能在样子上根本不该像人脑。研究神经解剖学意味着，我一开始就带着这样一种想法进入问题：如果你把一个心智拆成若干部分，那么这些部分应该是像「视觉皮层（visual cortex）」和「小脑（cerebellum）」这样的东西——而不是「股市交易模块」或者「常识推理模块」；后者正是 AI 里一条典型的错误道路。
研究功能性神经解剖学和认知心理学之类的领域，让我对心智应该长成什么样，形成了一种与你光靠读 AI 书——哪怕是好 AI 书——所得到的图景非常不同的理解。
如果你把那些错误结论和错误理由全都抹去，只去问：那个信念究竟让年轻时的 Eliezer 实际上做了什么……
那么，「人工智能已经病了，而真正答案必须来自外部更健康领域」这一信念，让他去学习了大量认知科学；
「AI 不会有简单答案」这一信念，让他不会在某个聪明点子上过早停下，而是继续积累大量信息；
「你不该急着定义智能」这一信念，则把他带进了一种局面：他长期研究这个问题，直到多年以后，才开始提出系统化整理。
这就是我所说的：为什么这是我一生中最好的错误之一。
多年之后回头看，我从中得出了一条非常强烈的教训，大意如下：
你最后实际去做的事，会屏蔽掉你为何去做它的那套巧妙理由。
把两种情形对照一下：一种是某种惊人巧妙的推理，把你引向去学习许多门科学；另一种则是同样惊人巧妙的推理，告诉你根本不需要去读那些书。事后，当你那套惊人巧妙的推理被证明其实很蠢时，如果你当初拥有的是前一种推理，那么你最后所处的位置会好得多。
当我回望自己的过去时，最让我震惊的是那些半属偶然的成功，是那些我出于错误理由却做对了事情的时刻。从你的视角看，你应该把这归因于人择原理：如果我真的陷进了一条死胡同，你大概就不会在这本书里听到我的声音了。从我的视角看，这仍然多少有点令人难堪。我的传统理性主义者式成长背景，为那些「偶然成功」提供了很强的方向性偏置——它让我更倾向于为学习寻找理由，而不是为不学习寻找理由；防止我彻底迷失；也帮助我从错误中恢复过来。即便如此，那些都不是「出于正确理由做了正确的事」，而当你回望自己的年轻历史并看到这一点时，那是件很可怕的事。我在 Overcoming Bias 上写作的一个主要目的，就是给那条我靠偶然才抵达的道路留下痕迹——从而去除运气在我把自己锻造成理性主义者这件事中所扮演的角色。
那么，为什么这又是我一生中最糟糕的错误之一呢？因为有时候，「非形式的」只是「标准放得很低」的另一种说法。我当时有一套极其巧妙的理由，说明我不必精确定义「智能」以及我某些其他术语：也就是，别人曾因为试图定义它而误入歧途。这就成了一道门，让粗糙的推理得以溜进来。
那我是否应该提前跳过去，一开始就试着锻造一个精确定义？不。所有那些让我知道这事不该那样做的理由，其实都是对的；如果你的知识还不够，你就不可能凭空变出正确的定义。
如果你对原子和分子一无所知，你就不可能得到火的准确定义；你最好还是说「那个橙亮亮的东西」。而且，即使你没法准确说出那是什么，你也确实必须能够谈论那团橙亮亮的东西，才能去研究火。不过如今我会说：凡是停留在那个层面上的一切推理，都是不值得信任的——更准确地说，那只是你在走向更好知识途中会做的事，但你并不信任它，你并不把重量压在它上面，你不会从它推出坚定结论，不管那种非形式推理看起来多么不可逃避。
年轻时的 Eliezer 把重量压在了一块错误的地砖上——踩上了一个早已上好机关的陷阱。