一般心智的设计空间
The Design Space of Minds-in-General
❦
人们问我：「人工智能会是什么样？它们会做什么？给我们讲讲你那个关于未来的惊人故事吧。」
于是，看哪，我对他们说：「你们问了我一个陷阱问题。」
ATP 合酶（ATP synthase）是一种分子机器——这是目前已知进化发明出可自由旋转轮子的三次情形之一——它在动物线粒体、植物叶绿体与细菌之中，本质上是同一种东西。自从 20 亿年前真核生命兴起以来，ATP 合酶几乎没有发生显著变化。它是我们所有人共有的东西——这要归功于进化会高度保守某些基因的方式；一旦许多其他基因依赖于某个基因，突变往往就会破坏所有这些依赖关系。
任意两种 AI 设计之间的相似性，可能还不如你和一朵矮牵牛之间的相似性。问「AI」会做什么，是个陷阱问题，因为这暗示了所有 AI 都构成一个自然类。人类的确构成一个自然类，因为我们都共享同一种大脑架构。但当你说「人工智能」时，你指向的是一个比说「人类」时大得多的可能性空间。当人们谈论「AI」时，我们真正谈的是一般心智，或者一般意义上的优化过程。给「AI」造一个词，就好像给所有不是鸭子的东西造一个词。
想象一张心智设计空间的地图……这是我常用的一张图……
当然，所有人类都落在一个小得不能再小的点里——作为一种有性繁殖物种，我们彼此之间不可能差得太远。
这个小点属于一个更大的椭圆，即超人类（transhuman）心智设计的空间——那些可能比我们更聪明，或者聪明得多，但在某种意义上仍可算作我们所理解的「人」的东西。
这个超人类椭圆，又处在一个更大的体积之中，那是后人类（posthuman）心智的空间，包含了超人类可能成长成的一切。
而球体剩下的部分，则是一般心智的空间，其中包括一些可能的人工智能，它们古怪到甚至连后人类都算不上。
但等等——自然选择会设计复杂的产物，并在复杂策略之间做出选择。那么，在这张图上，自然选择在哪里呢？
因此，这整张地图其实漂浮在一个更为巨大的空间里，那就是优化过程的空间。在这个更巨大空间的底部，甚至比人类还低的地方，是自然选择在某个潮池中最初开始运作时的样子：变异、复制，有时死亡，没有有性繁殖。
是否存在某些强大的优化过程，其力量可与整个人类文明、甚至一个自我改进的 AI 相比，却不会被我们认作心智？可以说，Marcus Hutter 的 AIXI 就该被归入这一类：作为一个拥有无限能力的心智，它实在蠢得惊人——这可怜家伙甚至连镜子里的自己都认不出来。不过，那是另一个话题了。
我最主要想传达的一点是：要抵制对整个心智设计空间作概括的诱惑。
如果我们把注意力集中在心智设计空间的一个有界子空间上，它包含所有其构成可用不超过一万亿比特来指定的心智，那么，你作出的每一个全称概括，都有 2 的一万亿次方种机会被证伪。
反过来，每一个**存在性（existential）**概括——「至少存在一个满足 X 的心智」——都有 2 的一万亿次方种机会是真的。
所以，你要抵制这样的诱惑：要么说所有心智都会做某事，要么说没有任何心智会做某事。
你之所以会以为自己知道一个完全一般的心智会（或不会）做什么，最主要的原因，是你把自己代入了那个心智——想象如果你处在那个心智的位置上，你会怎么做——于是得到一个通常是错误的、拟人化的答案。（虽说它至少在一个例子里是真的，因为你自己就是一个例子。）或者，你先想象一个心智在做某件事，再去想象你自己为什么不会那么做——于是你便想象，这类心智根本不可能存在，仿佛机器中的幽灵会低头审视对应的源代码，然后把它退回来。
在心智设计空间的某个地方，至少存在一个心智，拥有几乎任何一种你所能想象的、逻辑上自洽的属性。
而这一点很重要，因为它强调了：我们必须讨论，某个心智的特定组成如何作为因果结果，决定了合乎规律地会发生什么，以及为什么会发生；因为在心智设计空间的某个地方，总有一个心智会用不同的方式来做这件事。
当然，你也随时可以说，任何不按你的方式行事的东西，「按定义」都不是心智；毕竟，它显然太蠢了。我也见过人这么干。
[价值理论
（序列）][18]