反驳奇才
❦
❦
我童年的死亡螺旋讲述了那股把我一路推向错误的核心惯性：Eliezer1996 围绕着某种他称之为「智能」的东西，陷入了一场情感死亡螺旋。我同时还是一个在技术迷恋中长大的人，事先就对「畏惧未来」这件事产生了免疫。再加上，我读了很多围绕人格伦理展开的科幻作品——在这些故事里，对异类的恐惧会让整个人类站到坏人的位置上，仅仅因为外星人或有感知的 AI「不是人类」，就去虐待它们。
这也是你会从科幻作品里吸收到的一部分精神气质——要把你的内群体、你的部落，界定得恰当地宽广。所以我的邮箱地址才会是 sentience@pobox.com。
于是，Eliezer1996 决心为了人类和一切有感知的生命，去建造超智能。
起初，我想，关于超智能会不会／能不能是善或恶的问题，并没有真正作为一个独立议题出现在我脑海里。脑中只有那种标准直觉：「一个超级心智当然不可能蠢到把整个银河系都变成回形针；既然它如此聪明，它当然也会比人类更懂什么才是正确的。」
直到我把自己和自己的追求介绍给一个超人类主义者邮件列表之后，收到的大致回复是这样的（凭记忆复述）：
道德是任意的——如果你说某件事是好是坏，你在这件事上不可能有对错。超智能会形成它自己的道德。
归根结底，每个人都只会维护自己的利益。超智能也不会例外；它只会把所有资源都夺走。
就我个人而言，我是人类，所以我支持人类，不支持人工智能。我认为我们不该发展这项技术。相反，我们应该先发展上传人类的技术。
任何人都不该在没有一套监控 AI 并确保它做不出坏事的控制系统之前就开发 AI。
嗯，那一套显然全都错了，Eliezer1996 这样想着，然后便着手把对手的论点逐个踢得粉碎。（这些事我在别的文章里大多已经做过了；剩下的内容，就留作读者练习。）
倒不是说 Eliezer1996 曾明确地这样推理：「世界上最蠢的人说太阳正在发光，因此外面就是黑的。」但 Eliezer1996 是个传统理性主义者；他从小就被灌输了这样一种比喻：科学是一场由不同立场阵营参与的公平对决，剥离了赤裸暴力和其他此类政治角力之后，理想情况下，论证更好的一方就能获胜。
指出别人的论证错在哪里，总比真正把事情本身搞对要容易；而 Eliezer1996 又非常擅长找漏洞。（我也是。这并不是说，只要你不在乎漏洞，就能解决那种力量的危险。）从 Eliezer1996 的视角来看，他觉得自己所选择的一方正在赢得这场论战——他拿出了比对手更好的论证——那他为什么还要换边？
因此写道：「因为这个世界上有许多人对理性的把握糟糕透顶，理性主义的初学者会赢下争论，并因此对自己的能力形成夸大的看法。但高人一等并没有用：人生不是按曲线评分的。古希腊最好的物理学家，也算不出一个下落苹果的轨迹。即使你竭尽全力，也没有任何保证说『足够好』这件事就一定可能；因此，不必分神去想别人是否做得更差。」
你不能依赖任何人把你从错误中辩出来；你不能依赖任何人来拯救你；有义务找出你自己立场漏洞的，只有你自己；如果你把这份担子放下，就别指望别人会替你捡起来。我甚至怀疑，这条忠告对大多数人恐怕都不会有帮助，除非他们亲手先把自己的脚炸掉，而在整个过程中还一直正确地对自己说：「显然，这场争论是我在赢。」
如今，我尽量不把任何人类当作自己的对手。那只会导向过度自信。真正与我对阵的是自然：她不会把问题按你的能力来安排，她没有义务因为你勤奋努力就给你一个公平获胜的机会；如果你还不够好，她也不会在乎你是不是有史以来最优秀的人。
但让我们回到 1996 年。Eliezer1996 仍然抱着那种基本直觉：「超智能当然会比我们更知道什么是正确的，」并顺手打掉了别人拿来反对他立场的各种论证。你看，他在这方面是很有技巧的。他甚至还有一套自己的哲学，解释为什么寻找事物中的漏洞是明智之举，诸如此类。
我并不是想把这一点当作借口：当年那些与 Eliezer1996 争论的人里，没有一个真正向他呈现出那个谜团的消解——也就是对道德的完整还原：分析他在争论「道德」时的全部认知过程，一步一步展示那些让道德在他感觉中像是一个事实的算法。相反，不如把这看作一项控诉，作为衡量 Eliezer1996 水准的一把尺子：他竟然需要别人把完整答案直接递到面前，才会碰上一条他无法反驳的论证。
在场的那几位哲学家并没有把他从困境里拉出来。哲学家又不会说：「抱歉，道德已经被理解清楚了，它在认知科学和哲学里都是个尘埃落定的问题，而你的观点就是错的。」道德的本性在哲学中至今仍是一个开放问题；这场争论还在继续。哲学家只会觉得自己有义务把各方的经典论证都列给你看——其中大多数论证，Eliezer1996 都完全聪明到足以一一打掉，于是他便得出结论：哲学是一片荒原。
但等等。后面更糟。
我不太记得具体是什么时候了——可能是 1997 年——但更年轻一点的我，不妨叫他 Eliezer1997，开始着手去无可辩驳地论证：创造超智能才是正确之举。