价值是脆弱的
❦
如果要我挑一句在我写过的所有话里，依赖《Overcoming Bias》既有内容最多的话，那就是：
任何一个未来，只要并非由一个在细节上可靠继承了人类道德与元道德的目标系统所塑造，就几乎不含任何值得珍视之物。
「嗯，」那人说道，「也许按照你那套狭隘的人类价值观，你不会喜欢它。但我很容易想象，一个银河文明里满是和你截然不同的行动者，却能在他们自己的目标中找到巨大的价值与趣味。而这对我来说完全没问题。我可没你那么偏狭。让未来自行其是吧，别总想把它永远绑在一群四肢软塌塌家伙那套可笑而原始的偏见上——」
朋友，我对一个与我们迥异无比的银河文明的想法毫无问题……那里充满奇异的存在，就连在它们自己的想象里也一点不像我……追逐着我根本无法共情的快乐与体验……在一个由难以想象之物构成的市场里交易……结盟去追求我无法理解的目标……那些我永远无法读懂其人生故事的人。
如果事情进展顺利，未来看上去就是这个样子。
如果人类道德（与元道德）的继承链条断裂，未来不会是这个样子。它不会神奇地、令人愉快地变得不可理解。
它极有可能会显得乏味。毫无意义。失去它时你根本不会哀悼的那种东西。
要把这一点看成显而易见，就需要那一大堆背景解释。
而我不会在这里把论证中的所有节点和曲折路径重新走一遍，因为那会把我们带回我《Overcoming Bias》帖子中的 75%。我只想顺带指出：要约束最终答案，必须知道多少不同的东西。
想想「无聊」这种极其重要的人类价值——我们不想把「同一件事」一遍又一遍又一遍重复下去的欲望。你可以想象一种心智，它几乎包含了人类价值的全部规格，几乎包含了所有道德与元道德，却偏偏少了这一样——
——于是它直到时间终结、直到自己光锥最遥远的边界，都在一遍又一遍又一遍地重放同一种高度优化的体验。
或者，想象一种心智，它几乎包含了人类最享受哪类感受的全部规格——却缺少了那些感受具有重要外部所指这一观念。于是，这个心智就只是到处感觉自己做出了重大发现，感觉自己找到了完美爱人，感觉自己帮助了朋友，却并没有真的去做任何这些事——它变成了自己的体验机器。倘若这个心智追求的是这些感受及其所指对象，那就会是一个真实而美好的未来；但正因为价值的这一维被遗漏了，未来才变成某种乏味之物。它无聊而重复，因为尽管这个心智觉得自己正在遭遇极其新奇的体验，但这种感觉丝毫不是真的。
或者反过来——一种行动者包含了人类价值的所有方面，唯独不重视主观体验。于是结果就会是一个无感知的优化器，它到处做出真正的发现，但这些发现并不会被品尝与享受，因为那里根本没有谁来做这件事。老实说，我并不完全知道这是否可能。意识在某种程度上仍然让我困惑。但一个没有任何见证者的宇宙，几乎等同于不存在。
价值不只是复杂，它还脆弱。人类价值不止有一个维度，并且在某些维度上，只要那一样东西丢失，未来就会归零。单独一次打击，就可能让全部价值粉碎。并不是每一次单独打击都会粉碎全部价值——但确实不止一种可能的「单独一击」会做到这一点。
接下来还有对这个命题的漫长辩护，而它依赖于我《Overcoming Bias》帖子中的 75%，所以光是完整概述一遍，就不止一天能做完。也许改天吧。我见过那棵讨论树延伸出太多分枝了。
毕竟——一个心智不该只是把同一种体验一遍又一遍又一遍地重复下去。难道会有哪个超级智能在何为正确行动这个问题上，犯下如此离谱的错误吗？
为什么任何超级心智会想要那种如此内在地毫无价值的东西——一种没有任何真实发现的发现感？就算那真是它的效用函数，难道它不会干脆意识到自己的效用函数错了，然后把它改写掉吗？它不是有自由意志吗？
至少，无聊总该是一种普遍价值吧。它之所以在人类身上进化出来，是因为它有价值，对吧？所以，任何不与我们共享对重复之厌恶的心智，都会在宇宙中无法繁荣并被淘汰……
如果你熟悉工具性价值与终极价值之间的区别，并且熟悉自然选择的愚蠢却照样有效，并且你明白这种愚蠢如何体现在执行适应而非最大化适应度的差别上，并且你知道它如何把繁殖的工具性子目标变成脱离语境的无条件情绪……
……并且，你还熟悉人工智能中探索与利用之间的权衡是如何运作的……
……那么你也许就能看出，那种为了自身而要求持续不断涓滴新奇的人类式无聊，并不是什么宏大普遍价值，它只不过是进化随手咳进我们体内的一种特定算法。你也许还能看出，绝大多数可能的期望效用最大化器，都只会进行恰到好处的高效探索，然后把大部分时间花在反复利用迄今为止找到的最佳方案上，一遍又一遍又一遍。
不过，这需要很多背景知识。
如此这般，如此这般，如此这般——一路穿过我《Overcoming Bias》帖子中的 75%，以及许多由谬误与反解释组成的链条。也许哪周我会试着把整张图都写出来。但现在，我要先假定你已经读过那些论证，然后只给出结论：
我们不能放松自己对未来的把握——松开方向盘——却还指望最终得到任何有价值的东西。
而那些认为我们可以的人——
——他们是在努力做一个世界主义者。我明白这一点。我小时候也读过同样的那些科幻书：那些因为外星人长得不像人类，就把他们奴役起来的狭隘反派；那些因为硅基不可能有感知，就把无助 AI 长期囚禁起来的狭隘反派；以及那些明白心智不必非得像我们一样，才值得被珍视的世界主义英雄——
这些书我都读过。我也曾相信它们。但从一个盒子里跳出来的美，不会从所有盒子里都跳出来。如果你把一切秩序都抛在身后，剩下的不是完美答案；剩下的是完美噪声。有时候你确实必须放弃一条旧的设计规则，才能造出更好的捕鼠器；但这和你放弃所有设计规则、把木屑胡乱堆成一堆完全不是一回事，因为那样一来，木头的任何排列都和任何其他排列一样好。旧规则之所以被放弃，总是因为某条更高的规则、更高的价值标准在支配它。
如果你松开人类道德与元道德的把握——结果并不会按人类价值标准呈现为神秘、异质而美丽。结果只会是道德噪声，是一个被回形针铺满的宇宙。想要偏离人类道德，朝着改进而非熵增的方向改变，就需要一个改进标准；而那个标准，只会物理地表征在我们的大脑之中，而且只在我们的大脑之中。
只要放松人类价值对宇宙的把握，它最终就会变得极其没有价值。不会是异样、外星、奇妙、震撼、可怖、又美得超出一切人类想象。它只会——被回形针铺满。
你看，只有某些人类才会有这种想法——想拥抱多样的心智形态——想让未来比过去更伟大——想不受过去的自我束缚——想改变，想向前走。
一个回形针最大化器，只会选择任何能够导向最多回形针的行动。
没有免费的午餐。你想要一个奇妙而神秘的宇宙？那是你的价值。你来努力创造那个价值。让那个价值借由作为其承载者的你施加力量；让它在你之中作出决定，去塑造未来。也许那样，你的确会得到一个奇妙而神秘的宇宙。
没有免费的午餐。有价值的东西之所以出现，是因为某个重视它们的目标系统采取了行动去创造它们。回形针不会无中生有地为回形针最大化器自动出现。而如果我们那些偏好一个奇妙、外星又神秘未来的价值，在物理上被抹除——甚至只是在错误的维度上受到扰动——那么那样的未来也不会无中生有地为我们人类自动出现。到那时，宇宙里就再也没有任何东西会去努力让宇宙变得有价值。
即便当你努力做一个「世界主义者」、努力展示一种恰当的、德性十足的对异类心智的欣赏时，你确实也仍然拥有价值。只不过那时，你的价值会进一步淡入不可见的背景——它们显得没那么明显地属于人类。你的大脑很可能甚至根本不会生成一种糟糕到足以惊醒你的替代方案，让你即便在自己最世界主义的时候，也会脱口而出：「不！出问题了！」比如说，「一个无感知的优化器吸收了自己未来光锥中的全部物质，并把宇宙铺满回形针。」你只会去想象值得欣赏的奇异外星世界。
努力去做一个「世界主义者」——去做宇宙的公民——其实只是剥掉了一层看上去明显「属于人类」的目标表层薄饰。
但如果你并不想让未来被回形针铺满，而你更希望有一个由……构成的文明
……有感知的存在……
……拥有可享受的体验……
……而且这些体验并不是同一种体验一遍又一遍地重复……
……并且它们还系于某种不仅仅是内部愉悦感连续序列的东西……
……学习、发现、自由选择……
……那么，我关于乐趣理论的帖子，确实探讨了那些隐藏细节中的一部分，而它们全都藏在那些简短的英文词语背后。
那些你也许会称赞为世界主义的、普遍的、根本的或显而易见的常识的价值，和那些你可能轻蔑地斥为仅仅属于人类的价值一样，同样都表征在你的大脑里。这些价值来自人类漫长的历史，以及创造出我们的进化那种在道德上近乎奇迹般的愚蠢。（而当我终于意识到这一点时，我反而不再那么为那些看上去「地方性」的价值感到羞耻——不过那又是另一回事了。）
这些价值不会在所有可能的心智中自然涌现。它们不会凭空出现，然后去斥责并撤销一个期望回形针最大化器的效用函数。
只要在错误的维度上碰得太重，这些价值的物理表征就会粉碎，而且不会回来，因为到那时，已经没有任何东西还会想要把它带回来。
而这些价值的所指对象——一个有价值的宇宙——也就再没有任何物理理由会诞生出来。
松开方向盘，未来就会撞毁。