目的：导论
作者：Rob Bensinger
❦
价值理论研究的是人们所关心的东西。它研究的是我们的目标、趣味、快乐与痛苦、恐惧与抱负。
这也包括传统意义上的道德。价值理论涵盖的，不只是我们已经在乎的事；也包括那些我们希望自己在乎的事，或者如果我们更聪明、更善良时本会在乎的事。
价值理论也涵盖那些日常而平凡的价值：艺术、食物、性、友谊，以及一切赋予生活情感效价的东西。和朋友 Sam 一起去看电影，也可以是你所重视的事，即便它并不是一种道德价值。
我们觉得反思并讨论自己的价值是有用的，因为我们的行为方式，并不总是我们希望自己会有的行为方式。我们的偏好彼此之间会发生冲突。我们甚至会希望自己拥有另一套欲望。我们也可能缺乏按自己所愿行事所需要的意志、注意力或洞见。
人类确实关心自己行动的后果，但这种关心并不稳定到足以在形式上算作拥有效用函数的智能体。说「人类不具备工具理性」，指的就是：人类并不会按自己希望的方式行事。
☙
理论与实践
更添困难的是：我们自以为自己希望怎样行动，与我们实际上希望怎样行动之间，存在一道鸿沟。
哲学家们对我们想要什么意见极其分裂——心理学家如此，政治人物也如此——而对于我们应当想要什么，他们同样争论不休。他们甚至连「应当」想要某物这件事究竟是什么意思都意见不一。道德理论的历史，以及人类试图彼此协调的历史，堆满了那些失败的、旨在通往「真正终极——不，这次我真的是认真的——规范性」之指导原则的尸体。
如果你试图给自己的目标提出一套可靠且在实践上有用的明确表述——不只是为了赢下哲学辩论，而是比如说，为了设计安全的自主适应型 AI，或者建立运转良好的制度与组织，或者更容易判断该把善款捐给哪家慈善机构，或者弄清自己应当培养哪些美德——那么，人类在价值理论上的往绩，对你可不是什么好兆头。
《纯然善》收录了三组关于人类价值的博客序列：「虚假偏好」（讨论若干失败的价值理论尝试）、「价值理论」（讨论发展一种新理论所面临的障碍，以及这种理论一些直观上令人向往的特征），以及「量化人文主义」（讨论我们应当如何将这类理论应用到日常道德直觉与决策之中的棘手问题）。
这三者中，最后一个主题最为重要。一个规范理论的实际价值，在于它能多好地转化为规范实践。对自身价值获得更深入、更完整的理解，理应让你更擅长在现实中真正实现这些价值。最起码，你的理论不该妨碍你的实践。否则，知道什么是善，又有什么好处呢？
要把这种应用伦理学（以及应用美学、应用经济学、应用心理学）的技艺，与我们现有最好的数据和理论调和起来，往往归根结底要面对这样一个问题：我们何时该信任自己的直觉判断，何时又该把它们丢掉。
在许多情形下，我们对于自己所关心之事的显式模型既脆弱又不切实际，以至于还不如信任自己模糊的初始冲动。在另外许多情形下，借助一种信息更充分、也更系统的方法，我们确实可以做得更好。这里并不存在一条放之四海而皆准的答案。我们只能仔细审视实例，并努力辨认不同的警示信号：哪些地方是「复杂理论在这里往往会失效」，哪些地方则是「朴素感觉在这里往往会失效」。
☙
旅程与终点
在接下来的篇章里，一个反复出现的主题将是这样一个问题：我们该去向何方？哪些结果才真正有价值？
为回答这个问题，Yudkowsky 创造了「乐趣理论（fun theory）」这个术语。乐趣理论试图弄清，我们对未来的理想图景会是什么样子——不只是我们理想中想生活于其下的政府体制或道德规范，也包括我们理想中想经历的冒险、想创作的音乐，以及我们最终希望从生命中得到的一切其他东西。
当我们把目光拉向未来时，乐趣理论的问题就会与超人类主义（transhumanism）的问题交汇起来：超人类主义主张，只要我们在科学与社会层面取得足够进步，就能从根本上改善人类处境。1 超人类主义由此引出一系列道德哲学争论，例如：对有感知生命而言，最佳的长期结果究竟应建立在享乐主义（追求快乐）之上，还是应建立在更复杂的广义福祉（eudaimonia）概念之上。在《理性：从 AI 到僵尸》中其他一些地方被讨论到的未来主义想法，还包括低温冷冻（cryonics，即人在死后将身体保存在冷冻状态中，以防未来医疗技术找到复活的方法）、心智上传（mind uploading，即在人造硬件中实现人类心智），以及大规模的太空殖民。
也许有些令人意外，但乐趣理论恰恰是价值理论较少被认真探索的应用之一。规划乌托邦如今已经颇为过时——部分因为它带着几分天真气，部分因为事实表明：我们把乌托邦变成现实这件事做得糟透了。就连 utopia 这个词本身也体现了这种犬儒意味；它源自希腊语里的「不存在之地」。
然而，如果我们放弃对一个真实可行的乌托邦（或 eutopia，「好地方」）的追求，那么短期目标不断积累后的总效应，是否会导向一个我们从长期看也觉得有价值的未来，就并不显然了。价值并不是世界的某种必然属性。创造它，需要努力。维持它，同样需要努力。
这又引出了第二个问题：我们该如何到达那里？好的目的与好的手段之间是什么关系？
当我们玩一场游戏时，我们希望享受过程。我们通常并不只是想直接跳到被宣布为赢家的那一刻。有时，旅程比终点更重要。有时，旅程就是唯一重要的东西。
然而，在另一些情形下，情况正好相反。有时，终局状态太过重要，以至于「旅程」根本不足以进入我们的决策考量。如果你正试图挽救一位家人的生命，那么从这个过程中获得一点快乐未必是件坏事；但如果你改用一种没那么愉快的策略，就能大幅提高成功概率……
在许多情形下，我们的价值集中于自己行动的结果，集中于未来。我们关心世界最终会变成什么样——尤其是世界中那些会爱、会痛、会有所欲求的部分。
在这类情形里，抽离而抽象的理论，与鲜活而充满情绪负荷的感受相比，究竟表现如何？更一般地说：行为与后果之间，在道德上究竟是什么关系？
这些都是困难的问题，但也许我们至少可以在弄清自己究竟在说什么这件事上取得一些进展。在探究刚开始时，我们就已经往「有价值」这一概念里预先塞进了什么？
❖
超人类主义论证的一个例子是：「我们有望在几十年或几百年内消除衰老与疾病。这将实际上终结自然原因导致的死亡，使我们处在与那些几乎不会衰老的生物——龙虾、阿尔达布拉象龟等——相同的位置。因此，我们应当投资于疾病预防与抗衰老技术。」这一想法之所以算作超人类主义，是因为消除造成伤害与死亡的首要原因，将会从根本上改变人类生活。
Bostrom and Savulescu 概述了支持与反对激进人类增强的论证，例如 Sandel’s 反对意见：过度改动我们的生物学，会让生命不再那么像一份「礼物」。2,3 Bostrom 的 “History of Transhumanist Thought” 则为这场争论提供了背景。4 ↩︎
Nick Bostrom, “A History of Transhumanist Thought,” Journal of Evolution and Technology 14, no. 1 (2005): 1–25, http://www.nickbostrom.com/papers/history.pdf。↩︎
Michael Sandel, “What’s Wrong With Enhancement,” Background material for the President’s Council on Bioethics. (2002). ↩︎
Nick Bostrom and Julian Savulescu, “Human Enhancement Ethics: The State of the Debate,” in Human Enhancement, ed. Nick Bostrom and Julian Savulescu (2009). ↩︎
[《虚假偏好》
（序列）][8]