美妙的概率
❦
我们是否应当期待，理性在某种层面上是简单的？我们是否应当在信念与选择的技艺中，追寻并期待发现深层的美？
让我先借用已故伟大的贝叶斯派大师 E. T. Jaynes 的一句抱怨来引出这个问题：1
两位医学研究者分别在不同的医院独立采用同一种疗法。两人都不屑于伪造数据，但其中一位事先决定，鉴于资源有限，无论届时观察到多少治愈病例，他都会在治疗 n = 100 名患者后结束实验。另一位则把自己的声誉押在了这种疗法的疗效上，并决定在获得表明治愈率确实高于 60% 的数据之前绝不停止实验，无论为此需要治疗多少名患者。然而事实上，两人结束实验时得到的数据完全相同：n = 100 [名患者]，r = 70 [例治愈]。那么，我们是否应当从他们的实验中得出不同的结论？」[可假定两组对照组的结果也相同。]
Cyan 指引我们去看 MacKay 的优秀统计学教材第 37 章的内容，那里对这个问题有更详尽的解释。2
按照传统的统计方法——我相信这种方法如今仍在教授——两位研究者实施的是停止条件不同的两项实验。这两项实验原本可能最终得到不同的数据，因此构成了对该假设的不同检验，这就需要采用不同的统计分析方法。第一项实验完全可能具有「统计显著性」，而第二项则不然。
你是否会因此感到不安的事实足以说明你对概率论，乃至对理性本身的态度。
非贝叶斯派统计学家或许会耸耸肩并说：「嗯，各种统计工具的长处和短处并不相同，你懂的——锤子和螺丝刀不是一回事——也就是说采用不同的统计工具，可能会得到不同的结果，就像用同一组数据拟合线性回归模型或训练正则化神经网络一样。你得根据具体情况选用合适的工具。现实世界本来就很复杂——」
然后，贝叶斯派的回应是：「不好意思，你说什么？在实验方法固定、所得数据相同的情况下，其证据效力竟然还取决于研究者私下的想法？而你居然还敢指责我们『太主观』？」
如果自然界处于某一种状态，那么观察到现有数据的似然值便是与之相对应的某个值；如果自然界处于另一种状态，这一似然值便会是另一个值。然而，某个给定的自然状态产生我们所观察到的数据的似然，与研究者私下的意图毫无关系。因此，无论我们对自然界作出何种假设，两项实验的似然比都是相同的，证据效力是相同的，后验信念也应当是相同的。要使两种旧式统计方法得出不同的答案，其中至少一种必然舍弃了相关信息——或者干脆就是算错了。
贝叶斯学派与可恶的频率学派之间那场古老战争已经持续了几十年；我不打算在这篇随笔里去重述那段更久远的历史。
但这场冲突的核心之一在于，贝叶斯主义者期待概率论是……我想找的词是什么？「整齐」？「干净」？「自洽」？
正如 Jaynes 所说，贝叶斯概率论中的这些定理说到底就是一个自洽证明体系中的定理。无论采用何种推导方式，无论推导顺序如何，贝叶斯概率论所得的结果都应当始终一致——每一条定理都与其他所有定理相容。
如果你想求出 10+10 的和，可以把它改写为 (2 × 5) + (7 + 3)，也可以改写为 (2 × (4 + 6))，还可以采用任何其他你喜欢的合法变换，但无论采用什么方法，结果都必须相同，在这个例子中就是 20。如果一种方法得出 20，另一种方法却得出 19，那么你便可以断定，在这两次运算中，至少有一次采用了不合法的操作。（在算术中，这种非法操作通常是除以零；在概率论中，通常是使用了一个并非通过有限过程取极限而得到的无穷大。）
如果你得出了 19 = 20 这一结果，就好好找找你刚才犯下的错误吧，因为算术本身被你弄得灰飞烟灭的可能性并不大。如果真有人成功地从贝叶斯概率论中推导出一个真正的矛盾——比如，同一种实验方法得出同样的结果，却具有两种不同的证据效力——那么整座理论大厦都会灰飞烟灭。集合论也在劫难逃，因为我相当确信 ZF（公理体系） 为概率论提供了一个模型。
数学！这正是我刚才要找的那个词。在贝叶斯派看来，概率论理应是数学。这正是我们对 Cox 定理及其众多扩展感兴趣的原因：它们表明，任何满足特定约束条件的不确定性表征体系，都必然与概率论相对应。自洽的数学体系固然很好，但唯一可行的数学体系则更好。
然而……理性应当是数学吗？概率论应当优美，这绝非什么理所当然的结论。现实世界纷繁复杂——要应对这样的世界，难道不也需要同样繁杂的推理吗？也许，非贝叶斯派统计学家拥有大量临时拼凑的方法和临时拼凑的论证，严格意义上反而让他们变得更有能力，因为他们拥有更大的工具箱。问题简洁明晰时固然很好，但问题通常并非如此，而你只能接受这一现实。
毕竟，有个众所周知的事实是：在许多问题上你无法使用贝叶斯方法，因为贝叶斯计算在计算上难以处理。那为什么不坚持百花齐放的原则，在你的工具箱里多放几件趁手工具呢？
这才是思维方式上的根本区别。老派统计学家从工具角度出发思考问题：用各种招数应对特定问题。贝叶斯派学者——至少我这个贝叶斯派是这样，尽管我想这并非我一个人的看法——则从法则角度思考。
寻找法则并不等于寻找特别整齐漂亮的工具。热力学第二定律和一台特别整齐漂亮的冰箱不能相提并论。
卡诺循环是一种理想热机——事实上，它就是最理想的热机。任何在两个热库之间工作的热机，其效率都不可能超过卡诺热机。由此可得一个推论：所有在同一对热库之间工作的热力学可逆热机，其效率都相同。
但是你显然并不能拿一台卡诺热机去给现实中的汽车提供动力。现实中的汽车发动机与卡诺热机之间的相似程度，也就跟汽车轮胎与完美滚动圆柱之间的相似程度差不多。
那么，卡诺热机对于制造现实中的汽车来说，显然是一种毫无用处的工具。热力学第二定律也显然不适用于这里。要在现实世界中制造一台遵守这一定律的发动机，实在太难了。干脆无视热力学——什么管用就用什么。
我认为，这正是那些仍然死抱旧路不放之人所陷入的那类混乱。
没错，你并非总能针对问题完成精确的贝叶斯计算。有时你必须寻求近似方法；事实上，这种情况很常见。这并不意味着概率论不再适用，正如你无法对一架波音 747 进行逐原子层面的空气动力学计算，并不意味着它不是由原子构成的一样。无论采用何种近似方法，它在多大程度上逼近理想的贝叶斯计算，就在多大程度上有效；反之亦然，在多大程度上偏离这一计算，就在多大程度上失效。
贝叶斯主义关于自洽性和唯一性的证明是一把双刃剑。正如任何满足 Cox 自洽性公理（或其众多重述和推广形式）的计算都必然与概率相对应一样，任何非贝叶斯的推理方法也必定无法通过某项自洽性检验。这进而会使你受到 Dutch-booking 之类的惩罚（即接受一组必然导致亏损的赌注，或者拒绝一组必然带来收益的赌注）。
你或许无法计算出最优答案。但无论采用何种近似方法，它的奏效与失效都能借助贝叶斯概率论得到解释。你可能不知道这种解释；但这并不意味着解释不存在。
所以，你想采用线性回归，而不进行贝叶斯更新？但审视其内在结构，你就会发现，它相当于在给定高斯似然函数和参数上的均匀先验的条件下，选取最佳的点估计。
你想用带正则化的线性回归，因为它在实践中效果更好？那对应的就是（贝叶斯主义者会说的）对权重使用了高斯先验。
有时你无法原原本本地应用贝叶斯方法；事实上，这种情况很常见。但只要你能够完成那种穷尽一切可用知识的精确贝叶斯计算，问题就解决了。你永远不可能找到一种能给出更好答案的统计方法。你或许能找到一种计算成本较低、几乎始终表现极佳的近似方法；它的成本会更低，却不会更加准确。除非另一种方法利用了你未纳入贝叶斯计算的知识，也许是以隐含先验信息的形式；但只要把这些先验信息纳入贝叶斯计算，它便会再次与那种方法持平或优于它。
当你使用老式的、临时拼凑的统计工具，并附以临时拼凑的（但往往相当有意思的）论证时，你永远无法知道明天会不会有人想出更巧妙的工具。但当你能够直接采用一种体现贝叶斯法则的计算时，你便大功告成了——就像终于成功把一台卡诺热机装进自己的汽车一样。正如俗话所说，它就是「贝叶斯最优」。
在我看来，工具箱派观察着立方数序列 { 1, 8, 27, 64, 125, ... }，并指着它的一阶差分 { 7, 19, 37, 61, ... } 说：「看吧，现实并不总是这么规整——你得随机应变。」而贝叶斯派指向的则是三阶差分，也就是更深处那个稳定的层次 { 6, 6, 6, 6, 6, … }。批评者则说：「你们到底在说些什么？明明是 7, 19, 37，不是 6, 6, 6。你们把这个复杂的问题过度简化了；你们太执着于简单性了。」
它在表面层次上未必简单。你必须下潜到更深层次才能找到稳定性。
要思考的是法则，不是工具。需要对一条法则进行近似计算并不会改变法则本身。飞机依然由原子构成；自然界不会为了空气动力学计算而对它们另开特例。近似存在于地图中，而不在疆域中。你可以在知晓热力学第二定律的同时仍以工程师的身份致力于制造一台不完美的汽车发动机。第二定律并不会因此不再适用；你对这一定律和卡诺循环的认知会帮助你尽可能逼近理想效率。
我们并不是仅仅因为贝叶斯方法很美妙就为它着迷。美只是一个副产物。贝叶斯定理优雅、自洽、最优，并且可被证明是唯一的，这一切都归因于它们是法则。
Edwin T. Jaynes, “Probability Theory as Logic,” in Maximum Entropy and Bayesian Methods, ed. Paul F. Fougère (Springer Netherlands, 1990). ↩︎
David J. C. MacKay, Information Theory, Inference, and Learning Algorithms (New York: Cambridge University Press, 2003). ↩︎