概率之美 | ZhiHu Archive

我们是否应该期望，理性「在某种深层意义上」是简单的？我们是否应该在信念和选择的艺术中，去寻找并期盼一种「底层的」美感？

让我借用已故的伟大贝叶斯大师 E. T. 杰恩斯（E. T. Jaynes）的一句吐槽来引出这个问题：[1]

两位医学研究员在不同的医院独立测试同一种治疗方法。这两位研究员都不屑于伪造数据，但其中一位由于资源有限，预先决定在治疗了 n = 100 名患者后就停止实验，无论那时观察到了多少治愈病例。而另一位则将自己的声誉押在了这种治疗的有效性上，并决定在获得明确表明治愈率大于 60% 的数据之前绝不停止，无论这需要测试多少名患者。然而事实上，两人的实验最终都在完全相同的数据点上停止了：n = 100（名患者），r = 70（例治愈）。那么，我们是否应该从这两场实验中得出不同的结论呢？（假设两个对照组也取得了相同的结果。）

Cyan 指引我们去阅读大卫·麦凯（David MacKay）那本出色的统计学著作（网上有免费版）的第 37 章，那里有对这个问题的更详尽的解释。[2]

按照老派的传统统计学程序——我相信直到今天学校里还是这么教的——这两位研究员进行了停止条件截然不同的两种实验。这两个实验原本可能以截然不同的数据终止，因此它们代表了对假设的不同测试方式，需要进行不同的统计学分析。其结果很可能是，第一个实验具有「统计学显著性（statistically significant）」，而第二个则没有。

你是否觉得这种现象很扯淡？这在很大程度上反映了你对概率论，乃至对理性本身的根本态度。

非贝叶斯的统计学家可能会耸耸肩说：「哎呀，你要知道，不是所有的统计工具优缺点都一样——锤子和螺丝刀能一样吗——如果你使用了不同的统计工具，你可能会得出不同的结果；就像面对同一批数据，你既可以用来计算线性回归，也可以用来训练一个正则化的神经网络。你必须在适当的场合使用正确的工具。生活本来就是一团糟的嘛——」

然后，贝叶斯学派的回答是：「请问你在逗我吗？ 一个固定的实验过程产生了完全相同的数据，它的证据效力居然要取决于研究员私底下的念头？你们居然还有脸指责我们『太主观』？」

如果大自然是某种特定的样子，那么数据呈现出我们所见样貌的似然率（likelihood）就会是一个值。如果大自然是另一种样子，数据呈现出那副样貌的似然率就会是另一个值。但是，给定的自然状态产生出我们所见数据的似然率，与研究人员私底下的主观意图毫无关系。因此，无论我们对大自然作何种假设，在这两个实验之间，似然比（likelihood ratio）是完全相同的，证据的效力是完全相同的，实验得出的后验信念（posterior belief）也理应是完全相同的。只有当那两种老派方法中至少有一种丢弃了相关信息——或者干脆算错了——它们才有可能得出不同的答案。

贝叶斯学派与那该死的频率学派之间古老的战争，可以追溯到几十年前。我并不打算在这篇文章里重述那段古老的恩怨史。

但其中一个核心的冲突在于，贝叶斯学派期望概率论应当是……我想找个什么词来形容呢？「整洁的？」「纯粹的？」「自洽的？」

正如杰恩斯所言，贝叶斯概率定理就是这样，是一个连贯证明系统中的定理。无论你使用什么推导过程，也无论以何种顺序，贝叶斯概率论得出的结果应当永远是一致的——每一个定理都必须与所有其他定理完美兼容。

如果你想求 10+10 的和，你可以把它改写成 (2 × 5) + (7 + 3)，或者改写成 (2 × (4 + 6))，或者使用任何你喜欢的、合法的数学技巧；但计算的结果永远都必须是相同的——在这里就是 20。如果一种算法算出来是 20，另一种算出来是 19，那么你可以断定，你至少在其中一次计算中使用了「非法操作」。（在算术中，非法的操作通常是除以零；在概率论中，它通常是将某个并未作为有限过程极限的无穷大直接拿来运算。）

如果你得出了 19 = 20 的结果，请回去仔细寻找你刚才犯下的那个错误；因为相比之下，你直接把整个算术体系给颠覆了的可能性实在微乎其微。如果哪天真有人成功地从贝叶斯概率论中推导出了一个真正的矛盾——比方说，相同的实验方法产生相同的结果，却推导出了两种不同的证据效力——那么这整座宏伟的知识大厦就彻底崩塌了。连同集合论一起崩塌，因为我相当确信 ZFC 集合论为概率论提供了一个模型。

数学！这才是我想找的那个词。贝叶斯学派期望概率论就是数学。这正是为什么我们会对考克斯定理（Cox's Theorem）及其众多扩展形式如此着迷的原因；该定理证明了，任何服从特定一致性约束的关于「不确定性」的表达体系，都必然能映射到概率论上。自洽的数学固然很棒，但唯一的数学就更绝了。

然而……理性真的应该是一门数学吗？概率论就非得「漂亮」不可，这绝不是一个不言自明的结论。真实世界是一团乱麻——所以难道你不应该用混乱的推理来处理它吗？也许非贝叶斯统计学家们，凭借着他们那一手丰富的「特设（ad-hoc）」方法和「特设」理由，反而在严格意义上更胜任，因为他们的工具箱确实大得多啊。问题干净利落当然好，但现实往往并非如此，你只能去适应它。

毕竟，这是一个众所周知的事实：在许多问题上你根本用不了贝叶斯方法，因为完美的贝叶斯计算在计算复杂度上是极高乃至不可解的^[1]。那为什么不让百花齐放呢？为什么不往你的工具箱里多塞几样工具呢？

这，就是思维模式上的根本差异。老派的统计学家是在用工具（tools）来思考，那是些用来应付特定问题的奇技淫巧。而贝叶斯主义者——至少是我这个贝叶斯主义者，尽管我不认为我只是在代表我自己发言——我们是在用法则（laws）来思考。

寻找法则，和寻找一把特别趁手、特别漂亮的工具，绝不是一码事。热力学第二定律可不是一台特别趁手、特别漂亮的电冰箱。

卡诺循环是一台理想的热机——事实上，它是唯一的理想热机。任何由两个热源驱动的热机，其效率都不可能超过卡诺热机。作为推论，所有在相同热源之间运行的、热力学可逆的热机，其效率都是相同的。

但是，当然了，你没法用一台卡诺热机去驱动一辆真正的汽车。真正的汽车发动机和卡诺热机之间的相似度，就好比汽车的轮胎和完美的滚动圆柱体之间的相似度一样。

那么很显然，如果要制造一辆现实世界中的汽车，卡诺热机就是一个毫无用处的工具。热力学第二定律在这里显然是不适用的。在现实世界中，想造出一台严格遵循该定律的发动机太难了。所以干脆把热力学抛到脑后吧——什么管用就用什么。

我认为，这就是那些依然死守旧派方法的人脑子里的那种典型混乱。

不，你当然不可能总是对一个问题进行精确的贝叶斯计算。很多时候你必须寻求近似解；而且确实是很常见的情况。但这并不意味着概率论的法则就不适用了；就像你无法在原子级别上逐个计算一架波音 747 的空气动力学特征，但这并不意味着波音 747 不是由原子构成的。无论你使用什么样的近似方法，它的有效性都在于它在多大程度上逼近了理想的贝叶斯计算——而它的失败，也在于它在多大程度上偏离了这一点。

贝叶斯主义关于一致性和唯一性的证明，是一把双刃剑。正如任何服从考克斯一致性公理（或其众多重构与推广形式）的计算过程都必然映射到概率上一样；任何非贝叶斯的方法，也必然无法通过某项一致性测试。而这，反过来就会让你遭到类似于「荷兰赌（Dutch-booking）」的惩罚（即接受必定会让你输钱的连环赌局组合，或拒绝必定能让你赢钱的组合）。

你可能无法计算出那个最优解。但是，无论你使用了什么近似方法，它的失败与成功都将能用贝叶斯概率论来解释。你可能现在还不知道解释是什么；但这绝不意味着解释不存在。

所以，你想用线性回归，而不是去进行贝叶斯更新？但只要你深入剖析线性回归的底层结构，你就会发现，它其实就等同于：在给定高斯似然函数，以及对所有参数设定了均匀先验（uniform prior）的情况下，去挑选最佳的点估计。

你想用正则化（regularized）的线性回归，因为它在实践中效果更好？嗯，（贝叶斯主义者会说）这其实就等同于对权重设定了一个高斯先验。

有时候，你确实无法字面上地应用贝叶斯方法；而且这种情况确实很常见。但是，当你真的能够使用那套榨干了每一丝可用知识的精确贝叶斯计算时，你就大功告成了。你永远也找不到一种能给出比这更好答案的统计方法。你可能会找到一种廉价的近似方法，它在绝大多数情况下都表现极佳，而且计算成本更低，但它绝不会更准确。除非，那另一种方法偷偷使用了某种你没有允许进入贝叶斯计算的知识（也许是以伪装的先验信息的形式）；而一旦你把这些先验信息也输入到贝叶斯计算中，贝叶斯计算将再次与之打平或超越它。

当你使用一种老派的、临时凑合（ad-hoc）的统计工具，并配以一种临时凑合（尽管往往非常有趣）的理由时，你永远不知道明天会不会有人想出更聪明的工具。但是，当你真的能够直接使用反映贝叶斯法则的计算时，你就登峰造极了——这就好比你成功地把一台卡诺热机塞进了你的汽车里。正如俗话所说，这叫「贝叶斯最优（Bayes-optimal）」。

在我看来，「工具箱派」的人就像是看着立方数数列 { 1, 8, 27, 64, 125, ... }，然后指着它的一阶差分 { 7, 19, 37, 61, ... } 说：「瞧，生活并不总是那么井然有序的——你必须去适应复杂的情况。」而贝叶斯主义者则是指着它的三阶差分，即底层的稳定规律 { 6, 6, 6, 6, 6, … }。然而批评者却在嚷嚷：「你到底在胡说八道些什么？明明是 7、19、37，哪来的 6、6、6。你把这个混乱的问题过度简化了；你太沉迷于追求简单了。」

事物在表面层次上未必是简单的。你必须潜入更深处，才能找到那种绝对的稳定。

要用法则去思考，而不是工具。需要对法则进行近似计算，并不会改变法则本身。飞机依然是由原子组成的，大自然并不会为了方便你的空气动力学计算，就为飞机网开一面、搞个特殊例外。近似只存在于你认知的地图上，而不存在于客观的疆域中。你完全可以深谙热力学第二定律，但依然以工程师的身份去制造一台不完美的汽车发动机。热力学第二定律并没有因此失效；恰恰是你对该定律以及卡诺循环的了解，在帮助你尽可能地逼近那个理想的极限效率。

我们并非仅仅因为贝叶斯方法极其美妙，就被其迷了心窍。它的美妙只是一种副作用。贝叶斯的一系列定理之所以优雅、自洽、最优，且被证明是唯一的，那是因为它们是这世间的法则。

Edwin T. Jaynes, “Probability Theory as Logic,” in Maximum Entropy and Bayesian Methods, ed. Paul F. Fougère (Springer Netherlands, 1990).

David J. C. MacKay, Information Theory, Inference, and Learning Algorithms (New York: Cambridge University Press, 2003).i

总目录：

卷：

章节：