问题描述
有了这些模型，人的哪些方面能力会变得重要？它怎样才能与人合作，真正帮助人而不是取代人？
陶哲轩
关键是增强人的能力。也就是说，要设法为科学家提供工具，也为从业者等人提供工具，让他们的能力真正增强。当你使用这些工具时，你自己也会变得更聪明，理解得更深，而不是牺牲自己的能力，依赖 AI 来获得答案。
所以还是那句话，任何技术都是如此。拿汽车来说，如果到哪儿都开车，久而久之，你会忘了怎么走路，或者身体变差，但这并不意味着你该彻底放弃汽车。你需要有意识、有分寸地使用这些交通工具。
而且我觉得，我们可以相信大家，尤其是年轻一代。眼下可能有很多焦虑，甚至绝望，因为许多数学领域的老规矩都在发生变化。但一旦大家明白可以做些什么，尤其是当工具真正到了他们手里，他们就会迎接挑战，想出极富创意的新做法，让我们忍不住惊叹，我怎么没想到呢？这太棒了。我对年轻一代充满希望，只要有合适的工具，他们就能做出惊人的成果。
邓 煜
首先，AI 是一种工具，无论好还是坏，都不是它与生俱来的属性。真正重要的是整个体系，也就是围绕这种工具形成的体系。
举个例子，保持开放，我认为这是 AI 必须具备的关键特质，这样它才能健康发展，有益于社区，并持续带来益处，从长远来看造福社区。
此外，未来会出现许多新方法，带来 AI 的新用法和新思路。不过，我先举几个例子。比如，提出问题的能力，要问对问题。
给定任何一个问题，只要 AI 给出了答案，往往还会有几个难得多的新问题，很有意思，而且直接由此衍生。你就可以开始探索。我在演讲最后的幻灯片里画了一张图，说明你可以先沿着 AI 的轨迹前进，然后试着独自朝新的方向展开探索。这就要求你能提出正确的问题，还要有全局规划。
至少有这样一些情况，AI 可以把事情做得很好，前提是人类已经对某个问题有了充分理解，可能已经有了证明的思路。比如，如果按某种方式去做，就能解决这个问题，那 AI 也许就能完成它。我的合作者 Björn Bringmann 昨天给我看了一个例子，一个随机偏微分方程问题，大家大致有思路，知道该怎么做。他用 Astra 试了一下，只花了一两天就解决了。
所以还是那句话，这首先要求你充分理解这个问题，并且有一个计划，比如证明的整体思路。当然，还要有能力提出全新的想法。所有这些，可以说，都是让你能够引导 AI 的能力，也是让你能够独立于 AI 开展工作的能力，这就是我们今天反复强调的“理解”。
人类数学家在 Open Math OS 上和 AI 协作，纠正 AI 方向，给 AI 提供路线图、筛选 AI 生成的分支问题——这下看懂了，这不就是为 AI 提供最高质量的过程监督数据（Process Supervision）和基于人类数学家反馈的强化学习（RLHF）吗？
这两位其实还是加速派。
OpenAI 太短视了，还没把 AI 的数学品味训练出来，就和数学界闹僵了，这下实质减速派了。
等 Open Math OS 这个循环跑起来，可能不出两年，AI 就能学会数学品味了，这两位也能退休了。我还等着邓煜回来写百合小说呢（bushi
至于陶哲轩，建议转行 AI Safety 继续发光发热：AI 灭绝人类风险在即！数学家该如何是好？！
关于 AI 能不能学会数学品味，我倾向于可以。数学品味其实就是人类数学界这几千年不断迭代沉淀下来的大量启发式规则、经验法则、案例、惯例等等，并不是在上千万年进化中面临极端生存压力而过度优化的本能。以下是 Gwern 的观点摘录。
完整译文请见数学的超常选择性
把数学看作标准库
我们先退一步看；如果深度学习和人工智能真的是大势所趋，那么它们至少应该在人类和数学这块给我们不少启示——我们是怎么做数学的？为什么要这么做？到底是什么让它行之有效的？
从宏观角度来看，当我们观察神经网络的缩放规律及其内部结构（尽我们所能去解读）时，它们看起来就像是一个个由小型启发式规则、死记硬背的知识点，以及简短简单的「回路」或程序构成的大杂烩，在运行过程中被灵活地揉捏在一起；随着规模的适度扩大，它们能够重组用来解决问题的小部件也就越多。 我认为，人类神经网络也是如此。 简单粗暴地总结一下：
「数学，以及或许像物理学这样的其他科学，肩负着为人类大脑——无论是单一个体的大脑还是全人类的集体大脑——做好准备或进行优化的使命，以迎接那些尚未到来的发展。 就像动物在幼年时期通过游戏来为日后生活中可能遇到的场景做演练一样，数学在很大程度上可能也是一系列游戏的集合。 从这个角度来看，它扮演着同样的角色，也许还是唯一能够改变个体或集体心智、让其为无人能预见的未来做好准备的方式。」
——Stanislaw Ulam
那么，基于这种视角，数学究竟是什么呢？
数学就像是在研究纯粹的图灵机，研究那些摆脱了现实世界杂乱细节的形式化模式与计算过程。 比方说，我们不去研究一长串苹果和橘子交替出现的情况，甚至连整数序列都不去研究；我们研究的是一个二进制序列，这个序列由一个极其简短、简单的图灵机计算得出，它只是在两个任意但截然不同的输出之间来回切换。
好吧，要是愿意，我们完全可以这么来看待数学，并根据需要去扭曲各种定义或概念（比如丘奇-图灵论题、通用图灵机、超有穷主义等等）。 但这视角的转换到底能带来什么好处？ 本来我们是要问为什么数学家偏爱那些「有用」的定理、公理或课题，现在倒好，问题变成了他们为什么要挑选那些「有用」的图灵机，这听起来也没比原来高明多少。
然而，如果我们将智能视为一堆根据需要拼凑在一起的图灵机，那情况就截然不同了。 如果一位数学家深入钻研某台图灵机，他们可能会发现它的一些重要特性，比如无需耗费算力让它一直运行下去就能预测它停机时的输出结果，或者断定某些输出结果永远不可能出现，又或者将其与另一台已被透彻研究的图灵机联系起来。 其实，光是能说出「这台 X 图灵机跟那台 Y 图灵机长得很像」，本身就已经非常管用了。
打个编程的俗例，数学开始像是一个庞大、经过高度优化且除净了 bug 的代码标准库。 如果你手头有个问题，恰好跟标准库里的某个函数高度契合，那就能省下大把的时间和精力。 就算标准库里的函数没法彻底解决这个问题——也许是因为没法完全对上号，或者你还没吃透它——它们通常也能帮你精简最终的解决方案，让你少写点那种枯燥乏味、重复劳动的模板代码。
那么，怎样才算是一个好的标准库呢？ 评判一个标准库的好坏，通常看它能帮你省下多少代码量。 如果它能帮你省下一大堆代码，那就是好库：一个设计精良、号称「自带电池（开箱即用）」的标准库，往往能把许多复杂的任务变得轻而易举，化简为区区几行代码。 编写这些库可能极其艰难——你都不敢想，写个好用的掌上计算器到底有多难——但绝对物超所值。它们在未来几十年里，能为数以百万计的程序员节省海量的时间，不仅让写代码变得更轻松，更重要的是，让读代码变得更容易。
而一个糟糕的标准库呢，里面塞满了函数……可每到节骨眼上，你要么发现没一个用得上，要么就是带着让人抓狂的限制，或者干脆就是它定义的方式根本不符合你的需求，总是掉链子。 如果用了这破库写出来的代码长度，跟你不用库、硬核用「核心」语言吭哧吭哧写出来的长度差不多，那这就是个烂库——既然如此，你费那劲用它干嘛？当年写它的人又何必浪费时间去写呢？ 而且你每次都得从头手写一遍，别人每次读你那风格清奇的代码时，也得跟着遭罪。
说到底，好代码是能摊薄成本的，因为会被反复使用（无论是运行还是阅读）；烂代码则不然——可能就跑那么一次（甚至一次都没有），而且读起来还晦涩难懂。 一个好的数学理论、定理或公理也是如此：如果它从来没在别的地方被派上过任何用场，那它到底是真有用，还是仅仅算个无关痛痒的琐碎结论——就跟记录下随便挑两个大整数相加的结果一样，除了本身毫无价值？
这里我们可以做一个跟「摊销推理（amortized inference）」（如神经网络）的类比：不同于许多机器学习或统计推理方法，神经网络在训练阶段成本极其高昂（通常得跑上几十亿遍），但一旦训练好，单次运行的成本就极低（这也是必须的，因为单单是为了训练，你可能就得跑它几十亿遍！）。 训练的成本被「摊销」到了未来所有的使用中：如果你用神经网络的次数不够多，成本就摊不薄，那么每次使用的代价就会非常昂贵；但如果你经常用，它就会变得极其高效。
因此，我们可以把数学看作是「基于图灵机的摊销推理」。只不过，数学的这种方式是显性且符号化的，而不像神经网络那样隐性地藏在庞大的权重网络中。
好吧，这个类比听起来有几分道理，但依然没有回答核心问题：衡量一个新的标准库函数或数学成果的质量，往往可以通过考察现有语料库，看它能帮上多大忙。比如，如果你刚证明了一个许多其他结论都仰仗于它的猜想，这很容易判断它的价值。 但是，这依然无法解释真正让人困惑的现象：数学成果为何总能像阴魂不散的幽灵，在其他领域那些当时根本没人能想象到的问题或课题中，以一种极其诡异的方式现身？
学会该研究什么
回到神经网络，摊销推理的一个重要例子是元强化学习（meta reinforcement learning）：它不单单是学习如何解决某个具体问题，而是学习如何解决一整类相似的问题——这些问题它以前从未见过，以后大概率也不会再见。 神经网络通过被不断抛入瞬息万变的问题环境中来学会「元学习」（meta-learn），它会掌握如何更新策略以及如何探索；它能学会一些启发式规则，比如在迷宫的每个角落都看一眼，哪怕只是为了弄清楚会发生什么。
一个元强化学习智能体不需要知道自己在干什么，也不需要知道为什么，它只管去做；它的行为可能就是一个异常复杂、艰深且计算成本极高的问题的贝叶斯最优解，但在经历了无数个回合的摸爬滚打后，它已经慢慢学会了去逼近这个最优解。 （它甚至可能并不是通过随机梯度下降等我们熟知的方式「学习」来的；它可能是通过进化而来的——通过不断让神经网络的权重发生变异，并保留那些表现优于平均水平的变异。）
那么，如果我们把数学家想象成在历经无数代演化的元强化学习智能体，他们在优化什么？奖励又是什么？
依我看，他们是在为了那些当下有用或将来会变得有用的成果而进行优化：那些能在某个新兴领域初露锋芒时证明关键定理的数学家，将收获更多的引用、声望、经费、研究生，以及同行们的赞誉。同行们会蜂拥而至，纷纷效仿。 需要注意的是，所谓的「变得有用」并不一定要在数学家有生之年发生；哪怕你不在人世了，未来的数学家依然可以效仿你。
换言之，他们得到的奖赏，并非因为他们证明了关于简短图灵机的什么理论，也不是因为他们写出了简短的证明；真正让他们获得奖赏的，是他们证明的东西，恰巧还能让后来的证明变得更加简短。 这种奖赏，其实就是压缩率的二阶导数。碰巧的是，这也是 Schmidhuber 关于创造力的最优新颖性生成/探索（optimal novelty generation/exploration for creativity）[1]的解读。
到了某个阶段，像欧几里得几何这类领域可能已经没什么好说的了，除非能从其他领域引入什么新奇的视角，于是它在大家纷纷奔向更丰美的草地时「寿终正寝」了。 幸好，既然没什么好说的了，那也就没什么好损失的了。
但还有许多领域之所以「死气沉沉」，纯粹是因为里面根本没有能说出点门道的东西。 它们要么是无法计算的，要么是不可判定的命题，要么想弄明白它们所需的计算量大得离谱，又或者是那种毫无规律可循的「混沌」状态。 在我们眼里，它们就像是「赤裸裸的事实」（brute facts），任何描述都不可能比事实本身更简短；就像试图解释国际象棋残局中的某一步棋——对于绝大多数残局的走法，除了「根据规则，这就是国际象棋里最好的一步棋，就这么简单」，根本不存在，也不可能存在其他任何解释。 从可计算性理论可知，在某种意义上，这类赤裸裸的事实几乎占据了所有事实的全部。 万幸的是，知道这些事实也没啥用处：我们既不能提前预判它们，它们也不会反复出现。
于是，我们得出了一个类似「押注稀疏性」的人择原理：唯一值得分析的图灵机，是那些身处压缩率二阶导数为正的类别中、短小精悍的图灵机。因为只有它们是尚未被彻底解剖、尚有分析余地，且极有可能在未来的分析中被重复利用的。
当然，这类图灵机的数量无穷无尽，但数学家们已经进化出了挑选出高回报类别的本领；那些眼光不行、误入死胡同的人，根本没法让他们那套「数学」流派开枝散叶。 （Quine 1969：「那些在归纳推理中总是大错特错的生物，有一种可悲但值得称赞的倾向：在繁衍后代之前就死光了。」）
数学的品味
历经无数代的积淀，各种启发式规则、态度、经验法则、庞大的成功案例库以及出版惯例等，会慢慢积累起来。 这就是我们所说的「品味」或「美感」；就像许多审美或智力上的欣赏一样，它们并非与生俱来，而是需要后天学习的——很少有人能天生领会一个「优美」或「优雅」定理的妙处，就像极少有小屁孩会天生懂得欣赏一杯醇厚的咖啡或一出精彩的歌剧。 （这也许正是为什么定义这些特性如此出了名的困难，需要一种「教外别传，不立文字」的顿悟：也许根本就不存在什么单一的特性，它们最终都能归结为一些无趣的事实，比如「我们之所以这么喜欢喝咖啡，是因为我们的肌肉发生了一点微小的突变，导致像咖啡因这种杀虫剂不但杀不死我们，反而会让我们精神振奋」。） 他们并不是在「为了这辈子的回报而努力优化」，因为他们未必知道自己在干什么，也未必明白自己那些凭直觉做出的选择为何能奏效（而且他们对这些事的理解很可能错得离谱——尤其是当这种错误观念具有适应性时，比如那种近乎宗教般的柏拉图式意识形态，会驱使他们在没有现世回报的情况下依然拼命工作）；他们只是凭着本能去做。
「心有其理，而理智对此一无所知。」我们也许可以说，数学同样拥有它的「不合常理之处」，而其理智对此一无所知。 除了它们在筛选「好」数学时展现出的那种超常的有效性之外，这些不合常理之处根本没有任何合理的解释。 这些不合常理之处摊薄了历代数学家付出的心血，并被提炼注入到这一代人身上——然后，他们被撒向世界，去闯荡出自己的一片天地。
绝大多数都会失败，就像鱼卵试图游向大海，在半道上纷纷「夭折」。 他们盲目地执行着从祖辈那里继承来的那套摊销推理经验包，把重注押在某个特定课题或方法上——结果连个水花都没溅起来。 他们的数学子嗣会越来越少，而他们自己也将沦为警示后人避开该课题或方法的反面教材。 当某个学派（物种）耗尽了他们课题的潜力，随着岁月流逝，再也没人有兴趣去学习或使用他们的成果时，整个数学流派可能就此绝迹；它们同样会被更高产的学派所取代。 事实上，大片大片的领域可能就此实质性地消亡。 但总有少数人会茁壮成长：他们执行着属于他们自己的启发式规则，也许在经历了数十年的苦苦运算后，终于获得了丰厚的回报——他们意外挖到了一座金矿——一个精妙的类比、一条奇特的公理、一个关键的猜想、一个完全出乎意料且极其重要的现实世界应用——并由此开宗立派，繁衍后代。 而这些人，将把他们自己那套经过微调且平均而言更为优秀的「品味」包，传给他们的后代。
更重要的是，正是这些人让「数学」作为一门职业的存在依然站得住脚：他们拉来了经费，也赚足了文化威望。
门外汉们正是推动这一切运转的启动器：他们看着数学这个庞大而隐秘的黑箱，在它面前高声呐喊、指指点点，往里头大把砸钱。偶尔，当某种神奇的玩意儿从里面蹦出来时，那古典的赞歌便会适时响起。 这一切到底是怎么运作的呢？
反馈的层级
综上所述，这里存在一个强化学习的层级结构，或者说是一种一路套娃的「元学习」（见我的最终保障文章[2]）。在这个层级中，每一层的优化都融入了比上一层更深的洞察力，但最终又受到更高层的制约，以确保整体上能产出成果：
- 从国家的视角来看，那些肯砸钱支持「数学」的国家，总是比一毛不拔的国家混得好。他们心里明白「我们必须大力支持理工科（STEM）」——但他们对什么才是好数学一窍不通，只能把砸钱资助「数学」这事，全权委托给大学或非营利机构。
在一个极长的时间跨度（比如几个世纪）里，他们会观察这些黑箱的产出；如果神奇的玩意儿不再蹦出来了，而他们发现别人家的黑箱产出更丰厚，他们很可能会当机立断切断资金，把自家这个黑箱彻底砸碎，换上一个新的。（日本和中国本土的数学传统就是个活生生的例子：尽管当时它们的数学水平已经相当精深，最终还是被原封不动引进的欧洲高等教育体系和数学体系彻底取代。） - 从资助者的视角来看，他们可以奖励那些外行也能根据「到底管不管用」来评判的实际应用；但这种好事太稀罕了，而且往往毫无用武之地。所以，他们只好依赖数学家们捣鼓出来的那些间接指标来决定经费给谁，比如论文引用量、拿了什么数学大奖，或者干脆就是看某人在数学界名气够不够大。
在一个中等时间跨度（比如几十年到几个世纪）里，如果资助者老是挑错赢家，他们迟早会意兴阑珊，或者干脆另寻其他更能听响的领域去烧钱。 - 从数学家这个群体的视角来看，他们往往对其他领域甚至某篇具体论文的细节一头雾水（要彻底吃透可能得花上好几年），但他们可以观察这些成果是否在别处露面，是否被其他数学分支引用；如果这些成果看起来能衍生出更多成果，而且这些衍生出的成果又在别处遍地开花，那这就是个好兆头。
在一个中短时间跨度（比如几代人）里，一个「学派」或「领域」可能会被放养很长一段时间。但如果他们辛辛苦苦吭哧了几十年，领域外依然没人关心，也看不到任何进展的苗头，这个领域就会慢慢枯萎；大家会认定它已经陷入了「为艺术而艺术」的病态、内卷和衰败之中。 - 从某个领域的数学家或最初的数学家的视角来看，他们确实能透彻理解这项工作，但要评估它是否真的有价值，他们就得调动自己内心那个名为「品味」、「美感」或「优雅」的神经网络黑箱，直接凭借直觉去破解难题。
在一个极短的时间跨度（比如几个月或几年）里，如果某条路死活走不通，他们就会立马调转船头换个思路。
正是这一整套机制，塑造了我们今天所见的数学体系：在只偶尔从现实世界获得一丁点反馈的情况下，一群数学家就能自主地在层出不穷的新问题中摸索。他们不断打磨自己的直觉，判断哪些新问题有解，并在未来的某一天哪怕能稍微跟现实世界沾点边；同时，还要时刻提防别掉进那些孤芳自赏、钻牛角尖的死胡同里——那些东西最后只会沦为知识分子的意淫和数字游戏。
对人工智能的影响
回到一个更重要的话题：人工智能（AI）。 人们常常指责大型语言模型（LLM）缺乏开放性和创造力；尽管它们在各个领域的知识储备早已碾压人类，却鲜有令人拍案叫绝的独到见解。 在撰写本文时，像 Gemini-2.5-pro 这种最顶尖的 LLM 确实能提供质量高得惊人的反馈和建议，但这一切都建立在「一问一答」的前提下。 那种毫不相干、自发涌现的灵感或点子，在它们身上似乎永远不会发生。 从没人观察到 LLM 有什么「酝酿效应（incubation effect）」——比如 o1-pro 这种系统突然中断当前任务，兴奋地报告它刚想出了一个绝妙的点子。 LLM 里根本不存在类似于人类数学家社区那种东西；你就算让一个数学大模型一直跑下去，它也不会时不时吐出点让人惊掉下巴的新东西。
如果我们把主攻数学的 LLM 类比为数学这门学科，那么 LLM 更像是一个见多识广、啃完了所有教材和课后题，但从来没做过研究的好学生。 你丢给它一个有标准答案的题目，它很可能三下五除二就搞定了。 但它们从来就没学过如何解决「如何提出好问题」这个问题。 因为这根本就没写在任何一本教材里，更不可能有什么配套的课后练习（尽管像波利亚（Pólya）的《怎样解题》算是做过英勇的尝试，但这几乎是由其定义决定的）。
这绝不是靠你乖乖坐下、拉出一棵庞大的定理搜索树就能学会的；你也许能在证明特定定理上达到超人的水平，就像 AlphaZero 在围棋上把人类按在地上摩擦一样，但你该如何学会去构思那些值得去解的、全新的定理——而不是给某个预先设定好的定理当铺路石的引理？ （不管 AlphaZero 下围棋有多牛，它也绝不知道该怎么发明出一种值得让人玩的新围棋变体。）
好消息是，虽然「品味」和「优雅」这种东西既没写在教科书里，也没被塞进哪个数据集里，但它们其实并没有那么复杂。毕竟它们必须是那种能覆盖大片图灵机空间的宏观原则，不可能包含太多琐碎的细节。 更何况，元学习在对付复杂事物时往往力不从心：强化学习（RL）的反馈信息量太少、噪音太大、过于稀疏，而且严重滞后（有时甚至能滞后几个世纪）；而且在整个数学界这个层面上，其实并没有经过太长的时间，也没有足够残酷的生存压力，所以不可能经过了过度极端的优化。 另外别忘了，数学家通常成才很快，年轻时就能干出一番惊天动地的大事。
因此，跟基于人类反馈的强化学习（RLHF）或指令微调等技术类似，我们可以预期，所谓「品味」大概只是某种「表面功夫」——也就是说，它是 LLM 本来就具备的能力，现在只需要稍微调一调参数，就能把它激发出来。
参考
1. 创造力、乐趣与内在动机的形式化理论 ./1972234251777840886.html2. 演化：强化学习的最终保障 ./1944108824375060346.html