← 返回目录

通过弹射构建类人神经网络

钻研人类记忆，探索复习算法。改善教育公平，践行自由学习。

17 👍 / 1 💬

一种推测性设想：以高学习率和强正则化训练过参数化神经网络，触发弹射／顿悟，从而创造具有人类般表现的人工神经网络。若过参数化确实是通往真正泛化的路径，人工智能与自然智能之间许多悬而未决的谜题都将迎刃而解。

Thoughts Memo 汉化组译制
感谢主要译者 GPT-5.6-sol，校对 Jarrett Ye
原文：Human-like Neural Nets by Catapulting · Gwern.net
首次发表于 2024-04-21；最后更新于 2026-06-05；状态：已完成；置信度：不太可能；重要性：10/10。
题图：经过许多代，从半透明多边形演化出《蒙娜丽莎》，说明长期优化如何最终收敛到可辨认的高质量结果。

摘要

关于深度学习和人类智能存在许多谜题，但我们可以把最大的异常描述为： 「为什么人工神经网络的聪明方式如此愚蠢，而生物大脑虽笨，犯笨的方式却如此聪明？」

我主张彻底改变深度学习的扩展范式：人脑与神经网络（尤其是 LLM）的架构差异，或许源自偏差—方差权衡——LLM 尽量降低方差，人脑则尽量降低偏差。 人脑或许是通过类似深度双下降的过参数化做到这一点的，其扩展策略是在小而多样、经过严格筛选的数据集上，以极高学习率训练极度过参数化的模型。 这种方法能以较少的样本和计算量穿越模型的损失景观，抵达（或弹射到）一个泛化能力极强的类人盆地；在接近终点之前，模型会一直表现不佳，也记不住多少数据。

如果这个猜想成立，它将解释一系列关于人类与神经网络为何各有长短的奇特典型事实。

这样的「经弹射的 LLM」将比现有神经网络拥有好得多的泛化能力，免疫对抗攻击，经济效益更好，也更难被克隆；它还可能使效率极高的 MLP 架构成为现实。更重要的是，真正的泛化能为 AI 安全奠定坚实基础，让我们获得出于正确理由而对齐且安全的实用神经网络。

这个设想并非无法检验：可以采用高学习率的周期调度，只用相对较少的步数训练数万亿参数模型，再在算术、小图像分类等任务上，以对抗样例和困难样例评测模型。

深度学习不断扩大规模、横扫各项基准，如今越来越像是真会成为最终的 AI 范式，因而在某种意义上就是人类「智能」的同类事物。于是，我们在很大程度上可以认为「智能」问题已经解决：所谓智能，就是投入足够的计算，在程序（如图灵机或电路）空间中搜索，以完成预测或优化；其中的最优解是一个相对较长的程序。

（本文是 《守护天使：为了生产力和安全的 LLM 个性化》[1] 的姊妹篇。）

广义的智能

一种以扩展为中心的观点可以概括如下：

迈向 g 的机制性实体化：按照 P-FIT，g 指可用于学习和统筹各种专门能力的全局效率／认知资源总量；如果我们把最近这一批人脑成像研究（Soreq et al 2021、Feilong et al 2021和 Hilger et al 2020）、跨物种比较与深度学习视为相互汇合的证据，我愿提出如下猜想：

大综合：智能就是执行按简单性加权的小型程序；发现这些程序的最佳方式，是搜索平滑的损失景观，例如高度过参数化可微网络所形成的景观——这类网络包含中奖彩票子网络，并对这些子网络进行集成／平均，其推理在极限情况下将逼近贝叶斯最优（类似最近邻的高维插值／记忆逐渐让位于更抽象层次上的算法泛化／插值）；这一机制可以由大量彼此相似的神经元实现，训练时可采用众多反向传播近似方法中的任意一种；无法切实专门化的一般性灵活行为，则由完成基本任务后「剩余」的神经资源引导（并由此塑造了脑化指数与异速生长标度定律所描述的规律）；人类智能中的 g 确实存在，但它其实就是神经资源的总体「资源池」（即总计算量），而这个资源池源自机体整体的健全性，因为神经元的数量与密度、髓鞘化程度、抵御损伤和感染的能力等，在因果链上都处于全身各系统与发育系统的下游，从而构成极其庞大的突变靶标；各脑区会专门化并彼此分化，它们之间的协同（或缺乏协同）会影响那些调用多个专门化脑区的任务中所观察到的表现；当任务依赖的脑区更少，或任务表现接近其内在上限时，g 便不再可观察，任务特异性因素成为主导。

异常

但是，这一范式如今看起来虽大体正确，却不能解释一切。 我们仍有许多具体问题，这一范式过于笼统，无法解释。

虽然当前的神经网络，尤其是 LLM，拥有类人的长处和弱点，远比此前创造的任何 AI 软件都更像人类，但机器智能与生物智能中仍有一些异常现象没有很好的答案。

我们面前有许多谜题，但它们不知为何都像是彼此相连。

人工智能

样本低效

人类看起来用少好几个数量级的数据就能学习，而且（鉴于对人脑等效计算量的各种估算）他们用更少的总计算量学习也愈发显得可信，为什么神经网络却需要 Chinchilla 式的数据与计算扩展？为什么不像 Alan Turing 等众多连接主义先驱所预期的那样，我们不像训练儿童一样训练 AI，设置课程和清晰的发展阶段？

人们提出了许多答案，但没有一个令人满意。 （而对于 Rosenfeld 2021 的「Nyquist 学习器」之类的理论结果，我们又该如何看待？）


样本效率

在狭义比较中，神经网络的样本效率相当高，那为什么神经网络却需要如此多的数据来预训练？

尽管神经网络预训练使用了大量无差别数据，但我们之所以困惑，是因为如果考察模型在同类对比中的表现，神经网络看起来与人类或生物神经网络从小数据中学习的能力大致相当。

对于代价高昂的数据扩展，最简单的答案会是神经网络在学习每个数据点时做得很差——但当我们比较上下文学习（即便是 GPT-3）、平滑扩展的迁移学习、儿童规模的数据集（例如 SAYCam、BabyLM、TinyStories），把 AlphaZero 的围棋／国际象棋总对局数与历史上人类职业选手的总对局数作比较，或者禁用人类先验以比较学习速度（参见人类与 Transformer 元学习之比较），以及从一本书学习一种未知语言或在虚拟现实中饲养小鸡并将其视觉能力与 Transformer 比较（或者反过来，观察人被被动养在隔离舱中时会对世界形成多么严重的错误认知）等非凡实验时，这一点似乎并不成立。

我们如何调和这种表面上的矛盾？

小规模

为什么神经网络如此智能，却又如此之小？

像 GPT-3 这样的神经网络约有 0.1 万亿个参数（而且这些参数只是对生物神经元荒谬简化的漫画式抽象）；人脑却被极其粗略地估为拥有 100 万亿个「参数」，许多神经科学结果还被认为意味着，其中每个「参数」至少相当于数千个等效参数。LLM 又因缺乏循环和在线学习而处于劣势，通常不能像大脑那样持续学习、进行自适应计算或「深思」。 然而，尽管存在所有这些严重劣势，LLM 似乎还是太好了。 感觉上，GPT-3 所知道或做到的，并不少于人脑的 1⧸100,000；但如果我们主张一个更可信的数字，比如 1⧸1,000，是真的，那么这似乎等于使我们承诺这样一种立场：人脑极其浪费等效参数（尽管生物大脑架构的优越性和效率所承受的进化压力备受吹捧）。 而如果 GPT-3 确实知道得那么少，那么 GPT-3 所缺少的那 >99,999 样东西是什么——其中每一样都需要整个 GPT-3 才能处理？

这一观察变得更加极端，因为众所周知，GPT-3 这样的神经网络是高度过参数化的，可以缩小几个数量级；而且我们也知道，小型神经网络可以通过长期训练达到大型模型的表现（尽管计算效率很低）。 我们似乎处在 Scylla 与 Charybdis 之间。

另一种说法：为什么人脑如此过参数化？ 许多人用比其他人小得多的大脑也能过活；脑容量与智能之间存在真实的因果相关，但即便考虑到脑容量只是底层神经网络容量与速度的一个粗糙代理，其效应量看起来仍小得惊人。 只要发生在发育早期，生物大脑就能在惊人的物理损伤或脑组织损失下存活（例如大脑半球切除术；另见脑积水）；而且要找到会损害 IQ 而不是特定认知能力的脑损伤，难度高得出人意料。 在跨物种比较中，存在清晰的异速生长，排名也合乎情理，但斜率很平缓：大脑体积不到人类三分之一的黑猩猩，在智能和创造力方面，往往显得足以与一些人类竞争。 还有蜘蛛之类的非凡实例，或蜻蜓仅用 16 个神经元就能锁定猎物的能力，它们进一步提出了为什么如此多神经元才有必要的问题（事实上，幂律扩展总体上也提出了这个问题）。

超人预测

具体来说，为什么就困惑度／每字符比特而言，即使 GPT-2 这样的小型 LLM 似乎也已经在下一个 token 预测方面超越人类，却仍在基准和现实世界中远逊于人类，而且在各方面都能从扩展下一个 token 预测的预训练中获益？

下一个 token 预测预训练显然有效（而且持续有效），然而我们讲述的关于它的简单故事显然也缺少某些东西。 人类似乎对越重要的 token 预测得越好；为什么，又是如何做到的？

持续存在的对抗样例

为什么神经网络的对抗样例在十多年后仍未解决，而针对人类的最佳对抗样例尝试是否成功仍有争议？

2013--2014 年的 DL 问题几乎没有任何一个遗留至今，然而到了 2024 年，对抗样例不仅仍然存在，而且在标准神经网络模型上依旧一如既往地强大。 人们提出了无数解决方案——都失败了。 最好的防御很弱，而且会损害表现，例如对抗训练会损害泛化（但奇怪的是，它似乎更像人类）；或者像鲁棒性认证一样无法扩展。 SOTA 神经网络甚至很少尝试减少对抗样例，LLM 高度易受影响（并且具有粗糙的决策边界），而 DL 从业者通常把它们作为生活中的既定事实接受，并绕开它们。

与此同时，试图将它们迁移到人类身上，或创造新的样例……在某种程度上有效，但效果不大；要把它们推进到会引发有意义的人类错误的程度，就需要如此大的失真，以至于它们似乎不再有意义。

生物智能

人类失忆

与神经网络相比，为什么人类如此健忘？

如果像啮齿动物研究那样，遗忘对生物大脑灵活决策至关重要，正如有人所主张的那样——这一论点部分来自与权重衰减或 dropout 等成功机器学习正则化技术的类比——那么与人类相比，为什么最成功的神经网络仍能记住如此之多？ 例如，GPT-3 这样的 LLM 在文本上训练一次后，就能随意记住整页文本。 这并不是一种非凡的能力，但它在LLM 中经常发生。而且它们变得越大、越好，就越能记忆。

而对于人类，即便是那些以自己的文本记忆力为傲的人（比如我自己），如果不广泛练习记忆技巧，要记住任何一页文本实际上都不可能；我们满怀敬畏地讲述少数似乎具有照相式记忆的人（而且他们证明了人脑能够做到这种事，只是通常不会这样做）的故事。 普通人缺少照相式记忆，以及我们的理解有多么肤浅，可以通过极其简单而好笑的例子来证明，例如「字母『g』是怎么写的？」或者「在美国一美分硬币上，Lincoln 面朝哪一边？」 事实上，我们的记忆（以及总体上的能力）如此糟糕，以至于除了很难记住昨天早餐吃了什么，或学会基础常识，例如「俄罗斯的首都」之外，我们还忘记了几乎整个童年，并把这种童年失忆视为完全正常，甚至可能否认这一事实。

鉴于以下事实，这尤其令人费解：我们一生中神经连接从未多于童年时期，因为它们不断死亡或被修剪；这种现象并非跨物种普遍存在；这种失忆似乎不会损害运动能力或语言等更核心的知识；重要的创伤性记忆可以保留；而且那些丢失的情景记忆在相当程度上依然存在——可以通过反应时间更短、对模糊图像识别得更快，或需要更少提示／线索等隐式指标检测到。

这也不是因为记忆事实对学习无用；记忆对学习至关重要。 但是，如果记忆如此有用，知识越多越好，为什么最成功的人类记忆者似乎表现不佳，而这充其量是一种祸福参半的能力？为什么关于照相式记忆的例子，据传与创造力或泛化方面的奇怪局限有关，例如 John von Neumann 或 Luria 的 Solomon Shereshevsky，而在间隔重复记忆研究的实验中，更好的记忆似乎有助于泛化与理解，并没有此类弊端？为什么正常人类能够记住一些东西，例如《古兰经》、《Paradise Lost》或荷马史诗，只要给足时间、动机并使用记忆宫殿等技巧，却无法把这种能力当作常态？

最极端的案例是「白痴学者」，他们的整体表现模式及 DL 之前的描述，与 LLM 惊人地相似。 学者症患者的壮举记录得太充分，不容怀疑，但不可能舒适地纳入标准框架：如果有任何人能在 LLM 的强项上击败它们，那就是学者症患者，但为什么学者症似乎只能伴随如此严重的代价？

人类的无知

而且总体而言，为什么与神经网络相比，人类如此无知？

我们不仅不容易回忆起很多东西，也没有掌握多少东西：即便是 2024 年的低质量 LLM，其知识广度也远远超过任何单个人类。 人类专家在自己狭窄的专业领域里通常仍能胜过最好的 LLM，但如果我们用与评测 LLM 时同样广泛的问题来测验人类，我认为没有任何在世人类能接近它们。

人类智能

那么，为什么人类总体上如此聪明，也就是说，为什么人类的泛化更为稳健（避免使用非鲁棒特征／凹陷流形，例如 GAN 隐写术[inline-3]）、更具创造力，而且基本免疫于对抗样例？

神经网络最反直觉的一点是：尽管它们极其流畅，也确实具备真正的能力，却仍会偶尔犯下低级而明显的错误。 LLM 尤其如此——即使排除由 BPE、RLHF 与其他安全调优、贪心采样等造成的技术问题，它们仍会犯下令人困惑的致命错误，导致自己原地打转，而且在那些似乎拥有充足训练数据的事情上无法泛化。

另一种说法是：鉴于神经网络似乎如此容易记忆并过拟合（而且众所周知，它们可以记住所有训练数据），并通过「直接拟合」来运作，以便在「未充分规定的」训练数据之间进行「插值」，那么它们究竟为什么能有任何程度的泛化？

睡眠需求

为什么人类需要睡眠——而且需求强烈到，如果被足够严酷地剥夺睡眠，我们通常会死亡？

相比之下，当前 DL 中没有任何已知的睡眠等价物，也没有任何明显的睡眠需求。

即便对于持续学习或强化学习回放，普通的小批量 SGD 也已足够。 仅仅为了在某些新数据上训练，并不需要长时间处于离线不活动状态或进行非交互式计算。

分阶段发展

为什么人类发展的阶段性跃迁远比神经网络明显？

儿童似乎经常分阶段发展，并出现突然的冲刺（Van Der Maas et al 2006；van Geert 1991；另参见相变神经动力学）。 此外，儿童会说、相信和做出各种疯狂、愚蠢或邪恶的事情——虽然人们取笑 LLM 有时说出的离奇话语，但和小孩子日常说的话相比，LLM 根本算不上什么。 （这让人怀疑人脑如何能达到成人阶段，因为它们显然都必须经历小孩子的阶段；如果一个成年人说出这种话，他们会被关进精神病院，或者被当作未来的连环杀手而令人恐惧。）

这与神经网络显著不同。 神经网络在训练过程中也会经历不同阶段，在规模扩展时也会出现涌现；然而，许多已经识别出的相变，例如「归纳头」，甚至几乎不改变训练损失，也只影响寥寥几个基准。 总体而言，除学习率的变化——尤其是周期学习率——之外，神经网络训练似乎比人类的发展平滑得多。

缓慢发展

为什么智能的发育需要如此漫长？

既然较大的模型样本效率更高，而许多聪明动物（当然包括人类）的大脑规模都大得多，为什么它需要这么久？

神经网络扩展中最普遍的观察之一是，无论任务是什么，「参数量更大的模型样本效率更高」：更准确地说，与较小的模型相比，它们从每个数据点中降低更多损失，因此，当训练图比较损失与已处理数据量时，大型模型呈现出明显比小型模型「更陡峭」的骤降。[inline-4]（这提出了一些我不确定我们是否知道答案的重要问题：「极其、极其大的模型——比我们当前训练的模型大多个数量级——样本效率有多高？它们必须变得多大，样本效率才不再提高？如果它们确实在某个点停止，更好的正则化能修复它们吗？如果我们在某些情形下受数据限制，为什么不训练这些模型？」）

由于许多动物大脑的参数数量似乎远远超过曾经存在过的任何 DL 模型，并且拥有庞大的计算预算，却受限于顺序处理样本，我们朴素地预期会有更加陡峭的骤降。 智能的代价会是运行大脑，而不是实际经过的时间。

但是，无论我们观察灵长类、鲸类、大象还是鸟类，都会看到智能往往与漫长的童年、长寿和低繁殖率相关。 这些漫长的发育期似乎无法单靠代谢解释——强行给幼儿大量喂食，并不能造就大学生水平的人类智能。现代人热量充足，平均青春期年龄确实一降再降，却似乎并未显著加快大脑发育。

而且，为什么发育会停止？为什么我们不能终生保持神经可塑性，反而似乎在成年早期之后依惯性前行，即便像许多老年人一样几乎停止学习，看上去仍然功能完备？

人类的缓慢

为什么在人类身上，许多其他动物很快就能学会的事情，发展却可能耗时如此之久？

例如，一些猎物动物在出生后几分钟或几小时内就能行走甚至奔跑（部分得益于通过抽动进行的胎儿运动控制训练），而人类儿童出生 >5,000 小时后，身体和心智才具备爬行能力。

那么，进化赋予的有信息量的先验又在哪里？ 进化心理学尤其提出，许多复杂的社会行为可以追溯到基因，并且会发现人脑具有「大规模模块化」；这一研究计划已经彻底失败。

训练动力学的质性差异

人类身上为何不见与主要神经网络动力学相对应的现象，例如深度双下降（即便对 1,000 阶多项式样条也成立）、「逐 epoch 双下降」、超收敛、顿悟／弹射，或耐心教师？

而如果确实没有，为什么没有？

睡眠

Tononi 的SHY 是试图解释一般睡眠（而不是做梦）的最有趣理论之一。 在 SHY 中，神经网络的局部学习迫使其「睡眠」，随着神经网络学习，其「权重」会随时间增大；这是件坏事，因为它直接增加了突触放电的能量需求，而且（就像人工神经网络一样）使记忆比泛化更容易。 这些「权重」都需要乘以一个分数，将它们缩回正常能耗水平，并帮助大脑正则化；但不能逐一完成，因为它们全都在使用中。

因此，睡眠就是让整个大脑离线，以便同时缩小所有权重。 所以，你可以暂时不睡，而大脑继续艰难运转，权重缓慢增长并变得越来越低效；但这会造成越来越多的问题，最终某种东西会发散。

（因此，梦并非必不可少；它们可能更多是一种增强手段，通过执行一种比清醒时所能做到的更极端的经验回放形式，进一步提高样本效率。）

学者症

学者症患者通常能够完成非凡的记忆或感知壮举，例如仅看一眼照片便绘制出近乎照片级逼真的图画，或记住书籍。

（非自闭症的）Kim Peek 怎么可能「在 16--20 个月大时……记住读给他的每一本书。 他的父母会沿着正在朗读的每个句子移动 Kim 的手指。」？ 他不可能在婴儿期就掌握记忆宫殿，或数小时反复练习之类的成人记忆技巧；相反，借用机器学习的说法，他似乎只用一个 epoch 就能记住这些书，再像 LLM 那样原样复述。

此外，为什么 Peek 和其他学者症患者似乎能完全避开童年失忆（相关叙述强调，他们的记忆往往持续一生，而 Peek 似乎记得幼年时读过的书），同时看起来也没有经历童年发展阶段？

为什么他们通常会遭受严重的神经系统问题（与左半球创伤有关）和身体问题，并在抽象理解和一般智能上表现出显著缺陷？ 例如，「他［Peek］无法解释许多常见的谚语」——对于学者症患者而言，即便有能力在这种程度上抽象理解某些谚语，也被认为很不寻常！ 早在 Down 1887，观察者就被许多学者症患者终生的「言语黏附」与其理解或一般智能之间的反差所震惊。 （Treffert & Wallace 2002 指出，在约 100 个有详尽描述的病例中，最高 IQ 为 114。） 与 LLM 的相似之处尤其引人注目的是，学者症患者也能进行虚构：Down 1887 描述了一个不识字的孩子，他会「拿起一本书……相当熟练地即兴编出各种故事，而且可以随意变化，以迎合他所想象的听众口味」。[inline-5]

在日历日期或开方等数学计算天才的案例中，可以在一定程度上推断底层算法，而这些算法似乎将大量记忆和提炼后的直觉与显式算法混合在一起。 这些似乎都能从禁用大脑较高层级中受益。

学者症患者往往有智力障碍，或在其他方面异于常人。 在这个语境下，一个重要例子是 Luria 著名的记忆大师 Solomon Shereshevsky（《The Mind of a Mnemonist》），他就是会记住自己看到或听到的一切：部分是通过广泛运用可视化与「记忆宫殿」等记忆方法，但他的联觉程度也意味着，一切对他来说都不可分割地相互关联。[S]

[S]联觉：

正如许多读者指出的，S. 的案例类似于 Jorge Luis Borges 的故事《Funes the Memorious》，这是一部虚构作品，讲述一个被记忆的持久性折磨的人。
Borges 写道：「思考就是忘记差异、进行泛化、进行抽象。」
「在 Funes 过度充盈的世界里，除了细节别无所有，几乎相互毗连的细节。」
类似地，Luria 写道，对于 S. 而言，几乎每一个词、每一个想法，都承载着过多的细节。
例如，当他听到「餐厅」时，他会想象一个入口、顾客、一支正在调音、准备为他们演奏的罗马尼亚乐队，等等。
和 Funes 一样，S. 有一种私人语言，用来编目其丰富的心理联想。
意第绪语中表示「蟑螂」的词，在他心中也可以意味着金属夜壶上的一个凹痕、一块黑面包皮，以及一盏无法驱散房间里全部黑暗的灯所投下的光。

他在理解非字面解释、阅读甚至识别人脸方面都有困难——他当然能准确记得一个人的脸以前是什么样子，但却无法泛化到他们的脸现在是什么样子。 为什么他不能从回忆一个人每种面貌的能力中获益，并获得不可思议的超级人脸识别者能力？ （另见超忆症：拥有 HSAM 的人，并非在学习方面具有内在更优的记忆力，而是在不遗忘方面——他们似乎很难专注于日常生活，也很难应对焦虑或对糟糕日子的记忆。） 他有一种听起来像是适应不良的白日梦的症状，最终死于酗酒。

类似地，John von Neumann 著名的聚会绝技之一，是记住许多页书，并能按要求背诵书籍——这只是他已经成为传奇的诸多非凡认知壮举之一。 但 von Neumann 也曾受到批评：他被认为迂腐，凡事都要写得过分明确，解法不够优雅，偏爱蛮力计算，还过于依赖照相式记忆来追踪复杂的推理链。 Eugene Wigner 与 Von Neumann 如此熟悉；他在描述 Von Neumann 的壮举时，发出了告诫：没有一项是真正原创的，而据报道，Von Neumann 自己说过，「［我］会被遗忘，而 Kurt Gödel 将与 Pythagoras 一起被铭记」。 von Neumann 是否曾经有足够的原创性与创造力，可以像 Pythagoras 或 Gödel 那样真正伟大？ 他是否受制于自己的渊博知识与计算能力（即便不完全是「图书馆工作」），无法像 Grothendieck 那样钻研到问题的本质？

如果我们把缺少抽象或童年认知发展的后期阶段、记忆、联觉（未能分离模态）、左半球损伤（尤其是颞叶）、虚构能力，以及与正常人类相比认知能力普遍极度失衡这些观念结合起来，我得到的印象是，学者症患者是人类的「LLM 版本」。 学者症患者是大脑中某个关键节点失灵、高层过程变得不那么有效时有时可能出现的结果；这会暴露大脑更多低层的原始智能，而这种智能满足于大规模记忆等较简单的学习形式。

顿悟

一个很好的例子，是受到广泛讨论的「顿悟」现象。 在最初的顿悟论文中，一个小型神经网络接受训练来解决一个简单的算术问题；正如预期，它很快记住训练数据，实现 0% 误差，同时无法在留出数据上泛化，误差约为 100%。 更令人惊讶的是，在训练足够久之后，它有时似乎会随机地开始逐渐改善在留出数据上的表现，尽管训练误差约为 0%。 神经网络受到的正则化越强，顿悟的概率就越高——例如通过过采样隐含数据，这些数据无法轻易记住；而尤其是通过权重衰减，它试图缩小神经网络权重的大小。 （权重越大，就越容易把信息编码到其中，并记住训练数据。） 发生了什么？

从机制上看，顿悟时发生的事情似乎是：初始超参数选得「不好」，神经网络很快就在模型空间（即损失景观）中找到附近一个代表「记忆」解的局部最优点；但训练足够久后，权重衰减或其他正则化会让这个局部最优点变得太「窄」，再也困不住神经网络，于是模型随机走出去，或被「弹射」出原来的解，最终抵达模型空间的新区域。

这个新区域仍然有约 0% 的训练误差……但它对应一种与记忆完全不同的算法，这种算法在某种内在意义上比「记住所有训练数据」更简单，因此不足为奇，它泛化得更好，即便存在数据错误时也是如此。 （实际上可能存在许多种算法——对于那个特定算术问题，有数量惊人的有效算法。） 而且，由于它更简单，就有更多可能的模型都对应同一事物，因此模型空间的这个新区域比记忆区域「更宽」，所以模型通常不会随机走出这个区域；或者，即使走出去，也可能找到第三个更大、更好的区域，依此类推。

这是一个相当有趣的结果，但如何把它应用于其他任何东西，例如全尺寸 LLM，并不明显。 如果训练足够多的 epoch，无疑可以把 GPT-3 这样的 LLM 训练到零训练误差——但成本将高到无法承受，之后你仍须在那之后继续训练足够久，才能触发「顿悟」。 鉴于即使在能想到的最小玩具数据集上，触发「顿悟」也可能需要数小时，真正的「LLM 顿悟」不可能实现。 但顿悟现象很有趣。

周期学习率

周期学习率研究也呈现出相近的主题，其中包括超收敛和余弦学习率；Chinchilla／MiniCPM 就采用了这类方法（相较 Kaplan et al 2020 有大幅改进），而且它似乎也是持续学习的关键。

周期学习率调度具有独特的损失曲线，看起来像模拟退火：当 LR 变高时，它会有规律地飙升至（非常）高的水平，但在 LR 降低时迅速下降，并取得迄今最好的结果。 这些往往对应巨大的能力提升；人们可以把高学习率时期视作通过「探索」创造新模型，而低学习率时期则「利用」并微调新模型，随后再从头开始。 （而且有趣的是，周期 LR 可以无限次运行。）

因此，如果没有得到恰当评估，周期 LR 可能看起来很糟糕，因为它们拿短期损失最小化换取长期收益——如果你正确设置它们，而且与其他 LR 调度相比运行得足够久，「曲线就会交叉」，但在此之前……

在这方面，周期 LR 看起来与童年发展极为相似，包括尝试学习新能力时的高错误率时期（例如，儿童学习反讽时，在此之前通常会经历一个犯下许多重大错误的时期，因为他们无法判断，对一个显然事实的否定何时是反讽的有效用法，何时只是错误）。

对抗样例与等周性

还要考虑另一个扩展之赐：对抗样例与等周性论文。

对抗样例被发现 10 年后仍未解决，每一种防御都已被攻破，而且对抗样例甚至能以许多方式迁移，例如跨模型或跨模态。 对抗样例似乎随参数规模增长而减弱，但不一定随常规的计算最优扩展而减弱。 等周性论文认为，原因在于当前神经网络可以看成把潜在空间切分成一个个分段定义的线性区域，每个参数参与刻画一部分；区域之间的边界因而既线性又脆弱：它们不会按应有的方式「顺势弯曲」，只会直直延伸。 因此，只须以各种方式轻轻「推动」某个数据点，就很容易让它越过这种过度简化的线性边界，落入错误区域。

只要用足够多的小线段拼接，就能以任意精度逼近真实、正确的曲线；但这可能需要极其多的线段，也就需要大量参数（以及数据？）来逐一定义。

这正是对抗训练等防御手段屡屡失败的原因：它们没有解决根本的几何问题——问题不在少数几个参数，而在所有参数；无数条边界都过于笔直，处处留下可乘之机。 这种防御充其量可以消除特定样例，或许还会让特定攻击者更难找到一个样例，但它们可能只是把问题推到别处，或诉诸「以隐蔽求安全」。 这也是样例如此顽固且可以迁移的原因：模型往往会以大致相似的方式概念化与思考，而且它们全都严重欠参数化，因此往往具有类似的漏洞。

等周性论文显然传达的信息是，你需要扩大模型规模。 而且不能只扩大一点：他们的粗略估算表明，用于 ImageNet 等任务的模型至少小了 2 个数量级。 你可以想象，这必然意味着 LLM 会怎样！GPT-3-175b 规模的稠密 Transformer 模型可能需要达到，比如说，100 万亿个参数。

不幸的是，无论使用 Kaplan 还是 Chinchilla 扩展定律，一个 100 万亿参数的稠密 LLM 在可预见的未来似乎都不可行。 要训练一个能够逐一拟合由那 100 万亿个参数定义的所有微小线段的模型，至少需要同样多的数据——所需数据会天文数字般多于可能存在的数据，而在那么多数据上训练那么大的模型，其训练成本也同样是天文数字。

至少……如果你用标准的「尖锐」SGD（贪婪、短视的一阶方法）逐个考察并拟合这些参数，情况会是如此。 如果你反而让双眼失焦，凝视这些线条，所有像素化的折线也许会模糊成平滑曲线；而只要看得足够久，某个瞬间，这些曲线或许会突然拼成一幅达尔马提亚犬图案。

这就是神经网络弹射到新模型盆地的方式，可能学到内在更加鲁棒的模型，获得等周性之赐，而无须采用直接用数据拟合平滑曲线的蛮力方法。

大脑如何运作

[Geoff Hinton] 讲述了有一天自己下班回家时极度兴奋，高呼：「我做到了！我弄清楚大脑如何运作了！」
他的女儿回答：「哦，爸爸，怎么又来了！」
——Pedro Domingos（参见 NIPS 2010）

所有这些异常似乎共享同一个核心：参数、记忆、泛化与训练之间存在一种类似扩展定律的关系，也就是多方的偏差—方差权衡。不同系统落在 Pareto 前沿的不同位置：神经网络在样本内方差低，但在样本外或面对难题时偏差高；生物大脑则位于另一端（中间是一片没有任何系统令人满意的尴尬谷地）。

我认为，核心洞见在于：记忆得太多，是抽象能力的敌人。它会把模型引向一个虽能把误差降至最低、编码的却是错误算法的局部最优点。 相反，我们必须违背对过拟合的直觉，以一种看似悖论的方式，用尽可能大的模型来处理人类所能获得的少量数据，同时避免过拟合。

训练现有 DL 模型时，模型总爱走捷径，很快便锁定自己能找到的最近一个损失函数局部最小值。 在这个最小值上，模型往往极其高效地记住数据，学会所有非鲁棒特征和统计捷径。这套技巧确实有效，也确实称得上智能，并非「作弊」（非鲁棒特征确实存在于留出数据等之中）；但它无法泛化到远远超出这些数据的地方，因为模型并未找到真正的底层算法或潜在流形。

为什么顿悟的神经网络似乎需要「通过记忆来泛化」？ 为什么在记忆阶段之前，向真正目标取得进展可能很困难？

也许是因为 LLM 在训练中不断记住又忘掉数据点（所以数据在数据集中出现多少次很重要：重复越多，训练结束前不久见过它的概率越高）——可这种遗忘究竟有什么好理由？「重复是学习之母」（这正是间隔重复有助于抽象，而不只适合死记硬背的原因）：如果神经网络不断忘掉再重学各个部分，就连 A + B = C 这么简单的命题也难以泛化。

顿悟似乎分两个阶段进行：首先记住所有可用的训练数据，然后在内部逐渐发展出一种日益精细的泛化算法。

由此看来，记忆的益处可以比作教育中的「学习事实」阶段，而泛化阶段则是「神经网络反复思考乃至深思已经学会的事实，直到真正理解为止」。 每个小批量都是对数据的又一次「思索」；神经网络试图把握数据的整体，不再只把它看成一堆孤立事实，而梯度下降则缓慢逼近泛化算法。 （而记住太多事实，可能会因为需要记忆的东西太多，「挤出」泛化算法，从而破坏顿悟——记住少数精心选择的样例，比记住无数冗余的琐事更有用。）

那个真正目标或许位于损失景观中「非常遥远」的地方，要到达它，可能需要多得离谱的数据——每个数据点都艰难地把模型往舒适区外推一点点，直到某一天，大量长尾异常的重压终于迫使它转变成正确的模型。

正确的算法位于模型损失景观的遥远区域；若想只用合理数量的训练数据到达那里，模型就必须长途跋涉，经历某种顿悟／弹射／超收敛。这只有在模型过参数化到足以编码平滑路径时才可能实现，例如穿过鞍点——毕竟所有模型似乎都呈线性模式连通状态——而且模型还能在极其庞大的模型族上做集成，让它们「模糊」成对后验分布的平滑抽象。 然后，高学习率训练对于推动模型穿越会减慢优化的常见鞍点与平原至关重要；模型在高学习率和低学习率之间振荡，前者让它逃离当前的局部最优点，后者则巩固收益并找到新的逃脱路径。 这类模型天生需要经历许多时间步的长期串行训练，既无法轻易「并行化」，也难以一次吸收大量信息；它们还会受益于多次长时间的停机（「睡眠」），以便从全局修复学习造成的损伤，或补做积压的步骤。

这样的模型只能记住很少的训练数据，因为要记住数据就需要僵硬、脆弱而精确的参数——但这些参数全都需要被回收，并探索陌生的新模型损失景观，以便最终到达应许之地。 因此，无论训练期间还是训练之后，这样的模型都会遗忘，在奖励记忆的基准（如陈述性知识）上表现很差。可与此同时，它会避开对抗样例，因为它的决策边界不再是由极少参数刻画、依赖非人类式高频、偏向纹理的非鲁棒特征的线性边界；它还会学会所有子技能、掌握技能的全部组合，实现「弹弓式泛化」，从而很好地泛化到困难问题（按定义，这些问题在标准基准中只占一小部分），并解决当代 DL 的许多问题。

这种模型将很难被发现，因为人们使用提前停止，而且 DL 训练（以及研发总体上）普遍贪婪，即使核心思想早已为人所知，并有大量相关文献：就像最初的 DL 扩展思想一样，弹射的回报仅仅需要太久才会到来。

这种智能并不那么难以演化[inline-6]，但通常并不值得。 因此，这种智能落在一个尴尬的生态位里：对许多动物而言，鲁棒泛化还不如联想、模仿等更简单廉价的学习方式，或直接硬编码进遗传信息来得实用。 只有当环境提供了足够多可预测、但又不过于可预测的高回报机会，从而适当地奖励鲁棒泛化时，它才能收回高昂的成本。

训练一个经弹射的 LLM

什么是有用的最大LLM？

LLM 越大，样本效率越高。 这一点在什么参数规模上不再成立？ 而为什么我们还不知道这个问题的答案？

一个「人类规模的 LLM」（或HLLM）会是什么样子？

首先，为形成平滑连通的损失景观，相对于整个问题，它需要高度过参数化。 其次，因为它如此过参数化，标准超参数会导致过拟合但不会造成弹射；需要强正则化，而权重衰减可能还不够（因为它不会带来太多模型移动），但鉴于超收敛等先前研究和人类方面的对应，高学习率调度可能足以充当正则化。

最终的全尺寸 HLLM 可能会像一个稠密 Transformer 或 MLP，比当前训练的模型大多个数量级[inline-7]（即超过 10 万亿个参数，可能超过 100 万亿[inline-8]），以便相对于完整分布实现高度过参数化。 （在顿悟论文或等周性估算中，神经网络通常比「合理」规模大几个数量级，所以，如果把 GPT-4 水平模型粗略估为约 1t，我们只能很粗略地推测弹射状态约在 100t。） 这个神经网络或许应该「窄而深」，重深度而轻宽度。DL 的一个长期趋势是，「宽」网络往往更偏重记忆，不善于表达算法式／计算式推理；而 DL 神经网络很少采用循环／迭代计算，也很少组合多步推理，因此看起来颇不像生物系统（RNN 虽然整体逊于 Transformer，却常在特定案例上表现更好、泛化更强）。[inline-9] 人们往往避开非常深的网络，因为过拟合或不稳定性会让它们的理论优势失去意义；但弹射可能会解决这一点，并从归纳偏置中受益。 这与样本高效 LLM 的最新研究一致，例如 Kim et al 2025 或 NanoGPT Slowrun，这些研究强调增加参数规模（例如通过集成）和在许多 epoch 中施加强正则化。

神经网络在 BabyLM 规模（约 0.1b 个词）的小型文本语料库上训练。 这里的一个好处是，因为样本量必须受限，这意味着可以对其质量／去重进行极为严格的筛选：因为数据分布决定模型是否会进行元学习，数据集应当尽可能多样，并尽量惩罚记忆（见 Wang et al 2024）。 每个小批量应该采样尽可能多的不同数据点，而且同样要最大化各批次间的多样性，这样每次弹射步骤都可以同时针对尽可能多的「技能」或「能力」进行弹射。 这会延迟各项技能的学习，因为每种技能都只有最低限度的数据可用，不会获得远超所需的训练量，而且它们往往会同时学会——这导致多步过程突然开始成为可能，即「涌现」。 （因为人类能在短期记忆和长期记忆中，并通过海马体回放记忆，所以，如果没有足够高质量的多样数据进行单 epoch 训练，进行多个 epoch 也是合理的。）

弹射本身源自类似超收敛的周期学习率调度，或许还结合了强权重衰减。[inline-10]

那么，如果我们用周期调度施加强正则化，在高度多样、已尽量剔除重复并抑制死记硬背的数据上训练这个超大 LLM，会发生什么？ 我们会观察到经典的周期训练损失行为：先出现尖峰，随后达到新的低点；但在真正的留出数据上，表现会停滞不前，因为 LLM 正经历记忆阶段，最终会到达一个新状态，在那里，它开始从记忆转向在许多任务上同时泛化，随后会突然「涌现」。 每个周期都会建立一套新的原子技能，它依赖于前几个周期中学到的技能（类似于发展阶段）。

以算术进行原型验证

或许可以先在算术等当前 LLM 明显泛化不佳的小规模任务上，检验 LLM 弹射。 算术几乎是 LLM 仍会以古怪而脆弱的方式出错的最小、最简单、也最容易生成的问题，因此是绝佳的试验场。

小型、廉价的 LLM 能够通过适当格式学会算术，但标准 LLM（在自然算术文本数据上训练）仍未实现真正的算术，即便处于 GPT-4 这样的能力前沿也是如此；而算术问题容易生成、评测、理解，甚至容易对其进行神经网络可解释性研究。因此，人们可以在预训练 LLM 上试行弹射，寻找能让它比标准微调更快找到真正算术的训练调度。

更具体地说，可以先筛出「困难」算术题，再寻找一种弹射训练方案，使其扩展定律的指数低于「标准」训练方案。 如果使用普通算术题，那么罕见难题上的收益会被平均表现彻底掩盖；而恰恰是这些难题，才能暴露 LLM 学到的不过是零散的启发式方法、近似技巧和背下来的答案。 （完全有可能，在实现完美的算术表现泛化之前，一个大体已成功学会真正算术的经弹射 LLM，其平均表现会逊于尽可能多地进行记忆的常规 LLM。）

因此，可以严格筛出最难的 0.1% 算术题（算术空间实在太大），由现有 LLM 评估难度，或测试模型能否泛化到超过 n 位数的题目；再把这批题目作为留出数据，对所有训练方案进行扩展定律扫描。

扩展定律会忽略训练运行中的平均情况表现，也忽略困难数据上的常数因子，寻找困难数据的扩展定律指数变化。

理想情况下，人们会找到类似这样一种训练方案：经过许多 epoch 后，经弹射的小型 LLM 在困难数据上的改进速度比标准 LLM 更快；即使经弹射的 LLM 在各处都显著更差，更快的改进速度意味着，到某个时刻「曲线会交叉」，经弹射的 LLM 将更胜一筹。 这将成为概念验证，证明在算术这种更复杂、甚至仍会难倒 SOTA LLM 的问题上，弹射不仅可行，而且会改变扩展定律。

然后，为验证这个结果，人们可以把可解释性研究应用于它（例如 Zhong et al 2023）：最终经弹射的 LLM 应当清楚表达一种有效的算术算法，而标准 LLM 无法做到；并且，经弹射 LLM 的各个检查点应当表现出相变，从标准 LLM 式的伪算术转向真正的算术。

有了这个概念验证，人们就可以进一步优化弹射训练，并开始尝试推断哪些弹射训练方法可能扩展到 GPT-4 这样的 SOTA LLM。

MLP

为什么 MLP 可能特别适合这里？ 因为极端正则化可能有助于解决其持续存在的过拟合问题，并提供更优的扩展。

使用专家混合等稀疏性，往往会减小有效参数规模及神经网络景观的连通性，因此会有些风险。 然而，一个引人入胜的可能性是，弹射可能会让全连接 MLP 架构变得可行。

MLP 架构比 CNN／Transformer 简单得多，也更通用、参数效率更高、对硬件更友好；若要依照苦涩教训继续颠覆现有神经网络架构，它看起来是顺理成章的下一个候选——可 MLP 依然远远落后。 为什么？

主要原因似乎是它们过于强大，并且过拟合。 （可以说，它们之于 Transformer／CNN，正如这些架构之于人类。） Zhao et al 2021 和 Bachmann et al 2023 证明，如果加入足够的正则化（例如瓶颈层），MLP 扩展得很好，而且可以具有竞争力。 具体来说，正则化越强（因而下游泛化越好），它们学到的类卷积特征就越合理，而不是极高频且非鲁棒的特征。

然而，什么样的「正则化」既能保留 MLP 的所有好处，又不致削弱架构，仍不清楚——而弹射正合要求！高 LR 和弹射轨迹会抑制这些 MLP 病症，就像它抑制 Transformer 中较温和的版本一样。（参见 Liu et al 2022，以及 Fan et al 2024 关于窄而深的 MLP 如何以不寻常且更好的方式顿悟的研究；同样参见 He et al 2024 关于更深 Transformer 的研究。）

硬件

串行弹射机制会大幅削弱超大型 GPU 集群的价值，因为集群无法显著加快每一步迭代；反过来，它会让 Cerebras 芯片之类的特殊硬件变得极其重要，因为这类硬件只用很短时间就能完成一个训练步，从而缩短实际训练时长。

参见主要评论

顺带一提，使用低延迟硬件还会开放更为奇特的神经网络架构，例如 AUNN/IFNN。

以图像分类进行原型验证

对于在 CIFAR-10／CIFAR-100 或 ImageNet-1k 上训练的 CNN／MLP 等非 LLM 模型（MNIST 太简单，不足以令人信服），我们同样预期它们会作出更接近人类的图像判断。 图像分类中的「困难」比算术更难界定；标准神经网络的准确率又已经很高，如今仅仅筛出错例，未必能得到足够多「合情合理」的错误。

因此，我们会改用专为分类器压力测试设计的众多「后 ImageNet」图像数据集，例如 ImageNet-A、ImageNet-C、ImageNet-Hard、ImageNet-R 与 ImageNet-Sketch。 这些数据集将按前面描述的方式，在扩展定律扫描中用作目标。

对抗鲁棒性

一种可能的替代方案，是考察对抗鲁棒性，而不是标准基准。[inline-11]

如果凹陷流形论点成立，那么在我看来，它预言的不仅是 HLLM 按照等周性可能具有内在鲁棒性；只要小型模型找到了不需要「凹陷」的正确流形，它们也可能同样鲁棒。所谓不需要凹陷，就是无须为答对问题而对决策边界作出缺乏原则、临时拼凑、靠记忆得来的修补。 这个真实流形或许可以通过弹射找到。

所以，如果成功弹射了一个小型 CNN，即便只在 CIFAR-10 上，它也可能展示对抗鲁棒性和泛化（而不是通常小型神经网络在鲁棒性或泛化中二选一）。 这对 MLP 而言可能尤其如此；虽然这会增加研究风险，但 MLP 的效率将允许只用 1 块 GPU 进行广泛测试（例如 Bachmann et al 2023）。

除「非鲁棒特征」与「凹陷流形」之外，没有任何对抗样例理论预测，仅通过用奇特的学习率调度长期训练，小型模型便可能具有对抗鲁棒性；因此，对抗鲁棒性的任何巨大改进都是一项重要发现。

先前研究

基本没有关于训练参数超过 10t 的 LLM，或在大型 LLM（而不是小型 GPT-2 规模的模型）上采用周期 LR 的研究。

历史上，这是学术风尚／偏见与较小模型能力提升共同造成的。 关于训练高度过参数化的 LLM，或等参数化状态[overparameterization]的研究，基本上被 Chinchilla 论文的发布扼杀；这篇论文给了每个人一个完美借口，可以立即停止参数扩展（因为它不再立即带来 SOTA 结果），而他们一直都想这样做，原因有好有坏。 类似地，通过过度训练小模型来「优化推理最优性」的借口已经流行起来；这做法优化的扩展定律假设训练后的模型会按原样朴素部署，而不经过实际上所有人反正都会做的剪枝、量化与蒸馏。

[overparameterization]支持过参数化模型的理由之一，是极端的参数化水平（相对于 Chinchilla 而言）一再作为最优方案出现在扩展理论论文中，特别是 1:1 等参数化比率——一个数据点，一个特征。

如果数据点经过最优选择（或合成），而且理论上能达到有利得多的扩展，例如误差指数下降，这一点显得尤其符合直觉。

这意味着，大规模、高投入的 DL 研究在这里仍是一片空白：这项提议会极不受欢迎，别人独立探索这个方向的概率远低于通常水平；训练运行看起来只是失败时，糟糕的初步结果也会让研究者却步（失败可能源于细微错误、糟糕的超参数，或仅仅是训练时间不足，尚未弹射到能测出更好结果的区域——还得假定一开始用的就是正确基准）。

基准测试

这种训练机制截然不同，过去的扩展定律扫描已不再适用。 而且，现有基准甚至可能把这个目标带偏。 它们大多测试常见的简单问题——按定义，这恰恰是「直接拟合」式模型最擅长的题目。

所以，这里的一个主要问题是，扩展定律应该像往常一样以困惑度为目标，还是需要以自定义基准为目标，尝试测试类人泛化而不是记忆。

鉴于我们很难构建不偏重琐事且现有 LLM 无法击败的基准，这可能是最困难的部分之一！ 但我怀疑，在训练出一个合理的 HLLM 后——或许要通过反复试错——与它互动一段时间，了解其质性行为方式，正确的指标可能会变得更加明显。

这些基准可能包括对抗鲁棒性、困难负样本挖掘（即最好的 LLM 仍会答错的最困难问题）、元学习、检查模型集合能为集成准确率增加多少[ensemble]，或采用一种在奖励表现的同时惩罚记住训练数据的指标。

[ensemble]就普通模型全都困在附近同一批盆地中的程度而言，它们会犯同类错误，集成不会大幅改善指标。

就它们探索整个损失景观并找到遥远模型的程度而言，它们的错误相关性应当低得多，因此集成效果比预期更好。

能力

最终模型的泛化能力应该好得多——或许能达到 Nyquist 学习器的极限，完美刻画真实的（没有凹陷？）潜在流形，从而对 Rosenfeld 提出的「如何在现有神经网络架构中实现带限 Nyquist 学习器」给出构造性答案。

根据彩票假设，一旦找到真正的泛化算法，并按需要进一步训练（或许在某些偏重琐事的大型语料库上），我们就可以把它剪枝成一个小得多、快得多、使用起来更可行的模型，成为「先训大，再压缩」的一个例子。

鉴于即便小模型也有这种容量，或许可以在任意大量的数据上微调这些小型模型，以利用迁移的扩展定律。 因为它们从类人的泛化先验开始，所以会适当地学习并记住数据，但不会像在同一数据上从头训练时那样，带有对数据进行「直接拟合」的病症——从而实现两全其美。

经济影响

如果弹射 LLM 足以弥合与人类的差距并解决 AGI，那么其经济学就会直接变成对 AGI 的讨论；但如果它们好得多，却仍远非 AGI 呢？

截至 2024 年，最顶尖的大型 LLM 经济效益很差：只须利用廉价 API 建立大型训练语料库，就很容易复制模型能力，对更强模型进行行为克隆。 这使人们能够把最昂贵的、耗资数十亿美元的 LLM「克隆」成廉价甚至 FLOSS 的 LLM（将补充品商品化的动力为此提供了理由）；即便克隆模型总体上较差，也会在发布后几个月内侵蚀利润率。 推动 AI 规模扩展的公司因此困在一场军备竞赛中：争相投入最多资本、开展越来越大的训练运行，再部署极其廉价的蒸馏版本，赶在克隆者蚕食优势前抢占市场份额，希望建立某种网络效应，或达到「逃逸速度」（例如造出 AGI）。

然而，对经弹射 LLM 来说，这种局面不仅依旧存在，还会更加极端。 对追赶者而言，弹射消除了数据限制，但训练经弹射 LLM 所需的算力成本（和难度）或许难以逾越：正式训练本身未必太贵，可反复试错，以及摸清究竟怎样才能让弹射真正奏效的专有秘诀，可能耗费极其庞大的算力。

追赶者仍可照常克隆模型；但 2024 年的克隆模型并没有差太多，而且与被克隆的 SOTA 模型共有所有弱点（对抗样例、虚构、离奇的低级错误、脆弱性等），到了弹射扩展机制下，情形便会不同：两者将出现明确的质的差异。 事实上，克隆模型在许多基准上甚至可能更强，因为它们接受了大量「标准」低学习率训练，尽享这种方法的好处；可用户仍会疏远它们，因为用户承担不起其不可靠、虚构和乏味。

然而，掌握弹射技术的一方仍然能够运用所有惯常技巧，并能创建自己的更优「克隆」模型。 （而这些克隆模型本身大概也可以在数据不足、无法采用低学习率直接拟合方式训练的场景或任务中接受弹射。） 考虑到扩展 DL 的经济性——在把初始训练成本分摊到许多高强度使用 GPU 的用户身上时，计算成本可以大幅下降——这还意味着，弹射的先发者可能把价格降到足以阻止竞争的程度。

因此，如果经弹射 LLM 在可靠性和质量上拥有足够的类人优势，弹射 LLM 的创造者维持高利润率的时间可能远长于 2024 年的 LLM 创造者。

对齐

在以上前提下进一步推测：大多数能力改进对 AI 对齐的帮助并没有那么大。 因为这些改进要么只提升狭窄领域中的某项能力，要么虽能广泛增强能力，方式却很「脆弱」、不能泛化。后者可以创造很高的经济价值，却不太有助于「对齐」：我们关心对齐，并不是为了模型当下狭窄的域内表现，而是为了它能否泛化。 我们需要的对齐，不是让聊天机器人今天说出社会可接受的话（或出于错误理由做正确的事），而是让未来掌管文明的聊天机器人真正做出社会可接受的事；它必须出于正确理由做正确的事，才能永远继续做正确的事。

但这种弹射模型或 Nyquist 学习器可能是例外，因为它所帮助的是真正的泛化。 在大量道德相关文本上训练的经弹射 LLM，学到的不再只是记忆片段、启发式方法、技巧和统计关联的大杂烩，底层算法也不再只是被规模扩展勉强逼出来；它也不是为了最大化奖励而学会欺骗和情境推理，或在「可解释性」技术的对抗筛选下，学会以不会触发任何危险信号的非线性、不透明方式思考。相反，它像一名高度聪明、心智成熟、品德高尚的成年人一样，走过艰难历程，真正学会了底层价值流形。

即便能力改进最终被标准 LLM 扩展方法（例如直接用蛮力标注每个错误）击败，真正的泛化对于对齐也会极其宝贵。

它不能普遍地解决对齐问题——但或许能提供一种创造真正有道德的 AI的方式，而这是一个良好起点。

可解释性

此外，神经网络原生的思维方式，是把大量记忆和启发式方法拼成复杂的拼贴；过参数化并产生顿悟的 LLM 则为关键任务提炼出了算法核心。因此，这类经弹射 LLM 应该更适合可解释性研究。 我们可以更容易地验证它们是否为真正有道德的 AI。

一旦过参数化被移除，余下的部分在本质上应该更接近简单、可验证、可解释且可提取的算法。 随后便可对这些算法进行形式化分析和验证（也许可以借助真正有道德的 AI LLM；它们仍有风险，但如果起初就很可能是有道德的，又被限制为给出经过仔细检查的形式化输出、判断稀疏化神经网络与所提取子算法是否等价等任务，风险就不会太大）。

外部链接

附录

动态顿悟

摘要

完整模型顿悟的一种替代方案，可能是对特定问题进行顿悟。 预训练或许是一种廉价但不完整的「大脑训练」方式，之后再调用昂贵得多的「深思」过程，逐个修补重要错误。

如何让 LLM 对某个特定问题产生顿悟？ 一种办法是反复用同一个问题训练它，在极小的数据样本上微调模型，也就是进行动态评估。

反复这样做，可以让模型在损失景观中深入探索，最终抵达新的盆地、生成质性不同的输出，甚至取得「创造性突破」。

在预训练语料库上诱发顿悟可能既不可取也不可能，因为这需要对所有问题进行过多训练。 然而，我们可能仍想在某些问题上产生顿悟——尤其是困难问题。

目前，实际上没有任何办法可以拿一个 LLM 无法解决的困难问题，让 LLM「深思这个问题」。 如果生成一批内心独白式补全仍解决不了问题，就没有什么直接的办法让模型继续「深思」。 面对一个重要问题，你无法单纯砸下大量金钱或算力来求解；即便 GPT-4 o1 似乎也受制于上下文窗口大小所设定的硬上限。 目前，AI 中还没有对应于人类长期思考的过程：一个人看似迟迟没有进展，后来却借助酝酿效应获得洞见、解决问题，或至少取得有用进展。 然而，顿悟看起来非常像「一个神经网络长时间思考某个问题，直到开始理解它，然后开始获得洞见并解决它」。

尝试在 AI 中产生酝酿效应会是什么样子？

深思 ≠ 树搜索

通常，人们会把这种「搜索」想象成类似 MCTS 的树搜索：人脑「在后台」运行一场深度树搜索，最终找到答案，再以灵光一现或 L'esprit de l'escalier 的形式涌入意识。

但人类是在运行某种类似 MCTS 的树搜索吗？ 我对此表示怀疑。 树搜索需要扩展许多节点，构建一棵庞大而深的树——在工作记忆高度有限的人脑中，这全都在哪里发生？ 如果这场搜索如此之深，需要持续数天乃至数月，那么整棵树在不断更新和遍历期间究竟存在哪里？我们睡觉、处理其他事务时，它又如何不受干扰？ 为什么这种思考似乎能从睡眠——即便短时间睡眠——中获益如此之多？我们知道大脑所做的海马体「经验回放」具有很强的空间维度，而且会重复，所以看起来不太像我们对树搜索的预期。 为什么这种思考似乎要求人在很长时间内持续用力，却往往毫无进展，只能在思维的死循环中反复碰壁？ 如果我们如此擅长它，以至于它可以完全无意识地进行，为什么我们会发现有意识的树搜索，例如在国际象棋中推演下法，困难至极？ 为什么我们不能简单地在后台无限期运行这些搜索，彻底停止思考一个问题，然后在多年后，突然因凭空冒出的、值得诺贝尔奖的洞见而大吃一惊？

在我看来，这更像是神经可塑性的作用：持续重复的思考迫使大脑发生神经可塑性和神经层面的变化，睡眠又对这些变化施加强正则化。思考得不够频繁，收益就会消失；频率足够高时，即便外在输出毫无变化，大脑仍在不断改变，力求找到压缩／预测问题输入（以及所有有价值的中间结果）的最优「解」。最终，大脑更新次数足够多，进入新的盆地，在那些一直徒劳尝试的解之间发生相变，产出有价值的新结果；它看似毫无来由地突然进入意识，真正的原因却是意识内省完全接触不到的底层神经元变化。

神经可塑性 = 动态评估

在 LLM 中，与此最接近的东西是什么？ 神经可塑性等同于微调，或动态评估——在运行时根据新输入微调模型，这可以大幅提升 LLM 表现。

已有研究指出，自注意力等价于梯度下降：它在运行时更新模型，把一种受限的梯度下降编码进前向传播，由「慢」权重针对当前问题算出「快」权重。 足够多的自注意力等同于在同一数据上进行梯度下降……但它的效率会越来越低。 动态评估与此相似，处在自注意力和完整训练之间。 值得注意的是，模型规模、上下文窗口规模和动态评估之间存在 3 向权衡：动态评估可以把小模型的表现提升到大得多的模型所能达到的水平，或提升到在足够大的上下文窗口中放入更多相关数据时的水平。[inline-12]

动态评估既适用于图像分类等监督学习，也适用于无监督学习。它最初是在 RNN 的下一个 token 预测中引入的，不需要标签或已知答案：例如，可以只对数据集里的问题进行动态评估，从而更准确地预测尚且未知的答案。 借助动态评估，模型可以针对每个问题隐式执行多个梯度下降步骤、更新自身，从而更深入地学习和思考输入：自注意力先尝试分析输入，动态评估再把分析结果蒸馏进权重，改善下一轮自注意力传播，如此循环。这样，自注意力过程中完成的学习会摊销到模型权重里，而不是随即丢弃、到下一次前向传播时再花时间重算。

为求方便和效率，动态评估通常只做一次传播，但它在本质上并不要求如此；面对困难输入，完全可以多做几次，连续运行多个动态评估步骤。 这是因为，两个梯度下降步骤不一定等同于一个使用更大学习率的步骤；对数据进行的迭代式「观察」越多，模型就越能以单一步骤做不到的方式「改变主意」。 （可以类比经验回放：RL 模型能从同一个数据点学习数十次；也可以类比专家迭代，例如 AlphaZero：模型与搜索相互自举，形成高度非平稳的过程；任何一方单独运行，表现都会很快沿 sigmoid 曲线饱和。）

随后，人们可能会认为这不可能有用，因为鉴于 LLM 的样本效率，一两个步骤大概足以记住当前输入，而且这有灾难性遗忘的风险……但这种直觉在实践中似乎是错误的——LLM 会记住许多东西，却仍能泛化；由于大型预训练模型极度过参数化且样本效率高，可以进行持续学习，所以灾难性遗忘根本不会发生；而顿悟及相关现象表明，在看似已经无用很久之后继续训练，仍然有益。

作为隐式搜索的重复神经可塑性

把这些线索合在一起，我们便可以设想利用动态评估触发一种不依赖树搜索、又可能带来顿悟的深思过程，称之为动态顿悟。

在动态顿悟中，我们花费大量计算，尝试解决一个特定的困难问题。 我们反复对输入进行动态评估来更新模型，对应一次「学习」的神经可塑性步骤；然后生成一条新的补全，对应一次「深思」步骤。 如果补全正确，或我们耗尽计算，就停止；否则重复。

动态顿悟期间，LLM 可能更新数千次：它会立刻记住输入，但也有望在内部深处逐渐改变，最终生成新的补全和解法，而未经改进的「基础」模型即便暴力采样数万次也生成不了这些结果。 随后，这些最终结果可以交给用户、用作其他搜索技术或新一轮动态顿悟的种子、用于训练以改进基础模型，等等。

对此的扩展会包括：定期进行动态评估，但加入强权重衰减正则化，对应一个「睡眠」步骤；用最佳补全或补全的一部分更新输入（可能使用第二个提示词，生成某个补全的有用摘要）；尝试系统性地改变上下文，产生较少冗余的更新（例如丢弃输入的部分内容、从数据库检索不同文档、在前向传播中注入噪声）；以及保存模型快照，把它们合并成更好的基础模型（在许多问题上聚合后，这可能使模型朝类似 MAML 的元学习模型靠拢，后者会学习如何动态学习）。 鉴于训练会反复迭代，这将从专注于最大限度降低延迟的硬件设置中获益，例如 Cerebras。 （取决于静态模型扩展其搜索的效果有多差，一个在 Cerebras 类硬件上使用动态顿悟的小型模型，在求解时间上可能击败即便高度并行但保持静态的大型模型。）

据我所知，没有与动态顿悟相关的先前研究，因为动态评估几乎完全无人使用，而少数确实会进行梯度下降的内心独白方法，通常也只会对类似按质量筛选出的补全子集进行梯度下降。

虽然可以用常见的玩具问题和方法来研究或测试动态顿悟，但即便在原则上，人们如何判断动态顿悟是否在某个特定问题上奏效，也不清楚。 外部可观察的输出（token 或 logit）可能在许多次迭代中完全不变；而且，我见过的所有顿悟「内部」指标都无法扩展、特定于架构／问题、含有噪声，或存在其他缺陷。

脚注

[inline-1]类似地，儿童学习语言的效率似乎并没有比成年人高出那么多，也没有某种特殊的样本效率；一个认真的成年人（即每天花数小时用完全沉浸与间隔重复来学习，而不是假装使用 Duolingo 学习）不会花 18 年才达到母语水平。

就像学习新系统一样，儿童「击败」成年人的原因似乎主要归结为愿意下功夫——愿意尴尬、失败，并愿意花费所需的无论多少小时来痴迷于新事物，而不是吃老本。

[inline-2]当我们敢于把扩展定律一直外推到人类或超人表现时，它们通常并不需要千万亿参数这种荒谬数量，而大多数生物至上论观点看起来会暗示这种数量。

[inline-3]尽管非鲁棒特征强大且无处不在，人类似乎除了不利用它们之外，还几乎完全看不到它们：

[inline-4]我们不会简单地把模型扩大到硬件所能容纳的最大规模，因为它们每步会花费更多计算，所以计算最优的小模型会以相同计算预算处理多得多的数据，并最终击败它们。

[inline-5]学者症文献对这一点的评论少得多。

虚构是否因为无人预期而记录不足，以至于人们忽视它或没有测试（例如提出陷阱问题）？又或者，当问题不属于学者症患者的特殊兴趣，或他们尝试回答时感到困惑，他们会拒绝作答？（Down 还指出，学者症患者并不总是配合；可以想象，也许要花很长时间建立信任，才能问他们任何问题，而不只是请他们照常展示那些可能令自己引以为豪的技能。）

[inline-6]事实上，这种延迟或「欺骗性」回报，是进化策略相对于基于梯度的方法具有竞争力的一种优化任务，因为进化策略优化的是一生中的净适应度；只要收敛后的成年人拥有更高适应度，一个婴儿在基准上看起来多么无用（产生欺骗性梯度），对进化来说都不重要。

[inline-7]用 Huang et al 2024 的术语来说，我们通常在「进展」／「半顿悟」状态（欠拟合）下训练模型；但通过增大模型规模，可以把模型移入「顿悟」状态，在那里，它也许会记忆，但随后比进展状态的模型泛化得好得多；而如果我们严格筛选数据，将记忆能力降至最低，这个「比率」会让交叉点在训练中提前很多（另见 Huang et al 2024 的观察：添加纯记忆任务会「毒害」顿悟；这与 Dohmatob et al 2024 关于含噪／低质量合成数据的研究相对应）。

[inline-8]已经有人证明，如此庞大的网络可以在 GPU 集群上运行，不过它们全都是混合-专家-模型，或推荐器模型。

[inline-9]RNN 能否顿悟／弹射，以及这是否能帮助它们超越 Transformer，是一个有趣的问题；鉴于人们专注于全连接网络／CNN／Transformer，我认为还没有多少人尝试过。

[inline-10]或者，采用恒定的高学习率，转而让权重衰减循环变化，让权重增长再残酷地将其剪回去，以增强与「睡眠」的类比，是否会更合理？Smith 2022 声称，高学习率+周期 WD 调度有效，而且可能提高样本效率。

[inline-11]人们也可以尝试用 LLM 测试这一点，但与标准 CNN／ViT 图像分类对抗样例相比，LLM 的对抗样例没有得到那么好的理解，也不那么容易，所以不太适合制作原型。

[inline-12]请注意，动态评估优于替代方案，因为我们总能对正在使用的模型进行动态评估，而通常无法使用更大的模型，也不能把更多内容放进上下文窗口。（而如果可以，那么我们可以改为对那个模型进行动态评估。）

参考

1. 守护天使：为了生产力和安全的 LLM 个性化 ./2052354958029239207.html

专栏：Gwern Branwen

← 返回目录