对此，DRL （深度强化学习）的观点是：“Reward is Enough”（有奖励就够了）。好奇心之类的能力，与 DL （深度学习）中的任何其他能力一样，不过都是端到端习得的能力；如果有助于增加奖励，它们就会作为规模带来的馈赠涌现出来。（这里所说的含义，要比单纯指出「适应度奖励必然足以创造所有观察到的能力，因为进化正是这样创造出这些能力的」更有意思。）
能力取决于特定的环境/数据分布/架构，并无任何特殊地位；若某种能力有用（即有助于最大化奖励），它就会被学会，否则就不会。如果无需探索也能解决一个环境，智能体就不会学会探索；如果环境变化过快，快到记忆派不上用场，智能体就不会学会使用任何记忆能力；如果环境变化过慢，它同样不会学会记忆，因为只需把最优解直接记进反应式策略/参数即可；如果数据分布没有长尾（或者长尾过强），就不会涌现元学习/上下文学习（例如 GPT 或 Ada）；如果一个回合内不存在长期奖励，智能体就不会在意自保或风险规避（因为根本没有什么值得为之活下去）；如果权重可以从一个回合复制到下一个回合，那么它也无须像野生动物或人类儿童那样「玩耍」……
我们不妨以「玩耍」为例。从功能上说，玩耍能让幼小的生物探索并了解自己的身体，掌握成年后那些对适应度至关重要的行为所需的复杂运动控制。想想一只萌得要命的小猫崽：它试着扑向「猎物」，却被自己的爪子绊了个跟头。成年后还这么干，它就会饿死，所以必须趁幼年学会如何扑击和捕猎。它之所以需要「玩耍」，唯一的原因是：我们不可能把一只训练有素的成年猫的大脑掏出来，复制一份，再硬塞进猫崽的头骨；也不可能把成年猫学到的一切编码进猫的基因组，让猫崽一出生就是捕猎高手。代际之间的基因组+大脑瓶颈，迫使每一代都从一个傻乎乎的起点出发，徒耗资源地重学一遍「猫该怎么当」。然而，这个瓶颈绝非什么深刻的根本原理；它只是有机生物的身体和大脑受到局限所造成的偶然事实。这些局限无从修补，却不适用于可能心智的浩瀚空间中的许多替代形态。猫机器人便完全不需要这一套。猫机器人 NN （神经网络）的权重可以永存、经过充分训练，而且能够轻而易举地复制到每一具新的猫机器人身体里。一个猫机器人 NN 只需具备少量元学习能力，便能适应每具新身体的细微差异；因此，域随机化可以实现零样本 sim2real 迁移，把一个 NN 从简化的机器人模拟直接迁移到丰富现实世界里的实体机器人上，而进入现实世界仅几秒后，这个 NN 就已经适应了（例如 Dactyl 或 DM 足球机器人）。这些 NNs 之所以学会适应，是因为训练时从未两次置身于完全相同的环境；为了让总体奖励最大化，它们不得不学会如何在一个回合内尽快学习，应付自己的胳膊 & 腿每次略有不同的晃动方式。于是到了训练结束时，「现实」在它们眼中也无非是另一种需要适应的晃法。新生猫崽要成为真正能干的成年猫，至少还得等上半年；猫机器人却只消几秒或几分钟便能达到要求。后者根本不需要前者所需的许多东西：氧气、猫砂盆、牛磺酸……也不需要玩耍。
如果猫机器人 NN 无法通过元学习充分适应新的猫身体，它仍然无须「玩耍」：它可以直接取得整个猫机器人群体未经处理的原始经验副本（也可以把这些经验压缩成嵌入表示），在猫机器人执行新动作时抓取它们的心智副本，再不断朝最优状态学习，直至诱导出所需的元学习能力。生物大脑做不到这一点，只能用「语言」之类粗陋得令人发笑的方式「交流」。猫机器人却可以在汇集历来所有猫机器人的知识时交换经验，把大脑训练深入到单个神经元层面；人类只能交换少得可怜的零碎陈述性知识，而且能做什么有着严格的上限——任凭一只黑猩猩读多少文字，也不可能因此变得和你一样有能力；任凭你读多少文字，也不可能因此变得和约翰·冯·诺依曼一样有能力。（你无法经由耳朵或眼睛直达一个人的大脑；遗憾的是，其他任何途径也同样无法直达。）
「好奇心」也是同理。任何东西为什么非得「好奇」不可？嗯，这和玩耍差不多。好奇心是一种从特定的智能体与环境组合中涌现的驱力：环境必须具备一定程度的新颖性/不可预测性，使智能体无法仅靠利用或进化来应对（但程度又不能太高，否则信息价值便会归零）；智能体必须能利用学习来最大化奖励（植物从不「好奇」，食草动物也没有多「好奇」）；寿命必须足够长，让学习成本有机会得到回报（年轻个体远比年老个体好奇）；还必须有记忆机制（否则你根本记不住自己究竟发现了什么！）……去掉其中任何一项，好奇心就不再有用，也就不再涌现。
在整个群体中共享经验的 NNs，未必需要多少好奇心：即使是 ε-贪心探索（几乎是最愚笨的探索方法），用在 DRL 智能体身上也好得出奇；按现实时间计，它们的训练和试错速度远超人类，样本效率也日益接近人类；它们没有必须赶在其中收回学习成本的个体寿命期限；它们可以形成个体动物无法形成的高信息量先验，因为这种先验既无法在一次生命中学会，也无法编码进基因组；它们甚至可以彻底去掉好奇心，转而在智能体层面实现「好奇心」，例如从整体神经后验中采样智能体（后验采样是群体层面权衡探索和利用的一种最优形式）。如此一来，每个智能体身上都没有任何对应于「好奇心」的东西，反而个个像狂热而思想封闭的顽固信徒，以不惜自杀的方式（而且确实是字面意义上的自杀）坚守某个特定的宇宙模型；无论它们取得辉煌成功还是遭遇惨烈失败，都会成为整个群体的有益范例。这里所说的群体也不必局限于这些智能体本身，因为它们还可以离线向人类等其他群体学习（人类数据有着庞大的未开发存量，从中还能学到多得多的东西；比如，人们做各种蠢事的视频，累计时长想必已有数十万年，而且人类或许凭借自身的错误或过度探索，提供了如此海量的数据，以至于那个 NN 根本无须再为自身探索投入资源）；它们还可以在经过域随机化的模型中，于计算机模拟中完成全部学习/探索。由于已经通过元学习掌握了解决 POMDP 时的贝叶斯最优行动，智能体便能在一次生命中迅速适应（在天真的观察者看来，这表面上或许像是一股「好奇心」驱力，实则在最优性上绝不妥协 & 行事高效，因而赋予信息的内在价值为零 & 即便观察者认为它理应「好奇」，它也会避免好奇……）……因此，一个 NN 完全可能不需要「好奇心」：离线数据集也许足以解决问题，计算机模拟训练也许足以解决问题，大规模部署的队伍也许能在总量上遇到并学习足够多的实例，从而解决问题，简单随机化也许能提供足够多的实例来解决问题；如果这些办法统统失败，那么对于一大群共同汇聚经验 & 同步模型权重的机器人智能体来说，理想的探索方法或许一点也不像「好奇心」，反倒正是好奇心的对立面（矢志不移地按照某个特定假设行动，一直贯彻到成功或毁灭，再由主模型根据这一回合更新）。
再以做梦为例：无论把它解释为世界模型稳健化、离线运动学习，还是 Tononi 的 SHY，很显然，没有哪一种解释要求所有机器人每天都雷打不动地停机 8 小时，期间还偶尔抽搐几下。第一种情况只需在某处的服务器集群上并行处理；第二种情况通过一次预训练以及随后运行时的元学习便可完成，而且每个模型有史以来只需做一次；至于第三种情况，这甚至算不上一个必须解决的问题，因为借助人工神经元，很容易加入全局正则化或归一化，防止权重无限增长（如果权重原本真会这样增长的话）。
对于没有经历人类这类动物所承受的那一整套特定约束组合的智能体而言，这里实在有太多太多种可能。竟然把一只妄自尊大的猴子身上那套用嘴说话、用鼻呼吸、喷射激素、血肉搏动的驱力，视为关于智能必然如何运作的普遍而深刻的事实，这才真叫拟人化——而且是很糟糕的那种。
难怪像 GPT-4 这样的 DL 智能体表现如此惊艳，尽管其架构根本没有明确预置任何这类「具身」或「内稳态驱力」。这些驱力大多本就没有必要；真正需要的那些，也更适合通过优化奖励，以端到端方式隐式习得（例如 GPT 的下一词元预测损失，它就是「行为克隆」，也就是离线强化学习）。
Thoughts Memo 汉化组译制
感谢主要译者 gpt-5.6-sol-xhigh，校对 Jarrett Ye
原文：A mind needn't be curious to reap the benefits of curiosity — LessWrong 的评论区