6 学习内驱力和奖励（6.17-6.21）

原文：6.17 Biederman model

6.17 Biederman 模型

6.17.1 阅读关于阅读乐趣的乐趣

2006年，Irving Biederman 和 Edward A. Vile 发表了一篇论文，给我带来了令人难忘的阅读乐趣。这篇文章本身向我解释了阅读的乐趣。在一篇题为“感知愉悦与大脑”的论文中，Biederman 假设，负责视觉感知的大脑结构中阿片受体的分布梯度可能有助于观看美丽风景等美好场景的乐趣。Biederman 的想法似乎向我解释了我多年以来所知道的：学习是令人愉快的。我总是喜欢学习，然而，我从来没有真正理解我的喜欢在脑科学方面的基础。Biederman 的解释恰如其分，非常令人愉快。它解释了一些困扰我一段时间的事情。在阅读的那一刻，我非常善于自我分析。在阅读的乐趣时，我试着去“感受”阅读的启示是如何提供快乐的。阅读关于阅读趣的乐趣变得令人难以忘怀。

Biederman 和 Vessel 所提议的是具有里程碑意义的。因此，为了简单起见，让我给他们的想法起个名字：Biederman 模型（根据资历选择名字）。在视觉感知中，连续的神经元层负责对视觉场景进行更抽象的表示。打个比方，它从像素和颜色开始，然后移动到边缘、纹理和曲面，然后移动到对象，然后是面、位置和集合，然后是有意义的场景，在链的末端，这些场景可能会激活一座“美丽的山”的表示，就这样被记住，只有几个细节在工作记忆中的第一印象之外永久化。一张数以百万计的像素的照片将变成一个有意义的场景，只需几句话就能用语言表达出来，并以这种方式被记忆多年，只需很少的神经代价。

Biederman 模型利用了早些时候的一项发现（MichaelE.Lewis 等人，1981年），即沿着视觉感知路径存在µ-阿片受体的分布梯度。神经元携带的意义越多，它可能具有的阿片受体就越多。我们知道，阿片类药物是有益的和上瘾的。Biederman 模型基于这样的假设：阿片受体的分布梯度是感知快感的来源。

在处理语音和音乐方面也有类似的层级系统。颞叶皮质涉及处理从音调到旋律的声音。然而，处理节奏也涉及到大脑的其他区域。很有可能，所有这些感知网络都遵循类似的原则。这是神经美学的研究课题。

6.17.2 阿片类药物与多巴胺的快乐

Biederman 模型有一个小问题。学习的乐趣可以有意识地分析。在我自己的例子中，阅读 Biederman 模型的乐趣可以分解并追踪到模型的各个组件。这一事实意味着快乐与有意识的体验是结合在一起的。众所周知，意识是神经科学难以破解的难题。我们所知道的关于意识的大部分知识要么是推测的，要么是基于硬而昂贵的实验，在这些实验中，植入大脑的电极可以被用来引起效应，这些效应可以稍后或同时由受影响的个体报告。证据似乎集中在意识的综合模式上，在这种模式中，大脑中几个结构的激活被整合起来，并被视为有意识的自我。按照这一思路，激活大脑皮层某个部位的 Halle Berry 神经元，并不足以将 Halle 带到一个人的意识中。数以百万计的概念神经元可以在同一时间被激活，一个思维只能在感知现实的模型中的一小部分上运作。要将 Halle 带到一个人的头脑中，激活必须与意识感知的其他组成部分结合起来，包括感知奖励。

由于这些原因，大脑皮层神经元中的阿片受体不会对学习的最终回报起到很大的作用。阿片类药物的拮抗剂，纳洛酮(Naloxone)，可以夺走某些人对音乐的乐趣。然而，阿片类药物的学习乐趣应该产生首次使用微量海洛因或吗啡所产生轻微的幸福。从这个意义上说，内吗啡肽的释放和阿片受体的激活可以促进学习的快感。尽管如此，这种快乐还不够具体到让人惊呼“哇！”啊哈！“或者“尤里卡 ”(Biederman 称其为“理解的点击”)。对于最终的学习奖励，必须有来自大脑中快乐中枢的综合奖励体验。

6.17.3 联想的快乐

发现的最终乐趣震撼将来自于一种有意义的联想。这可以用理解 Biederman 模型本身的乐趣来解释。当我们思考这个模型时，我们激活了我们大脑中的两个重要概念：(1)意义的梯度（来自对视觉感知所涉及的神经结构的理解），(2)愉悦的梯度（来自对视觉通路中阿片受体含量的观察）。一旦想到这两个概念，就会有一个类比的粘合剂：「梯度」的概念。这种胶水有助于产生一种令人愉快的启示的联想：意义=快乐！这正是我在读 Biederman 的论文时所经历的。要使这种震撼发生，光有更多的阿片受体与快乐梯度的概念相关联，而不是与梯度的数学基础或它与「梯度」一词的关联，是不够的。与通常使用的「意义」一词相比，与「意义梯度」这一新颖概念相关的阿片受体还不够多。当这两个高价值的概念发生碰撞时，就会发生震撼：意义+快乐。

Biederman 注意到，受体的梯度很远地延伸到联想区，包括海马旁皮质。我们可能还记得，在更远的下游，我们在海马中发现了 Halle Berry 神经元。为了说明阿片类药物的快乐和联想的快乐之间的区别，让我们想象一下在一个美丽的海滩上遇见 Halle。当我们走在海滩上时，我们可能会感受到一股如海洛因一样的幸福之风，这是因为我们意识到我们的环境很美：「我走在沙滩上感觉很棒」。一旦 Halle 出现在地平线上，视觉分析可能会提供另一种阿片类药物的快感来自“美丽的女士接近”的信号。然后，视觉处理单元可以确定这位女士是 Halle，这可能激活 Halle 的皮层代表，这可能是阿片类物质丰富的。然而，只有 Halle 和“我的海滩”的最终结合才会引发一个重大发现，也许是一个古老的生殖梦想：「Halle 和我走在同一片沙滩上！」这就是来自腹侧纹状体和伏隔核的奖励可能会在“喜欢”的情况下发挥作用，而多巴胺的一击可能会触发“想要”的行为程序。该行为「想要」计划的细节已经从这篇文章中被删掉了。然而，在高度发育的个体中，来自前额叶皮质的执行信号将不可避免地停止该程序的执行。简而言之，在大脑的快感中枢注射多巴胺可能会给大脑带来一些不雅的想法，而阿片肽的释放可能只会带来一种联想的幸福。

学习的乐趣不需要涉及有吸引力的异性代表。Halle 出现在我的例子中，只是因为发现了 Halle Berry 神经元。为了学习的乐趣，所有需要的是一个强大的和高度重视的想法，激活大脑中的快乐中枢的联想。每次我们学到新的东西，快乐就会发生，而当我们学到高价值的东西时，这种震撼是最强大的。发现 Biederman 模型的乐趣来自于在我的知识评估网络^[1]中对学习本身的乐趣的高度评价。

6.17.4 记忆对学习快乐的影响

我还想补充 Biederman 关于脱敏的假设，即反复接触会使乐趣下降。Biederman 认为，孩子们因为赌博的因素喜欢重复的电子游戏^[2]。然而，赌博在成年人中同样有效。我认为孩子们因为童年失忆症^[3]更喜欢重复学习。一些重复的快乐可能来自于有限的理解，但有些仅仅是由加速遗忘来解释。理解能力差和遗忘是成人大脑和儿童大脑的主要区别。

我们还应该注意到，复习乐趣的大幅下降将不是来自竞争性学习，而是来自长期记忆的巩固，这可能导致信号在系统中高效地传递。竞争性学习在模式识别中可能很重要，但在联想学习中，高可提取性会破坏重复接触的乐趣。

6.17.5 学习内驱力进化的几个阶段

当我假设在人类中出现了强大的学习内驱力^[4]时，我想到了从知识到奖励中枢的直接渠道。它最终将成为比 Biederman 模型所暗示的更高水平的学习内驱力^[4]。每一次涉及到受体，进化都有一种简单而感激的材料可供处理。受体梯度最初是在恒河猴皮层中发现的。类似的机制可能涉及更简单的大脑，甚至更原始的、没有中枢控制的神经系统。我不知道一只蚂蚁在想什么，也不知道它的感觉如何，但是找到一个很好的食物来源肯定是某种蚂蚁快乐的源泉。由此我们可以得出结论，学习的乐趣可能不会比神经系统本身更年轻。然而，在进化的过程中，驱动建立了新的功能层和效率层。有趣的创造力似乎只出现在一些鸟类和哺乳动物身上。比如人类学习内驱力^[4]，这种进化过程可能已经达到顶峰。这在某种程度上自然会在思维机器中实现。了解学习内驱力^[4]对于人类的生存至关重要：无论是对人工智能的需求，还是对人工智能转向人类的威胁。

6.18 值得的困难

值得的困难是一个概念，可能成为一个容忍在学校的不愉快学习的借口。我在这里解释为什么这个借口是不公正和危险的。

Robert Bjork 可能是学习理论方面最好的专家。如果他告诉你在学习中困难是值得的，他是对的，而且这与好的学习总是令人愉快的事实并不矛盾。值得的难度是学习中引发更好的学习的障碍的概念组合。让我们从学习的乐趣出发，逐一解决这些问题：

• 主动回忆：主动回忆优于被动回忆。主动回忆更难。这是一个值得的困难。我们在学习中需要主动回忆，因为它是在间隔重复中有效地重新巩固记忆符号的唯一过程。当我们在实践中运用有用的知识时，主动回忆就会发生。这种使用是令人愉快的，因为它带来了生产力，这是一种独立于学习的回报。人类只是喜欢实现目标。如果复习是人为计划的，就像在 SuperMemo，它不会产生一个富有成效的行为，它可能很容易失去它的吸引力。SuperMemo 的所有成功用户都将复习与他们的目标联系起来。他们认为每一项和每一次重复都是迈向更美好未来的一步。并不是所有的用户都具有这种想象能力。这就是为什么 SuperMemo 没有让人类为之倾倒，尽管它有着惊人的效率。
• 间隔重复：如果记忆的可提取性较低，则记忆巩固更有效。这导致了回忆的困难。这是一个值得的困难。与主动回忆一样，复习的奖励来自于知识和生产力的运用。在 SuperMemo 中，默认情况下，大多数复习都以成功的回忆结束，而且难度和快乐之间可能存在某种联系。同样，只有一部分 SuperMemo 用户能找到这个过程的乐趣。那些通常不会坚持很久就会辍学的人。我们告诉所有用户，让SuperMemo变得有趣，否则它对你无效！另见：知道的快乐
• 渐进复习：SuperMemo 提倡在空间中学习。从记忆和创造力的角度来看，在较长的时间内阅读一篇小篇幅的文章更有效率。这同样指的是看视频或听讲座。这导致了上下文检索方面的一些小问题。然而，它在创造性的阐述中带来了额外的奖励。它还改进了记忆编码、泛化和长期记忆巩固。矛盾的是，这些额外的困难导致了额外的学习效率，这使得渐进阅读成为最令人愉快的学习形式之一。
• 学习语境：在回忆中改变语境是一种非常简单和有效的值得的困难类型。如果编码是正确的，回忆将会成功，它将是更有效的，它将是有益的。如果语境的改变导致泛化和更好的记忆编码，学习的有效性就会提高，学习的回报就会增加。
• 解决问题：解决问题可以是非常愉快的。问题越难，解题的乐趣就越大。问题解决涉及一个学习过程，因为解题需要中间步骤，从而将新知识存储在记忆中。所有这些步骤都是令人愉快的。如果学生在这项任务中挣扎而没有进步，他将什么也学不到，也得不到任何回报。这些任务太难了。如果学生不能解决问题，但通过中间步骤取得了进步，即使他们与解法无关，学习也是存在的，回报也是存在的。同样，如果困难是值得的，它将导致回报。如果没有奖励，困难似乎是无法克服的。因此，这既不有益，也不值得。
• 边做边学：边做边学可能涉及游戏、创造力、解决问题等等。边做边学需要更多的时间，而且往往会带来更好的结果和更多的回报。
• 延迟反馈：在某些情况下，延迟反馈可能导致更多的处理。简单地说，如果老师不告诉你做得有多好，你可能会想更长一段时间。这对记忆有好处。如果是这样的话，最终的效果将是有益的。
• 帮助退出：我写的帮助退出是在学校抑制学习内驱力^[5]的背景下。没有得到答案的孩子可能会变得更加好奇。好奇心会增加学习的回报。在纠正错误的现实模型方面得不到帮助的学生，会因为自己解决矛盾而得到更大的回报。
• 其他困难：可以改善学习的障碍是无止境的，其中一些可能是荷尔蒙的性质，有些可能涉及激励的力量。所有这些障碍的共同点似乎是某种形式的更深层次的处理、记忆的巩固、注意力的提高等等。不可避免地，导致更好学习的障碍也包括更好的回报。

值得的困难并不会剥夺学习的乐趣。恰恰相反，它使学习更有效，更有趣。如果过于困难而导致不愉快，那么困难就不再值得了。这种简单的等价性来自于学习内驱力^[4]中奖励系统的机制。

请注意，由于值得的困难而产生的有效学习的奖励并不需要对应较高的学习熵^[6]。学习熵是信息通道的度量。例如，主动回忆与新颖性无关。它指的是记忆的重新整合。同样，解决问题的部分原因可能是实现与学习无关的目标的需要，或者是获得新知识以外的生产力的回报。

还要注意的是，几乎所有上述值得的困难都内在地与渐进学习的过程相关联。

6.19 学习成瘾

6.19.1 天生成瘾

我们生来就热爱学习。在义务教育时期，热爱通常很快就会消逝。我们对学习的热爱持续的时间越长，对大脑、健康和人类的益处就越大。对学习的热爱与上瘾无关。上瘾的定义包括强制参与某项活动所造成的不良后果。

与益处相比，学习的负面影响很小。如果有一定程度的贪婪，甚至是强迫性的冲动，它可以进一步促进积极的影响。提高一个人对学习的热爱是有可能的。良好的学习为进一步的学习提供了最好的推动力。

6.19.2 学习和赌博

分别与学习和赌博有关的奖励机制之间有着密切的联系。赌博和学习新词都以类似的形式激活腹侧纹状体。这种与赌博的密切联系可能会混淆学习的图景。赌徒在老虎机前学不到什么东西。让人上瘾的电子游戏更好。可能很有教育意义。许多团队游戏成瘾者以前在学校没有取得任何进步，但都能说一口流利的英语。对体育新闻的上瘾也可能涉及到一定程度的学习。我是在非洲国家杯(足球)期间才了解卡宾达的。对 Facebook 更新的上瘾也没有什么不同。它是建立在预期特定收益的可变奖励的基础上的，然而，它也可能很大程度涉及到的学习。这种学习可能包括八卦，名人新闻，假新闻，或实际有用的学习。即使是最新的政治民意调查也会让人上瘾。在希拉里·克林顿和唐纳德·特朗普之间的较量中，民调平衡得足以产生扣人心弦的效果。强制检查新的民意测验都有上瘾的特征。然而，这种上瘾会导致大量的学习。要靠学生把赌博和学习分开。贪婪的学习是好的。从上瘾中获得的学习也可能是好的。然而，赌博本身并不能给人类的生存带来什么价值。

6.19.3 学习和睡眠

强迫性学习可能侵犯睡眠时间，并可能导致失眠症和睡眠相位后移综合症的流行。有强烈学习内驱力^[4]的有创造力的人可能会熬夜学习，直到凌晨。在电灯出现之前，这种违反睡眠模式的行为是困难的，甚至是不可能的。好消息是，学习内驱力^[4]往往随着网络疲劳而减弱。我们学习的时间越长，记忆回路的饱和程度就越高。只有睡眠才能带来解脱。这就是为什么即使是最贪得无厌的学习者往往会昏昏欲睡，并在某一点上放弃学习。如果读者为了一本小说而熬夜，这可能是睡眠内驱力不足、学习减少和悬疑小说中典型的可变奖励增加的组合。

6.19.4 学习和锻炼

我听说强迫性的学习会导致更少的锻炼。那就不好了。然而，我认为更有可能产生这种效果的是糟糕的学习。好的学习是快乐的，能激发额外的能量。一个快乐的孩子不应该长时间地坐在一本书或一台电脑前。一定有办法释放能量。也许我们应该说，减少运动是学习成瘾的标志，而良好的学习有神经营养作用，应该让人爆发额外的能量燃烧？

6.19.5 学习限制

学习是有代价的，也是需要时间的。这就是为什么它应该是明智的。然而，良好的学习几乎总是一个好的长期投资。这就是为什么我们不应该害怕上瘾。恰恰相反，我们应该珍惜和激发学习内驱力^[4]，提供快乐的终身学习。

6.20 学习的不快

当我声称所有的学习都是令人愉快的时候，我听到了一种声音，像是“我不得不经历一场压力很大的考试，它给了我很多生活上的好知识”。这些声音混淆了良好学习的乐趣和使学习成为许多学生恐惧的因素的不快。这些可怕的因素包括糟糕的老师，严厉的家长，最后期限，压力，糟糕的睡眠，糟糕的教科书，过多的书册，等等。

我听说，如果没有最后期限或学校强加的目标，学习将被电子游戏、小说、电视、爱好、体育等所取代。出于许多原因，这可能是正确的。其中一些活动可能带来与学习无关的乐趣。然而，由于学习或锻炼的原因，它们也是有益的。一个全面发展的学生应该能够自由地放慢速度，把时间分配给有趣的学习和其他有趣的活动。进展缓慢可能带来更多好处。

学习的方程式不可能在好的学习之后产生不快乐。责任总是在别的地方。所有负面的东西都应该研究和消除。

归根结底，即使对考试、证书和职责有不满意之处，这种不满也应由学生自己承担。

快乐的学习可能被埋没在由压力、坏人、糟糕的学校、糟糕的教科书等等引起的不快中。

6.21 学习和拖延

如果学习是最可持续的快乐形式，为什么一半的学生会拖延呢？这几乎是一般人口数字的三倍。

答案很简单也很重要：学生拖延是因为好的学习是一种乐趣，而坏的学习是非常不愉快的。学校甚至大学里的大部分作业都与学习内驱力^[4]的需求不匹配。这种学习是无效的，也是令人不快的。那些孩子经常在晚上玩电脑游戏，声称他们的大脑需要休息。我怀疑他们的大脑不在休息。实际上，他们做的工作都是他们觉得愉快的。这种乐趣很大程度上来自于新的学习。不幸的是，游戏玩得好在学校是没有学分的，所以琐事和乐趣的正弦循环从第二天开始，甚至在同一天随着作业开始。

我从来没有停止惊讶，有这么多的学生自称懒惰。同时，只要这些都是愉快的或为自己的目标服务，他们就可以做许多精神上的体力劳动。即使是那些在 SuperMemo 中有数千个记忆项目的人也常常给自己低的责任心分数。学习的目标可能是模糊的，但即使它们是非常清楚的，输入和先前知识之间的不匹配可能会导致显著的不快。如果学习熵^[6]很低，作业可能会很枯燥。如果它是负的，他们将是令人厌恶的。

高目标估值与不良学习的负面奖励之间的斗争将导致拖延。拖延者常常说自己懒惰，即使他们不是。

如果你认为你在学习上懒惰，你需要重新评估你的材料和方法。即使是简单的违反自然的创造力循环^[7]的行为也会扼杀学习的乐趣。

上一章：6 学习内驱力和奖励（6.11-6.16）

下一章：6 学习内驱力和奖励（6.22-6.25+摘要）

← 返回目录