6.11 学习熵
有许多因素会影响大脑对信息和信息渠道的感知和评估。在前面的章节中，我们已经注意到大脑不仅对熵有反应。还有许多因素可以调节单个信息的熵或意外的影响。这些因素包括：编码、传授速度、预处理（例如泛化、完善、识别等），预备知识（包括估值、情绪价、渠道可靠性等），最佳水平（受处理速度影响），等等。
这一过程的复杂性要求有一个更好的概念来封装所有这些细微差别。我建议使用学习熵这个术语来描述从特定背景下的个人大脑的角度来看的教育渠道或信号的吸引力。
学习熵是由学习内驱力系统决定的任何教育信号的吸引力。
讲座可能很无聊也可能很吸引人。学习熵从个人的角度来表示它们的吸引力。
虽然熵有一个精确的数学定义，但是学习熵最好用「奖励系统」对从「分析的信号」中学习的行动的反应来衡量。正如熵取决于单个信息的概率一样，学习熵也取决于这些信息（图片、声音、句子等）的奖励效应。这种奖励效应将与概率相关联，但评估将在很大程度上取决知识评估网络[1]。
好的学习是有奖励的。然而，也有不好的学习。因为这里有解码失败惩罚。如果一名学生努力解码一条信息，但失败了，他将受到惩罚。挫折就是这样产生的。这就是不喜欢学习的开始。如果学习熵低，奖励少，惩罚高，最终结果可能是负面的。如果我们把负面的奖励信号考虑在内，学习熵实际上可以为负值。无聊的讲座可能会带来负值的学习熵。这会导致抑制学习内驱力[2]。
高知识估值导致高学习熵，而学习熵又为长期记忆知识的注意力和语义插入提供了必要条件。在强大的反馈循环中，学习熵增强了学习内驱力[2]，这是决定学习熵的估值的基础。这种反馈循环通过遗忘、习得性无助、衰老、伤害和精神资源的纯粹可用性来控制。通过合理的学习和生活方式管理，特别是自然创造力循环[3]，这种平衡可以在高学习内驱力[2]水平上保持几十年。
6.12 信息时机与学习熵
从学习流中的各个信息获得的奖励程度将决定信息学习熵的水平。关于无聊话题的讲座的学习熵很低。在网上寻找解决某个特定问题所需的信息会带来很高的学习熵。
与基于平均值的香农熵不同，学习熵更像是一个趋势平均数，最新的信息将比之前传授的信息具有更高的权重。此外，学习熵植根于支配记忆巩固的规律，包括间隔效应。
一旦知识的金块填补了理解上的一个重要空白，枯燥的演讲的学习熵就会激增。学习熵的增加与决定知识估值的记忆稳定性曲线的表达式成正比（包括知识估值网络[1]中的下降曲线）。随着时间的推移，金块的影响将逐渐减弱。这些令人愉快的发现的累积效应将决定在任何特定时段（例如在演讲期间）的学习熵的水平。
以上表明，教育者可以影响学习熵，增强学习内驱力[2]，并提高长期学习效果。灌输知识是一种糟糕的策略。提供答案应该是有选择性的，应该倾向于回答高度重要的抽象和普遍的问题。自主学习的自由探索是终身保持学习内驱力[2]和终身学习的最佳方案。
所有形式的学校教育都倾向于抑制学习内驱力[2]。因此，许多成年人可能会发现很难内化关于学习熵在学习中的重要性的信息。然而，在现代世界中，几乎每个人都需要独自解决一个小的技术或健康问题。这个问题可能就像在 Facebook 上微调一个选项一样简单。问题的解决方案越难找，找到答案的回报就越大。越难找到的答案，其搜索和探索的过程就越持久和广泛。每个人都应该熟悉这种感觉。然而，对学习内驱力[2]的抑制往往会导致知识的减少，自尊心的降低，所有的探索都可能提前结束。换句话说，那些在学校或以后的生活中失去创造力的人会更早放弃，甚至可能永远不会尝试。从这个意义上说，计算机、互联网、技术等带来的所有技术问题和故障都有一些积极的副作用，即使是在最被动的人身上，也会刺激残留的学习内驱力[2]。唯一的要求是这些任务需要以一定程度的成功结束。否则，可能会出现相反的情况。惩罚信号可能让我们从探索中退出。
你可以快速回答这个关于你自己的学习内驱力[2]的即时测验。如果你在生活中遇到一个小问题，你是寻求人类专家还是依赖谷歌？如果你的车出故障，或者你的电脑崩溃，或者你受伤，或者你胃痛，你会去哪里？
6.13 学习熵和学习内驱力
在一个类似遗忘的过程中，学习熵的奖励的影响将随着时间的推移呈指数级下降。就像间隔重复复习一样，新的奖励将学习熵恢复到更高的水平。就像间隔效应一样，较长的休息时间可能会导致相同的信息有更多的奖励。
在学习过程中，决定学习熵的奖励信号和决定回忆的巩固信号有很大的区别：一旦你学会了什么，在短时间内重复复习是没有意义的，一旦你把回忆的概率提高到 100%，你可以在下次复习之前让时间流逝。学习熵的上限可能很难达到。如果你喜欢一场演讲，有一些歪曲的事实或讲授，你会更喜欢它。如果你只记住一段记忆，你不可能在短时间内用技巧更好地记住它。你可以使用助记技巧重新构建记忆并影响其持久性，但是一旦回忆概率达到100%，记忆的最好的办法是让它闲置一段时间或在不同的上下文中使用它，这可能会导致开发新的记忆，从而与原来的一段记忆形成冗余连接。
学习熵的消失是由于缺乏奖励信号。学习内驱力[2]的消失是一个遗忘的问题（包括因部分脑细胞死亡而遗忘）。
学习熵将以指数下降和收益递减的方式叠加在每个信息上。通过优化奖励信息的出现时机，我们可以将学习熵提高，使学习成为与食物、性、药物等奖励相同的最令人愉快的活动之一。如果你对此持怀疑态度，请回忆一下那些沉迷于电子游戏的玩家，他们可以在晚上饿着肚子玩游戏。电子游戏[4]可以劫持学习内驱力[2]，并将其与赌博的奖励结合起来。赌博的奖励也可能受类似于学习熵的下降和提升规则的支配，然而，它们受制于可变的奖励，这可能导致上瘾。重要的是要区分学习的乐趣和有害的上瘾（参见：对学习的上瘾）。
学习熵将决定学习内驱力[2]，但两者将以不同的规则来维持。学习内驱力依赖于知识，因此将受到间隔重复的影响。由于知识是一个网络，所以说学习内驱力的最佳激励可能是没有意义的。为了最大限度地提高学习内驱力，我们应该终身学习，尊重自然创造力周期[3]，并注意大脑的健康（即一般的健康）。
6.14 最佳信息传授
在学校教育中，我们可以设想一个处于最佳学习熵水平的讲课，在这个讲课中一个学生不断地说「哇！哇！」她保持尽可能快地记笔记。但是，更常见的情况是，课堂会发出一个高熵信息或让人感到无聊。它的学习熵会很低，甚至是负数。
如果最佳学习熵水平取决于学生，老师该如何最好地向全班学生传授知识？有时候适合所有人的传授是不可能的。换句话说，这困难到需要天才的教学技能。对大多数老师来说，他们的传授使大多数孩子感到无聊或沮丧。
在课堂上，少数幸运儿可能会理解大部分信息。对于一小部分有天赋的人来说，这堂课可能没有带来多少新知识。对他们来说这很无聊。对于其他孩子来说，信息的复杂性超出了他们的理解水平。在这种情况下，如果他们试图理解，老师的讲课可能会令他们挫败。一个关于弦理论的讲课可能相当于一个随机打乱排列的英语单词序列的噪音。讲课是一种浪费时间的活动。诺贝尔奖得主 Carl Wieman 把它比作放血。
为了避免负学习熵带来的挫败感，学生们会像你从我前面提到的泰国频道换台一样「换台」。孩子们会忽略来自老师的「静电噪音」，并收听到其他「频道」，这些频道有更合适的学习熵水平（例如桌下的手机上的 Facebook）。即使他们的理解能力很好，所传授的知识也可能无法与他们目前的知识互补。如果这些知识不能产生高质量高价值[2]的泛化，就会被认为是显而易见或毫无关联的。
低学习熵，即使偶尔发生，也会让学生习惯性「换台」。一段时间后，学生们将「进化」一种过滤器，将教师当做一个零熵和零学习熵的无声广播频道。提高讲课质量将是徒劳的。老师在学生心中消失了！
In a classroom setting, a student will often not be able to zero in on a better signal. The same signal is dished out to all students and they all may get equally bored. In contrast, Googling for good keywords can bombard the brain with perfectly timed low probability messages that will fit the current knowledge tree like a jigsaw puzzle. Google is a very cheap and efficient generator of "wow!".
在教室里，学生往往不能集中注意力在更好的信息上。老师向所有学生传授同样的信息，他们都可能同样感到无聊。相比之下，在谷歌上搜索好的关键词，可以像拼图游戏一样，用符合当前知识树[5]的低概率信息连续轰炸大脑。谷歌是一个非常便宜和高效的「哇！」生成器。
在渐进学习中，学习熵检测器将选择最佳通道，对这些通道进行优先排序，并利用最佳时机最大限度地提高语义连接和记忆整合。这应该很容易理解为什么我非常高兴，我永远不会被迫坐在学校的长椅上！我太爱学习了！
所有以上的例子说明了信息和大脑在识别值得学习的东西时的相互作用是多么复杂。学习的奖励是最好的已知的学习质量指标。当学生快乐的时候，我们就走在正确的路上。当学校成为痛苦之地时，我们在社会上就失败了。
唯一可靠的知识互补和一致性检测器是学习内驱力系统的神经网络。这就是为什么知识不能预先包装并强加于学生的原因。
这是可以用结晶比喻[5]来解释。奖励系统的神经学细节在以下一节中介绍：学习奖励。
6.15 令人全神贯注的讲课
我们喜欢学习，但我们通常讨厌别人教导我们。这些感觉与创造力相关，这可能可以用这样一个事实来解释：创造性的阐述对于模式完成是必不可少的，而模式完成正是理解的基础。
在学习中，我们决定研究什么。学习熵的评估严格取决于大脑和当前的记忆激活的状态。在教学中，知识的传授是与我们对它的看法无关。许多学生把枯燥的科目列为他们不喜欢学校的首要原因。不是欺凌，不是压力，也不是早起。而是极度的无聊！我在这里写了关于自我导向学习和在学校学习之间的极大差异。这一切都源于学习内驱力[2]！
我感到惊讶的是，有这么多的资源浪费在寻找让孩子们在讲课期间保持兴趣的方法的研究上，而讲课显然只是一种糟糕的教育工具。眼神交流分析？参与分析？努力量化激情？所有的孩子都有了天生的学习内驱力[2]，我们的首要任务应该是确保我们不会破坏这种内驱力。对学习内驱力[2]起主要破坏作用的是强制灌输知识。此外，还有许多社会经济因素使许多儿童即使在最好的环境下也不能茁壮成长。有些孩子永远不会表现出对学习的热情。在大多数情况下，这不是他们的错。只有一小部分孩子受到残疾、健康问题和不幸的遗传天赋的限制。学习内驱力[2]随年龄增长呈指数衰减的主要原因是义务教育。被动的授课助长了这一过程。
当然，有些授课是有效的。可汗学院里有很多很好的例子。即使是没有幻灯片的口头演讲也能起作用。YouTube 上的 TED 演讲可能会很有趣。它能满足学习内驱力[2]。MOOC 是建立在这样一个原则之上的，即一位摇滚明星教师比数千名重复同样咒语的普通教师要好。即使你只是一个被动的倾听者，你也能学到很多东西。但是，也有一些条件：你需要对主题充满好奇，或者你需要喜欢这个演讲者，或者两者兼而有之。只有一个确定的机制可以确保讲座是有趣的：你需要自己选择它！这只是自我导向学习要求的又一个方面。
除了选择之外，在讲课时，你绝对需要一个暂停按钮，以防你需要上厕所，或缓解饥饿感。没有什么比爆裂的膀胱更能有效地毁掉一场讲课了。最后但并非最不重要的一点是，大多数讲课都可以受益于 Netflix 的「跳过开头」功能。
当然，如果你用你自己的创造性思维，甚至是快速的研究来提高讲课的效率，讲课就会发挥最好的作用。这就是为什么暂停一分钟或一天可能是学习效率的关键。与一些精神科医生的说法相反，创造性休息和走神与多动症无关。只要它们是毫不相关的，它们就是高效学习的标志。
我使用两种方法来渐进地学习讲课。我的第一个方法是倾听和锻炼。锻炼可以提高注意力。良好的专注减少了暂停的需要，然而，它也减少了学习的创造性方面。对于优先级最高的主题，我使用渐进视频，我可以在其中暂停和继续多次。我甚至可以把最重要的讲课节选留待将来复习。然而，即使是渐进视频也不是最好的学习方法。它不能在速度和数量上与渐进阅读相竞争。有时，使用渐进阅读处理讲课记录比听讲课本身更有意义。这一点在充满陈述性知识的讲课中尤为明显。
我主要根据我喜欢听的演讲者来选择我的视频材料。在这篇文章的背景下，我知道你会喜欢 Ken Robinson 的演讲！去看看：Ken Robinson：学校扼杀创造力！
6.16 学习奖励
学习的乐趣可能是最令人满意的乐趣之一。与吃饭或性不同的是，学习的乐趣不会随着行为结束而终止。学习的乐趣是可持续的，只有在参与学习的网络过载的情况下，学习的乐趣才会慢慢减少。可以通过睡眠将其重置回基线。研究表明，学习的快乐与海洛因或可卡因的快乐具有相同的机制。与吃或性不同的是，快乐的学习可以占据大部分醒着的时间。在这个意义上来说，学习、创造力、问题解决和生产力的乐趣可能是斯多葛派的享乐疗法的主要工具。虽然一个健康的人很容易满足对食物的需求，但是对学习的需求可能永远不会停止。学习内驱力[2]取决于当前知识的状态，而这种状态可以被学习本身所操纵。
所有情绪波动的人都应该把学习当作治疗。
6.16.1 学习内驱力奖励
我已经提到了几个例子来说明学习内驱力[2]是如何在大脑中产生奖励信号的。我们知道低概率的信息是有奖励的。提供新知识的泛化也是如此。一个导致理解突破的信息片段是很有价值的。拼图中缺失的一块拼图[6]带来了巨大的奖励。一个生僻的词，一旦被解码，就能使一整篇长的文本从杂乱无章的句子转换成清晰的推理。
通过泛化来确认一个模型，或者为一个更好的新模型奠定基础，这两种方法都让人感觉很棒。此外，所有与强烈情感相关的模型验证肯定都会让人欣喜若狂：「我的团队是世界上最好的！」或「是的！我的新生儿真的很健康！」，或「耶！我就知道努力工作会使我升职的！」。然而，当我们讨论学习内驱力[2]时，我想过滤掉额外的可能会模糊图景的情绪层。我们需要记住，学习是愉快的，并与它是否能从运用知识中得到奖励无关。
发现时的啊哈！、哇！、或者尤里卡！是学习中最纯粹、最终极的奖赏。它不需要从别人那里得到更多的赞扬或奖励。在这里，知识本身就是奖励。
这种奖励的共同点是对记忆中新的高价值信息进行编码。
学习内驱力的奖励来自准备长期储存的高价值知识。
在我们寻求理解现实的过程中，随着大脑中储存的信息总量增加，储存的知识的熵就会下降。随着不断学习和建模，理解世界的复杂性所需的努力越来越少。
6.16.2 学习内驱力的进化
科学家说聪明的动物玩得更多。我说，更有趣的是，那些玩得更多的物种更聪明。我猜想，人类大脑体积变大的触发因素可能是学习内驱力，而不是鸟类或哺乳动物面临的环境变化需要更多的思考。这并不是说，如果人类大脑皮层没有变大，人类就会突然面临灭绝。这可能是因为学习内驱力[2]的出现，突然允许更好地使用数量增多的代价高昂的脑细胞。在学习内驱力[2]出现之前，增加大脑体积可能会给动物留下多余的头部重量和一组多余的细胞需要供养。如果没有学习内驱力[2]，多余的大脑空间可能会被闲置，这很可能会导致浪费性萎缩。如果学校教育试图凌驾于学习内驱力[2]之上，它将有助于这种进化优势被废弃。学校教育将助长更不聪明、更没有创造力的社会。
如果我们在人类进化的时间线上画出大脑的大小，我们可以看到大约两百万年前的一个巨大的增加。古人类学家倾向于将这种转变归因于饮食、烹饪等方面为大脑提供更好的营养。
如果关于学习内驱力出现的猜想是正确的，那么能人就是这一突破的起点。这可能意味着从鸟类和哺乳动物简单的程序性游戏内驱力向更复杂的陈述性学习内驱力的转变，这种学习内驱力[2]最终导致我们建立现实的抽象模型，而这正是人类智能的基础。据推测，从能人开始，人类有了以大脑发育为主的童年（从断奶到 7 岁左右）。
学习内驱力[2]在进化中的姗姗来迟表明，它不是神经网络中出现的简单功能（参见：Biederman 模型[7]）。否则，它可能很容易出现在鱼类或更早的时候。学习内驱力[2]需要一组专用的神经结构，这些神经结构能够在检测到对陈述性知识的连贯结构的增量贡献时，发送奖励信号。这种信号和潜在结构可能在程序性学习和陈述性学习中有所不同。对于不同类别的感官输入，它也可能有所不同。
6.16.3 程序性学习奖励
在 20 世纪 80 年代，我猜想了一种可能进行程序性学习的神经网络。在我的硕士论文中，出于无知，我使用了我自己的术语「随机学习」。我不知道的是，早在二十年前，也就是 1969 年，David Marr 提出了一个符合我自己想法的小脑皮理论模型。在新世纪里，有大量的数据证实了这个模型。
程序性学习神经网络的思想是非常简单的。想象一下你骑自行车。你运用你的意识去学习骑自行车所需的每个动作，然后继续骑车。然而，一旦你在路上，程序性学习系统确保你可以用最少的神经参与自动执行所有的动作，而不需要有意识的监督或只需要最小限度的监督一组指令神经元。程序性学习将决定你的运动程序。这个程序性学习系统将对发送到运动系统的信号序列进行微小的随机调整（因此被称为「随机学习」）。您可以将这些随机调整视为程序性创造力。每当你的自行车失去平衡，一个惩罚信号将从错误检测网络发送，去取消发送的修正。这个惩罚信号将为运动程序起一个指导信号的作用。
在睡眠期间，记忆将被重新组织、简化、优化，对有意识的输入的需要会被消除，而对技能贡献不大的垃圾信号将被驳回。随着每一公里的骑行，信号序列将通过反复试验而得到完善。而每次睡眠，褶皱就会变得更光滑。骑自行车将成为一种乐趣。从笨拙的、有意识的骑手到本能的骑手的转变中，这种乐趣可见一斑。
以类似的方式，在计算机上键入每个句子时，你的打字错误会越来越少。你知道键盘上的「)」在哪里吗？「}」呢？你打字越流畅，你就越有可能忘记这个细节。当有意识地控制动作顺序消失后时，键盘上「)」位置的陈述性知识可能作为「垃圾」被丢弃。它不再被需要了。
6.16.4 陈述性学习奖励
在解释陈述性学习内驱力时，情况要复杂一些。陈述性学习有明确的回报。有些事情是有趣的，发现真相是令人愉快的。在神经层面，大脑将扫描输入并产生神经活跃，以寻找学习熵高的领域，这些领域最大限度地提供与当前记忆状态相匹配的新知识。任何有意义的低概率信息都会被认为更具吸引力。明亮的分形图案将被认为是美丽的。灰色的随机颜色会被认为是无聊的。同样的情况也会发生在更复杂的视觉信息上。生机勃勃的森林是美丽的。但同样的森林在冬天、在干旱中，或者在环境污染的影响下，可能看起来并不吸引人。StevenPinker 说，我们被充满活力的图像所吸引。但我不同意。因为吸引力要宽泛得多。我们可能同样被一座死火山或南极洲的冰冻景观所吸引。我们喜欢使用简单模型表达复杂信息的环境、信号、信息或大脑活动。美丽海滩的图片可以用一些简单的形状和纹理来表示。
信息熵与数据的可压缩性有关。信号处理从输入开始。视网膜对视觉输入信号进行 100 倍的压缩。海马体和视皮层接受形状和关系的简单表示。这些可能最终改变皮质长期记忆储存中单个突触的状态。
整个学习内驱力[2]都是建立在寻找有效的神经网络知识表示方法的基础上的。学习内驱力、睡眠中的记忆优化和遗忘对于最大限度地提高可压缩性、抽象性、可用性和性能至关重要。这就是大脑如何通过简单的表示来确保我们能够看到一个复杂的世界。这是人类智力的核心。如果人工智能研究人员能够为机器人配备类似人类的学习内驱力，只要有足够的记忆空间，他们的学习能力可能是取之不尽用之不竭的。
6.16.5 学习中的奖励中枢
在 2014 年，研究人员报告称，在「高度好奇」的状态下，伏隔核的活动增加。他们还证明了我们所熟知的：这种状态提高了记忆表现。此外，这种提高的表现也体现在附带学习上，即不依靠本身激发好奇心的学习。这项研究在媒体上被广泛报道，但却以一种错误的解释：「好奇心会激发大脑，以获得更好的记忆」。例如，《科学美国人》的标题为「神经成像揭示了大脑的奖赏和记忆路径是如何激发大脑对知识的探究」。这篇论文本身就提出了「激发好奇心」的必要性。
由于奖励中枢可能涉及快乐的预期，我们更应该把研究的结果看作是学习内驱力[2]与快乐相关的一个迹象。正是学习内驱力引发了学习。学习才是令人愉快的。标题应该是「神经成像证实有效的学习是令人愉快的」。换句话说，顺序不是「内驱力->快乐->学习」，而是「内驱力->学习->快乐」。
与其说需要「激发好奇心」，不如说需要「培养学习内驱力[2]」。关键的区别在于，将刺激视为一种可能在课堂上使用的快速解决方法，而不是需要数月甚至数年的长期过程。一次广告宣传活动可能会用一些廉价的手段来激发我们的好奇心，而终身的激情则是永不满足、永不衰退的学习内驱力的配方，这是不断学习的完美保证。
的确，好奇心的状态会提高注意力，这会提高整体的学习，但是，这永远不应该作为一种课堂策略来使用。只有当奖励来自学习对象，而不是来自学习对象的周边，学习的游戏化才有意义。许多儿童学习程序使用鲜艳的颜色，不寻常的声音或微笑的脸来吸引注意，以诱导学习。然而，一旦习惯性了它，这种形式或人工游戏化就不再有效。而且，附带的知识不会持续很久。任何利用好奇心来激发附带学习的努力都是不具体的和低效的。同样，我们可能希望药物干预，如利他林，可以改善学习。然而于此相反，学习必须基于它本身的奖励。
伏隔核和腹侧被盖区参与了快乐、对快乐的预测和信号评估。来自知识评估网络[1]的信号在动机和情感两个方面汇合到这些区域。多巴胺与快乐的预期有关。由于多巴胺参与了注意力，仅仅是对快乐的预期就会导致学习的改善，这是因为更加关注预期传递快乐的信息来源。
如果你不相信，想想你有多讨厌你的新闻频道，当他们耍诡计激起你的兴趣时，然后说“休息后再找出答案”。当他们用“突发新闻”毁掉这一切时，你会变得更加愤怒。期待也会导致挫折。只有实际的学习才能提供奖励。从进化的角度来看，只有实际的学习奖励才有意义。我们不想将仅仅给动物看食物作为奖励。
伏隔核中的嗡嗡声可以是快乐的直接表达，也可能是寻找快乐的状态。最后，对于最终的结论，实际的解释并不重要：无聊和不快是学习的敌人。
为了进行用新知识补充现有知识的有效学习，我们需要遵循学习内驱力[2]。简单地说，这意味着学习的快乐在教育中是可取的。我们决不应该在不愉快的状态下学习(参见：值得的难度)。大脑让学生知道，在信息论的意义上，新的知识并不合适，痛苦的学习来自于此！它会被拒绝。而快乐是很好的向导！
通过上面的神经学推理，我们得出了一个显而易见的结论，有效学习的最好保证就是让学生自己学习，跟随自己的激情。
参考
1. 6.10 知识评估网络 ./64571517.html2. 学习内驱力 ./52990549.html
3. 自然创造力周期 ./68262875.html
4. 电子游戏比老师好 ./354952708.html
5. 知识结晶 ./268536400.html
6. 拼图游戏比喻 ./271646965.html
7. Biederman 模型 ./64573017.html