学习熵

原文：Learntropy - supermemo.guru

这段文字选自《我永远不会送我的孩子上学》，作者是彼得·沃兹尼亚克（2017）

学习熵是从学习内驱力系统的角度来看，任何信号的吸引力。

讲座可以让人犯困，也可以引人入胜。学习熵从个人角度表达了这种吸引力。

神经科学家发现，海马体可以对传到我们感官（比如视觉、听觉等）的信号熵作出反应。在信息理论中，香农熵用于衡量通过信道传输的信号所包含的平均信息量。在教育和学习中，这些信号可以是讲座、书本、网页、图片、对话，甚至是社交互动或探索等。

如果仔细探究信号的熵与其在学习内驱力系统中的奖励作用之间的关系，就会发现这种关系受到多种因素的影响，包括已有的知识、信息编码方式、情感色彩，以及神经系统的预加工和加工速度等。因此，在高效学习的环境中简单地用「熵」来描述是不准确的，我们需要一个更贴切的术语——学习熵。

与有着严谨数学定义的熵不同，学习熵最好通过奖励系统对基于分析过的信号进行学习的反应来衡量的。就如同熵依赖于单一信息的概率，学习熵则依赖于诸如单词、图片、句子、形状等信号成分的奖励效力。这种奖励效力虽与概率密切相关，但最终的概率估计还会受到诸如已有的知识等多种因素的影响。

好的学习自然有所回报。但是也有糟糕的学习。存在解码失败惩罚。学生如果在努力解读一段信息后失败了，就会产生挫败感。这也是厌恶学习的源头之一。当学习熵低时，奖励少，惩罚重，最后的净结果很可能是负面的。因此，与香农熵不同，学习熵有可能为负值。

另见：