← 返回目录


GPT-4 升级成「考霸」,可高分通过各种标准化考试,这会对教育考试和人才培养带来哪些影响?

学校≠教育≠技能;文凭溢价=80%信号传递+20%人力资本

458 👍 / 108 💬

问题描述

3 月 15 日凌晨,大型多模态模型 GPT-4 正式发布,它以高分通过各种标准化考试:SAT拿下700分,GRE几乎满分,在律师模拟考试中,GPT-4 考到了前 10% 左右。

GPT-4升级成“考霸”,基准测试表现大大优于现有大模型

如果是随意聊天,你可能不太能感受出GPT-3.5与GPT-4之间的区别。但当任务的复杂性达到足够的阈值时,GPT-4将明显比GPT-3.5更可靠、更有创意,并且能够处理更细微的指令。

为了了解这两种模型之间的区别,OpenAI在各种基准测试中进行了测试,包括最初为人类设计的模拟考试。他们使用了最新的公开试题(在奥林匹克竞赛和AP自由答题的情况下)或购买 2022-2023年版的模拟考试题。

OpenAI没有针对这些考试进行专门训练。在模型训练期间,考试中的少数问题被发现。但OpenAI认为结果具有代表性。详情可参见GPT-4论文(cdn.openai.com/papers/g)。


OpenAI还在为机器学习模型设计的传统基准测试中评估了GPT-4。GPT-4大大优于现有的大型语言模型以及大多数最先进的(SOTA)模型,其中可能包括基准特定的制作或额外的训练协议:


许多现有的机器学习(ML)基准测试都是用英语编写的。为了初步了解它在其他语言中的性能,OpenAI使用Azure Translate将MMLU基准测试(一套涵盖57个主题的14000个多项选择题)翻译成各种语言。


在测试的26种语言中的24种中,GPT-4优于GPT-3.5和其他大型语言模型(Chinchilla,PaLM)的英语表现,包括拉脱维亚语、威尔士语、斯瓦希里语等资源匮乏的语言。

OpenAI也在内部使用GPT-4,这对支持、销售、内容审核和编程等功能有很大影响。OpenAI还使用它来协助人类评估AI输出,开始了其对齐策略的第二阶段。

OpenAI发文称,GPT-4能接受图像和文本输入,输出文本内容,虽然在许多现实场景中的能力不如人类,但在各种专业和学术基准测试中已做到人类水平的表现。

震撼!GPT-4来了,支持多模态,全面吊打ChatGPT,完虐标准化考试


我有两种观点,一种悲观的,一种乐观的。

悲观一点的:学校教育不为所动

现在的学校教育传授的都是过时的知识[1],为什么还依然存在?我认为主要有两点原因:

  1. 规训
  2. 筛选

规训

规训是传统艺能了,西方强制学校教育从 16 世纪开始,就是以灌输为目的,让学生成为盲目的信徒、听话的工人、狂热的爱国者、思想千篇一律的人:

17 世纪中叶,美国的马萨诸塞州成为第一个施行强制学校教育的殖民地,其既定目标是将儿童变成优秀的清教徒。到了 1690 年,马萨诸塞州邻近殖民地的儿童使用新英格兰初级教科书学习阅读,也就是俗话说的「新英格兰的小圣经」。它用简短而押韵的对句教儿童认识 ABC 英文字母表,从「In Adam's Fall, We sinned all (亚当之过,世界皆堕落)」开始 , 到「Zaccheus he, Did climb the tree, His Lord to see(撒该爬上了树,看到我们的天主)」结束。这本课本还包括《主祷文》《信经》和《十诫》,还有许多课程,专门用来向孩子灌输敬畏上帝,以及对长辈怀抱强烈的义务感。

工业界的雇主认为,学校教育是为了培养更好用的工人。对他们来说,最重要的是教会学生守时,听从指令,忍耐长时间的苦工,以及掌握最基本的读写能力。他们认为(虽然他们不会这么说),学校教的课程越枯燥无聊越好。

各种人物之间,还有真正关心孩子的改革者,他们传达的信息,在今天的我们听起来很是值得同情。他们认为,学校这个地方,需保护学生免受外界破坏性力量伤害,并让他们打下道德与智力基础,以成长为诚实自强的成年人。但他们对孩子需要学什么也自有安排。孩子应该学习道德与拉丁语,数学等学科,以锻炼思维,成为学者。

所以,所有这些学校的建设者和支持者,都对儿童在学校需要学习的内容有清晰的看法。很正确地,没有人认为儿童能靠自己便准确地掌握所有他们(成年人)高度重视的内容,即便儿童身处于丰富的学习环境之中。他们都认为学校教育是灌输,是在儿童的思想里刻印下一些真理和思考方式。而灌输的唯一办法,无论是当时还是现在,就是强迫重复,并测试重复内容的记忆强度。

以上段落摘自 @Thoughts Memo 汉化组的译文《西方教育简史——学校为何将教育变成了灌输

筛选

筛选是在教育资源不足时的无奈之举。理论上,筛选是为了让更聪明的人有更多机会享受更好的教育,从而为社会创造更多的价值。然而,现实中,筛选更多服务于占有更多资源的人。以考试为目的美国应试教育更是加强了这一过程,让富人家的孩子脱颖而出,打压穷人家的孩子,让他们不断落后:

我们知道,学习有一个特点,即学校用以激励表现的压力,是会抑制学习的。大量心理学实验显示,各种形式的比赛和评估,对于那些知道怎么做好一项任务的人,能让他们比平常做得更好,然而对不太懂的人,则会起反作用。

比如,在一项多年前开展的研究中,心理学家观察了在大学球池里玩魔力八号球友谊赛的人。[1] 一开始,他们站在远处观察,所以玩家不知道有人观察他们,之后他们靠近玩家,并非常刻意地观察,显示出他们在衡量玩家的表现。结果是那些没有被观察时已经玩得很好的玩家,在知道有人在评估他们后,表现得更好了;但那些还在学习怎么玩的初学者,在有人评估后表现得更差了。很多类型的任务都是如此——无论是智力型,体育型,还是劳动型。评估和竞赛让炫耀更为容易,但这种压力阻碍了学习。然而,随着我们不断尝试促进学校学习,我们一直在增加压力,结果还奇怪,为什么怎么做都行不通。

关于美国里贫富家庭出身的孩子之间的教育差距,已经有详备的叙述。有意思的是,随着在学校里表现良好的压力不断增加,这种差距也在不断扩大。实际上,有一项研究(刊登于纽约时报)显示,比较来自不同财力家庭的孩子,两者在标准化测试上的成绩差距, 从1960 年到现代,增加了 40%。

我确信,教育差距的成因中有很多因素,但有项因素是我希望你们仔细考虑的。假设那些来自经济条件更好的家庭的孩子,在家里学会很多学校会考到的知识。在学校中考试和持续评估的压力之下,他们会表现得更好,因为他们已经掌握了考试涉及的知识。他们习惯了这种思考方式。那么再假设,来自经济条件较差的家庭的孩子,在家里没怎么学会学校会考到的知识。他们一开始就在考试上表现很差,因为他们并没有一开始学到那些知识。持续不断的测试与评估带来极高的压力,再加上考试失败的尴尬与耻辱——他们便很难在学校学习那些别人已经在家里学会的知识。

宿命论地,学校的失败会引诱他们相信,他们自己是愚蠢的,这又导致他们在心理上以至于物理上放弃整个过程。换句话说,正是这种高压力的环境,在那些已经掌握知识的人,和没有已经掌握知识的人之间,撕裂出一条天堑,导致学校里教育差距年年都在扩大。随着保持优良表现的压力增加,天堑还在不断加深。

以上段落摘自 @Thoughts Memo 汉化组的译文《美国学校是为了夸耀,而非学习

乐观一点的:自由学习蓬勃发展

GPT-4 几乎掌握了整个世界的知识。学习一门新领域,不再需要查询大量资料,精挑细选,苦苦钻研,直接问 GPT-4 即可。甚至还可以让 GPT-4 生成问答卡片,辅助自己理解和记忆:

图片来源:叶峻峣:给ChatGPT施咒,让它为你制作Anki卡片——Prompt工程案例

不仅如此,以前遇到看不懂的地方,还得找老师问,或者搜索很多资料逐个查询,现在直接与 GPT-4 交互,没有任何心理负担,成本也很低。还可以让它多举几个例子,或者推荐补充材料等等,非常自由。

自由可以说是提高学习效率的关键,这一点在我以前发的一些译文中讨论得很详尽了,这里不再赘述:

叶峻峣:学习需要自由叶峻峣:自由学习

如果自由学习这条路有越来越多的成功者出现,我相信传统的学校教育最终会被扫入历史的垃圾桶。关于学校教育的问题,请参阅:

叶峻峣:学校教育的问题叶峻峣:学校让人沾染上的 100+ 恶习

学校教育最终只会剩下规训和发文凭这两个作用。但我不是劝各位读者离开学校,开始自己的自由学习。虽然自由学习可以给你带来数不尽的能力,但没有文凭只会让你在这个社会上处处碰壁:

叶峻峣:【读者来稿】当今社会的自由学习:一些个人经验与感想

但我相信,在不远的未来,会有越来越多的自由学习者将自己的成就摆在台面上,会有越来越多的人发现,从学校教育中熬出来的人,还不如一个用着 GPT-4 的自由学习者。最终,认为文凭代表着能力的刻板印象将会褪去,文凭将不再是顺服校驯者[2]的通行证。

自由学习者们,将会改变这个社会!


参考

1. 课标滞后期 ./497619395.html
2. 顺服校驯者(受过“良好”学校教育的人) ./605235805.html

← 返回目录