如果有了 AGI，还有什么知识值得我们学习？

省流版：

• 品味——在高度依赖具体情况的领域中进行精准驾驭的能力。
• 技术语言——在特定领域内使用的专业术语和表达方式，用于精确传达复杂概念和细节。
• 通过亲自动手才能带来乐趣的活动——演奏乐器、写作、哲学思考等等。

以下内容摘自 @Thoughts Memo 汉化组的译文《如果我们有了人工通用智能（AGI），还有什么东西值得学？》

如果我们有了人工通用智能（AGI），还有什么东西值得学？

GPT-4 最近迎来了它的一岁生日。然而，我必须承认，我仍未消化我们所生活的这个变化的世界。我经常发现自己仍在坚持那些在大语言模型（LLM）出现之前形成的计划和信念。与其做一些零散的更新，我更希望退一步，深入理解：在一个拥有强人工智能的世界里，我们能创造出哪些变革性的赋能环境？

但在探索这个问题之前，我首先需要弄清楚一个更根本的问题：在一个拥有强人工智能的世界中，学习和成长的目的是什么？哪些知识和能力依然重要，或者变得更加重要了？

作为边界条件的不确定性

一个常见的回答是，我们依然需要掌握足够的知识来指导、监督和协调 AI 系统。这实际上是一个不断变化的目标，它取决于 AI 的能力。三年后，模型能达到什么水平？在我的有生之年会发展到何种程度？这些问题很快就演变成了猜谜游戏。我们可以向预测市场（prediction markets）求助，或是参考尺度定律（scaling laws）。但我们可以通过探索一些明确的界限来找到更持久的答案——无论 AI 多强，有些任务我们似乎永远无法完全交由它们来完成。

几周前，我让 GPT-4 把一个挺复杂的 JavaScript 算法转换成 Python 代码。结果看上去基本正确，但因为两种语言在数值基本类型上的细微差别，代码中出现了一些严重的错误。我必须足够了解这两种语言，才能发现并处理这些错误。事实上，即使我向 GPT-4 解释了错误，它还是不断生成带有同样根本错误的代码变体，因此我还是需要有足够的编程能力去亲自编写修正程序。

但这只是一种暂时的情况。我已经给模型提供了它产出正确解决方案所需的一切。理论上，它完全有能力验证翻译后的程序在执行上是否与原程序完全相同。模型不需要额外的信息或说明来改进它的答案：它只需要掌握两种语言的文档，并具备足够的逻辑推理能力来正确进行翻译。因此，我们不需要借助预测市场或尺度定律就可以预见——或许在明年，或许在遥远的将来——我将不会再需要我用来监督这次翻译的知识。这一事实是任务本身及其基本可解性的结果[1]。

并非所有任务都是如此。比如，假设你是一位作曲家，正在创作一首大提琴协奏曲。你能像委托程序翻译任务那样，将其外包给 AI 吗？

你遇到的第一个问题就是沟通。你心中有一个想要表达的模糊概念，你需要一些知识来帮助你把这些想法清晰地传达给模型。现今的生成音频模型允许你用文字来描述你的需求。为了精确控制输出，你可能需要了解一些专业词汇，比如「断音」，或者了解变音和弦结构等概念。文字并不是传递音乐想法的最佳媒介，所以你可能还需要掌握主旋律谱、ADSR 包络线或频谱图等表示方法。

但将你的大提琴协奏曲外包给 AI 的主要难题，其实并不是如何精确地向模型传达你的想法。真正的问题是，你自己还不知道自己究竟想要什么。作曲本身就是一个探索过程，正如 Donald Schön 所说的「边做边想」。在尝试不同主旋律时，你会发现每个主旋律如何与你心中构想的音乐风景相互影响。这些反馈不仅指导了你的创作方向，也帮你澄清并转变了你的初衷。你无法提前知道自己将需要哪些知识，或者 AI 需要掌握哪些背景信息，因为这些都是你在尝试中才能发现的。通过作曲的过程，你逐渐明白这部作品应该变成什么样。这并不是说 AI 不能在这一过程中提供帮助，实际上，它确实能大大拓宽你的创造视野。但如果你把整个过程都外包出去，最终得到的作品肯定会大相径庭。

从这个角度来看，作曲任务与程序翻译任务属于不同的范畴。但这种区别并不仅限于艺术领域。它还包括 Herb Simon 所说的大多数「人工科学」（sciences of the artificial）领域，如工程、建筑、城市规划、商业、教育、医疗、经济等，这些领域关注的是「事物可能的状态，而不仅仅是现状」。在这些领域中的许多任务，「正确」的解决方案需要通过不断的迭代和协商来确定，需要在一个错综复杂的因素网中权衡取舍，这些因素既不是你，也不是 AI 能预先指定的。重要的工作往往不在于解决问题本身，而在于弄清楚问题到底是什么，这涉及到我们不断变化且相互作用的偏好。

例如，人们常常困惑：为什么软件开发这么难？为什么软件常常漏洞百出，而且完成的时间总是比预定计划晚很多？为什么我们不能简单明了地说明需求，然后把这些需求准确无误地转化成完美的软件呢？其实，能做到这一点的工具确实存在，人们有时会用它们来开发或检验一些关键组件。但这些工具在实际应用中并不常见，我认为这是因为在大多数情况下，我们无法提前准确地定义软件应有的行为。现在，AI 对精确度的要求比传统的规范建模工具要低。在一些简单的场景中，我们可以让 AI 来补充宏观描述的细节，例如「编写一个 Python 脚本，合并这些 CSV 文件，同时去掉所有空行」。但对于更复杂的软件，我们需要在不断构建和反思的过程中探索它应该如何运行，这一点和我们在创作大提琴协奏曲时的探索过程很相似。

那么，如果这类本质上依情况而定的任务需要我们持续参与迭代，需要我们监督 AI 承担越来越多的工作，我们又需要具备什么样的知识和能力呢？

学会驾驭

像 Midjourney 或 DALL-E 这样的工具，非常适合随意制作一些奇思妙想的图片。比如，「在中央公园的黄金时刻，两只金毛寻回犬下棋」的插图。在这种情况下，我不需要任何特殊技能或知识，就能轻松得到一个令人满意的结果。但此时，我并没有强烈的表达欲望；我不是在为复杂的场景寻找完美的图像。我只是想要一张可爱的图片，用来做派对邀请函。

然而，我也可以以更精细的方式使用这些图像模型。如果我需要在一个重要的演示中用图像支持我的观点，我就需要更多的控制。我会多次修改图像，每次都仔细观察并指出哪些地方做得好，哪些不行。经过十几次迭代后，我通常会意识到我一开始的方法就错了（「其实，这里真正需要的是……」），然后我会用新的角度重新诠释我之前的想法。

如果我是一名专业的视觉艺术家，这些图像模型依然能有意义地拓展我的创造力。但若要用这些工具来实现复杂且个性化的创作目标，我就需要更进一步地控制。我需要对想要达成的视觉效果有更明确的想法，也需要精确表达这些细微差别，以便严格约束输出的范围。

为了得到一个可控的结果，我不能只说「我喜欢这张图片」或「我不喜欢那张图片」。那样的话，可能的输出范围就太大了。我需要驾驭，而这就需要我掌握一些特定的专业技能。

我脑中对视觉创意和技巧的积累，决定了我如何构思我要做的事情，以及我能想到的各种「操作」的广度。为了给出好的建议，我需要深刻理解不同构图和操作对结果可能产生的影响，以及这些选择如何限制未来的操作。每制作一张新图像——每进行一次新的尝试——我都得清楚看到各个元素及其对整体的影响。这次操作是否达到了我预期的效果？它还带来了哪些其他后果，这些后果是如何与我的目标相互作用的？这些观察通常会让我重新思考我要达成的目标，或者促使我彻底改变我的方法。

简便起见，我把这称为「品味」：我掌握的行业思维和技巧，我对不同构图和操作可能带来的影响的理解，以及我感知和评估结果的能力。虽然这一节我主要讨论的是图像生成，但我认为这些观点同样适用于我之前提到的专业领域，比如软件设计、建筑、商业、医学等。在艺术之外的领域，这种能力可能被称为「专业判断」或「决策专长」，但我认为，这归根结底是一个能力：在高度依赖具体情况的领域中进行精准驾驭的能力。

在一个拥有强人工智能的未来，我相信我们仍然需要这种「品味」，以便在这些领域中深入工作[2]。当任务涉及到人类的复杂情境和模糊偏好，且行动空间复杂到无法简单通过试错解决时，这种能力就显得尤为重要。你需要以此来确定自己想要创造的图像、软件或其他任何东西。虽然使用 AI 能拓宽你的想象和达成的可能性，但你仍需亲自驾驭。实际上我预计，随着 AI 越来越多地处理一些较为通用的元素，对于某些任务来说，这种「品味」将变得更加重要。

那技术知识呢？

到目前为止，我讨论的主要是我们对模糊启发式方法和直觉的持续需求。但现在，大多数学习都集中在获取信息、详细地理解概念和提升技术熟练度上。在一个拥有强人工智能的未来，这种情况会有何改变？如果我是电子小工具的发明者，我还需要学物理吗？如果我是作曲家，学习音乐理论对我有帮助吗？如果我是建筑师，我还应该继续提升我的绘图技能吗？

我对此感到相当不确定——我认为不同的答案可能差别很大——但有几点值得我们考虑：

沟通媒介。普遍地说，抽象的术语和概念对于沟通依然很重要，无论是与代我们执行任务的 AI 系统，还是与人类合作者。你需要描述你所处情境的限制；表达你的特殊意图；理解并监督权衡。所有这些通常都会从技术语言中受益。领域特定的表述方式（如音乐符号）可能仍将对高效传达思想至关重要。

目的媒介。你的意图——即使是内心的构想——也常常会涉及到复杂的领域特定的概念。比如说，在强人工智能的帮助下，你需要什么样的理解才能发明比特币？首先，你得清楚自己想要达成什么。在比特币之前，市面上已经有不少数字货币，但它们都存在一些关键问题，这些问题往往涉及深奥的技术细节。要构想出类似比特币这样的目标，你需要了解女巫攻击（sybil attacks）和通缩货币政策等问题的权衡。另一种看待这个问题的方式是，你的评估能力——你对给定解决方案的价值的感觉——部分依赖于你的领域知识。

知识库构建的概念。我曾说过，品味的一部分来自于你对专业领域中的思想、操作和框架的掌握。你可以通过积累一生的零星经验来构建这个知识库，但这种方法效率极低。理解概念可以让你在抽象层面上有所提升，将这些孤立的元素整合起来，还能启发出新的可能性。拿烹饪来说，很多人只是做了许多单一的菜谱，而没有培养出有创意的灵活性。但如果你深入学习炖煮这一概念，而不仅仅是制作几个使用这种技术的菜谱，你就能看到这些菜式之间的共通之处，也能更清晰地看出它们的不同。你会把炖煮看作是一种可以在多种情境下使用的抽象「操作」。例如，如果你的 AI 食谱建议你做一个蒸茴香的菜，而天气又比较凉爽，你可能就会意识到，自己更倾向于将其炖煮——但这种想法只有在你能用炖煮的概念来思考，而不是单纯依赖具体食谱时，才会出现。

自启动的关键因素。品味的一个要素是，你能够预判不同操作对工作的影响。当你凭直觉选择某种方法而不是另一种时，其实是在依赖长期积累的经验。但如果一切问题都让 AI 从头到尾帮你解决，你又怎能学会识别这些模式呢？这说明，你需要技术知识来达到自启动——在不同情境中运用基本操作，从而内化它们的运作规律，从而（可能）在未来更多地依赖 AI。

失去自主权。考虑一下相反的情况：如果将所有技术知识外包给 AI 系统，我们会失去什么？这里我想到了尼尔·波兹曼的《技术垄断》和伊万·伊里奇的《友好工具》。当我们理解我们的工具时，我们可以根据我们的价值观塑造我们的环境和社会，而不是仅仅被我们的工具/环境塑造。相比之下，当我们依赖的工具和系统不透明，且很少有人理解它们时，这可能会使权力集中在技术官僚精英的手中，并且可能会有剥夺个人和社区的自主权的风险。在一个拥有强人工智能的世界里，我们可能需要保持对技术知识的深入了解，这样才能确保自己对自身命运有参与权。

好吧：这些观察的建议是，在未来拥有强人工智能的情况下，我们仍然需要掌握一些技术知识。但到底需要哪些类型的知识呢？显然，有些知识的重要性会降低，而另一些则会变得更加重要。

我预见到的一个变化是，涉及到具体如何执行任务的知识价值将会发生改变，这类任务的输入和输出可以清晰定义。在有了 Mathematica 这样的工具的世界里，学习如何把二次方程分解成二项式可能很有用，因为这有助于理解零点的概念。但我不确定记住二次方程的公式还有多少价值。同样，有了当今的 AI（以及我广泛的编程领域知识），我实际上不需要详细了解编程语言的语法，就能有效地使用它。

在高度依赖具体情境的领域，把工作外包可能比较困难，但这些工作通常包括一些简单的子任务，这些任务涉及的重要权衡较少。如果这些子任务中的知识不影响更加复杂的整体任务（如语法知识），我们可能会发现，我们不再需要这些知识。这一观察同样适用于只涉及这些子任务的操作技能。我的验光师过去常用一台复杂的机器来检测我的近视；现在，一个自动化的激光器就可以完成这项工作。但这只是我看诊的一部分，我还是很高兴能和她讨论选择处方时涉及的复杂权衡。

把这个想法应用到各个领域的课程审计中，会很有意思。我们能删掉多少内容？还需要增加些什么呢？

我有一个顾虑：有时候，洞察和启示会在意想不到的地方出现。有时候，当我在做一些相对机械的界面设计工作时，我可能会突然发现一个之前没注意到的机会。一位医生在做常规检查时，也可能会观察到一些细微的、原本不在检查范围内的现象。这些权衡我还真不知道该怎么考虑。

行动的意义

还有一条很明显的边界：在那些亲自动手做才能体会到其意义的活动中，你肯定还是需要相关的知识和技能。

即使 AI 可以合成出完美的大提琴旋律，很多人还是会选择学习弹大提琴，因为亲自演奏能带来极大的乐趣。很多作家可能会喜欢用自动拼写检查，但他们不愿意放弃亲手打磨一个优美句子所带来的满足感。

如果你在读亚里士多德或《圣经》，我相信在未来拥有强人工智能的时代，你还是会想要阅读它们。哲学和精神探索的意义，很大一部分来源于内心。这种意义的一部分也可能源自与他人的讨论，可能有一天 AI 可以在这方面提供帮助，但至少目前在这些话题的讨论中，我发现自己无法与它的回应建立情感联系。

如果未来我们能借助 AI，让更多人在更多领域体验到深入参与的乐趣，我会非常高兴。我已经从非艺术家使用 Midjourney 的体验，以及非程序员使用 GPT-4 开发软件的故事中，看到了这种可能性的一些端倪。

一些遗留问题

关于硬科学。到目前为止，我的讨论主要集中在艺术和「人造科学」上。那么硬科学（译注：形式科学和自然科学）呢？未来的细胞生物学家需要掌握哪些知识？这个问题让我感到相当迷茫。如果你对某个细胞运作的机制感兴趣，这本身就是一个复杂而又不明确的问题，我也不确定这个问题取决于什么。这是针对客观现实的问题。虽然最好的答案可能取决于谁在问这个问题以及为什么问，但科学文献中已有很多关于如何良好描述细胞机制的先例。细胞生物学家需要有足够的知识来提出有意义的问题。这一需求或许就包括了传统课程大纲的剩余内容，但我不确定。正如 Michael Nielsen 所指出的，AI 推动的科学可能会在实验方面遇到瓶颈，尤其是在生物学这种「世界历史上的偶然事实对现象有重大影响」的领域，但我们的角色仅仅是开展实验吗？

品味的极限。我对品味的见解总能成立吗？一个足够强大的 AI 难道不能学会我的品味，并在充分理解我所有复杂背景的前提下，精确地创造出我所期望的东西吗？我觉得答案取决于我的意图有多个性化、难以捉摸和苛刻。比如，如果我想让我的大提琴协奏曲精确地表达我内心情感世界的那些难以言述的细节，很难想象一个 AI 能做到这一点，除非它能准确地模拟我的主观体验。在很多专业场合，尤其是那些看似相当偶然的情况，这种看法似乎并不适用。诊断医生需要依靠我所说的「品味」来引导他们的检查并反思他们的发现。但理论上，一个多模态 AI 应该能够得出同样的诊断结果。这种情况相对客观。建筑师的工作则居于中间——既有需要解决的客观问题，解决方案还要体现出建筑师那些难以捉摸的创意偏好。

做大蛋糕。在本文中，我默认了现有的职业世界、活动种类和知识领域。但在一个拥有强人工智能的世界里，我们的生活方式将会发生巨大变化。我们将会有新的爱好、新的艺术形式、新的科学领域、新的职业和新的机构。尽管我们还不知道这些在未来会是什么样子，但我们能否预测一下，哪些学习和成长在这些新领域中可能会有价值呢？

————————

感谢来自 Catherine Olsson、Jason Crawford、Joe Edelman、Laura Deming、Michael Nielsen、Sara LaHue 和 Sebastian Garren 的有益交流。还要感谢 David Chapman 向我介绍 Donald Schön 的作品。

————————

[1] 当然，在一般情况下，有些程序翻译在理论上是难以解决的。例如，如果你需要将 Python 代码转换成只支持全函数的语言，我们期望 AI 能告诉我们哪些情况下无法转换输入。但根据莱斯定理（Rice’s Theorem），这通常是不可能的，因为函数的完整性是无法判断的。因此，我们的 AI 有时可能会生成一个无效的程序，或者无法结束运行。然而，我可以主张，目前我们没有任何原则上的理由来区分人类能够执行的程序翻译任务与一个能力足够的 AI 能执行的任务之间有什么差异。

[2] 当然，AI 的一个神奇之处在于它能极大地降低进入这些领域的门槛。如果你缺乏品味，生成模型将大大扩展你的能力。它们能让你接触到一些粗略的结果，这些是你原本无法得到的，在很多粗浅涉猎的场合，这已经足够了。

Thoughts Memo 汉化组译制
感谢主要译者 DeepSeek-V2，校对 Jarrett Ye、照华堂
原文：What’s worth learning if we have AGI? | Patreon
Andy Matuschak · 2024 年 4 月 1 日

← 返回目录