开场白
斯科特: 「但斯科特,我们真正想听你说说的,是『AI 热爱人类』用数学到底怎么定义?」我得说……
[音乐]
主持人: 斯科特·阿伦森,欢迎来到 Knowmads 播客。
斯科特: 谢谢,很高兴来到这里。
主持人: 太好了。其实准备这期播客的时候,我们本来打算重点聊量子计算,聊复杂性理论这些你热爱的话题,把 AI 放到最后再谈。但老实说,过去这三个星期发生的事,实在让我们没法不聊 AI 对理论科学——这些我们热爱的领域——以及对数学的冲击。(斯科特: 可不是嘛。[笑声])尤其是纳维-斯托克斯方程的结果公布之后。
千禧年大奖难题与 AI
主持人: 那我们就从这儿聊起吧。先带我们了解一下什么是「千禧年大奖难题」,这次的新成果到底是什么,科尔多瓦(Córdoba)、马丁内斯-索罗亚(Martínez-Zoroa)、阿尔珀格(Alpöge)、巴克马斯特(Buckmaster)做了哪些工作,最后 OpenAI 又是怎么一锤定音的。
斯科特: 好。我得先声明,我不是微分方程专家,也不专门研究纳维-斯托克斯问题,但我肯定能跟你们聊聊这些千禧年难题的大致情况。里头有另一个问题我是专家,只不过不是这一个,不是刚解决的这一个。[笑声]
这七个问题是克雷数学研究所大概在 2000 年提出来的。他们是受了数学家大卫·希尔伯特的启发。1900 年的时候,希尔伯特提出了 23 个问题,认为这些问题能塑造二十世纪数学的发展方向。希尔伯特的问题清单影响巨大,对吧?其中一些已经解决了,一些还没解决,还有一些表述比较模糊,甚至说不清怎样才算解决,但依然影响深远。
于是克雷研究所也挑了七个问题,每个问题悬赏一百万美元。我得说,凡是认真钻研这些问题的人,没有谁是冲着钱去的。[笑声]这大概是世上最难挣的一百万美元了。这几个问题里,P 对 NP 问题是我最熟悉的。然后是黎曼猜想,七个问题里只有它是从希尔伯特的问题清单里沿用下来的,到现在还没解决。还有一个拓扑学的核心问题,叫庞加莱猜想,那是第一个解决的。
克雷研究所公布这些问题才过了几年,格里戈里·佩雷尔曼就把它解出来了。很有意思的是,他随后拒绝了这笔奖金,也拒绝了菲尔兹奖,因为他不想再跟数学界有任何瓜葛了。就像我刚才说的,大家搞这个真不是为了钱。而现在,看来第二个克雷数学难题也解决了。二十五年前列出这些问题的时候,恐怕谁也没想到,这个解答很大程度上竟然出自 AI。
OpenAI 宣布,他们派了一个内部模型去攻克这个问题。我还是先退一步,讲讲这个问题到底是什么吧。纳维-斯托克斯方程是一组标准微分方程,用来描述水这类流体的流动。这组方程是一种理想化模型,只假定经典物理学成立。从某种意义上说,方程并不知道水是由分子组成的,而是把水当成无限可分的连续物质。尽管我们知道这并非终极真相,大家还是想搞清楚这组方程的行为,因为它是非常好的近似。大概一百年前就有人问过:如果初始数据是平滑的,比如水流本来连续不断,施加的外力也连续不断,会不会在有限时间内冒出奇点?
比方说,其中一部分水会加速到无穷大。我觉得在大多数时间里,学界的预期都是「不会」,觉得这事不该发生,只是技术上太棘手,一直证不出来罢了。毕竟我们知道二维空间里不会出现这种情况,二维的情况已经研究得很透彻了;可一到三维空间,就会出现湍流,一切都变得复杂得多。不过到了过去一二十年,证据渐渐堆积起来,显示奇点或许真的会出现。
举世闻名的数学家陶哲轩研究过这个问题,证明了其他一些相关方程里确实会出现奇点。其他人也在做这方面的研究,一步步逼近答案。其中有两位数学家——
人类监督的作用
特里斯坦·巴克马斯特和莱文特·阿尔珀格(他的名字我可能念得不太准),他们一直在借 AI 模型之力攻克这个问题。尤其是今年夏天以来,我们很多人都转向了这种工作方式:确实在用 AI,但人类也付出了足够多的心血,论文该署谁的名毫无争议。[笑声]这依然是你的成果,由你来解释,由你来担责。你或许让 AI 干了不少苦活累活,但走的是你规划好的路线。他们两位当时就是这么干的。
到了今年夏天,OpenAI 显然听到了风声,知道他们正在做这件事,而且快要成了。他们已经证明了欧拉方程里有奇点——欧拉方程跟纳维-斯托克斯方程很像,只是没有黏性项,所以更容易构造出奇点。OpenAI 当时的印象好像是 Anthropic 在搞这个(顺便说一句,莱文特·阿尔珀格在 Anthropic 工作,不过他是以个人身份做这个项目的)。于是 OpenAI 就说:「要不我们也来试试?」
至于 OpenAI 到底知道多少内情,到现在还是个谜。这是个大问题。甚至有人指责说,有人可能把巴克马斯特跟 GPT 的聊天记录喂给了模型。我对这种说法有点怀疑。但就算没这回事,OpenAI 听到风声,知道有动静,就会想:「咱们有这么多资源,干脆砸钱试试吧?」他们显然烧掉了价值大约 1500 万美元的算力。[笑声]
你看,奖金才一百万美元,就像我前面说的,这绝不是为了钱——当然,肯定不是为了那一百万美元,OpenAI 惦记的八成是即将启动的万亿美元 IPO 吧。[笑声]以前非常冷门的未解数学难题,如今居然成了 AI 公司炫耀实力的资本,有了全新的商业价值。OpenAI 当时派了大概一万个智能体去攻关,沿用的是五年前几位西班牙数学家制定的方案,而巴克马斯特和阿尔珀格走的也是这条路。所以 AI 并不是白手起家,而是建立在人类的思路之上,去构造这种有限时间内的爆破。但不管怎么说,它们拿出了证明。OpenAI 把证明发了出来,足足有 166 页,我觉得目前还没有哪个人通读并完全看懂了。[笑声]
不过我敢肯定,偏微分方程领域的专家正在啃这份证明。我预计他们迟早能看懂,也希望他们能把它简化。现在很多 AI 给出的解答都是这样:AI 能把问题解出来,但写出来的推导过程和解释简直不忍直视,[笑声]弯弯绕绕,完全没必要那么复杂。从某种程度上说,这对我们反倒是好事,意味着我们还有活儿干,[笑声]还得由我们把它讲得更清楚。这次的情况很可能也是这样。可在此期间,你可能会问,我们凭什么相信它是对的?因为 OpenAI 还让智能体生成了一份「Lean 证书」,也就是完全可由机器检验的证明。这张证书能向你保证:哪怕你看不懂证明过程,结果也是对的。除非 Lean 系统本身有漏洞(过去确实出过漏洞),或者纳维-斯托克斯问题在 Lean 里的形式化表述写错了;但只要你信得过这两样,就该相信这份证明无误。
我想 OpenAI 本来指望大家会为 AI 的这项惊人成就欢呼雀跃,没成想却引来了巨大的争议和争吵。一部分原因是大家觉得:人类数学家本来正在攻关,手头的资源根本没法跟大公司比,OpenAI 这么半路杀出来截胡,是不是太不讲武德了?而这也引出了一个大得多的议题:数学研究的目的到底是什么?我们做数学是为了什么?在未来的世界里,人类数学家扮演什么角色?为此,包括陶哲轩在内的 25 位菲尔兹奖得主——
重新定义数学研究
发表了一份声明,对这件事表达了强烈的不满。声明大意是说:数学的意义从来就不在于单纯把问题解出来;这些问题之所以重要,是因为它们是衡量洞察力与理解力的标尺或路标。如果把这两者剥离开来,只靠一个「神谕」给出答案,却没有洞察与理解,那对我们现有的数学共同体来说可能是致命的。
我琢磨了很久要不要联署这份声明,最后还是签了。因为我觉得,一方面,AI 不是什么一阵风就过去的东西,谁也没法假装它不存在。「纯天然有机定理」的市场恐怕小得可怜,[笑声]我们做数学研究迟早都得用这些工具——其实大家基本上已经在用了。今天你看到的论文都有一段 AI 声明,写明「这一部分是我们自己做的,另一部分是用 Fable 或 GPT Astra 做的」。现在大家都默认,每篇论文都要交代清楚哪些出自 AI,哪些不是。
但另一方面,只要我们还没有完全信得过的 AI(这就是对齐问题,待会儿可以再聊),只要我们还没准备好把人类文明的缰绳彻底交给 AI,方向盘后面就还得坐着一个安全员。就像特斯拉的全自动驾驶一样,我现在也在用,但我必须随时准备接管,[笑声]万一路上摆着几个锥桶,它不知道该怎么办,我就得顶上去。[笑声]同样的道理,我们依然需要人类来为文明掌舵,决定什么时候可以信任 AI,什么时候不能信,以及拿它来做什么。
只要这一点没变,我认为人类一直在努力理解的那些东西——当然包括数学、物理、计算机科学——就依然需要有人去理解。而要想做到这一点,就离不开人类自己的数学共同体。(主持人: 没错。)这意味着,我们使用 AI 的方式,必须依然把「人类的理解」放在中心位置。打个比方,你可以用 AI 帮你证明一个定理,写成论文;但只要你把自己的名字署在论文上,按照标准,你就得负起责任。也就是说,你确实读过它,看懂了,别人提问你能答得上来,还能上台做报告。要不然的话,你干脆跟大家说「你们直接去问 GPT Astra 吧」,[笑声]你自己并没有增添任何价值。
我们人类现在贡献的价值,首先在于提出问题,决定哪些问题值得问。模型当然也能自己生成问题,但我觉得在这方面我们还是技高一筹。(主持人: 是的。)虽说哪个问题更好并没有客观标准,但要说到提出恰当的问题、建立恰当的模型,这活儿还是我们在干;还有就是解释答案,讲清楚这个证明到底新在哪里、重要在哪里,这也是我们在干。不过很明显,从今年夏天开始,我们做研究的基本模式已经永远改变了。以前那种为了找一个证明或写一段代码而苦熬好几个月的日子,一去不复返了。就前沿研究而言,如果人类在这个领域还有未来,那从今往后,我们的工作更多是监督 AI 模型。也许为了教育、自我提升或者消遣,我们还会亲自动手推导,但在前沿研究里——这就好比「深蓝」击败卡斯帕罗夫三十年后,我们也迎来了自己的「深蓝时刻」。
主持人: 你刚才聊到了很多方面,我们待会儿肯定会展开细聊。不过我先想搞清楚一点:大家听说 AI 解出了这道百万美元大奖难题,会以为只是有人把题目输进聊天框,它就把证明吐出来了。但这次的情况远不止如此。(斯科特: 没错。)这次动用了上万个智能体,对吧?
搜索与创造性洞察
斯科特: 对,对。OpenAI 用的是所谓的「智能体模型」。你给这类模型布置任务后,有时还得给它们打气,告诉它们「继续试,你能行的,坚持住」。这些智能体会在内部拆解任务、分工合作,简直像个微缩文明:它们有自己的留言板,互相发消息交流。从目前的经验来看,可高度并行化的问题成效最显著,因为这类问题天然适合拆成小块,分给成千上万个智能体去干。而为猜想构造反例,恰好特别适合这种路数。
这倒不是说模型只能干这个,但在这类任务上它们确实优势明显。纳维-斯托克斯问题这次就是找出了一个反例。也许你只需要构造出某种极其怪异的特例就行;现在手头有一万个智能体,它们就可以尝试一万种奇奇怪怪的构造,直到试出一个管用的为止。不过,也有一些其他未解难题,解决过程还真就跟你说的一样:有人直接在 GPT-6 里输入提示词,「你能解出这篇论文里的开放性问题吗?」它思考半个小时,就把解答吐出来了。我拿自己早期论文里的一些开放性问题试过,用的就是市面上能买到的 GPT-6 Pro。
主持人: 哇。那在你看来,靠搜索庞大的空间来解决问题,跟真正萌生新颖的概念和想法,这两者之间有什么区别?或者说,真的有区别吗?
斯科特: 这个问题问得非常好。几十年来我们见识过一个规律:不管 AI 做出了什么,立马就会有人跳出来说:「那不算真正的创造力,AI 当然能做到啦,本来就没人怀疑它能做到。」哪怕这帮人六个月前还在怀疑,等 AI 真做到了,他们马上改口说:「那不算创造力,那不能算数,无非是搜索罢了,无非是预测下一个词罢了。」事后诸葛亮总有一套化约论的说辞,把 AI 做的事贬低一番。
这次也不例外。今年五月就有过类似的一幕,当时 OpenAI 的模型解出了一些所谓的「埃尔德什问题」。保罗·埃尔德什是二十世纪的大数学家,提出了长长一串未解难题,大多是数论和组合数学里表述非常初等的问题。模型解出其中几个之后,我博客的评论区里立刻有人留言说:「那是因为埃尔德什问题根本不算真正的数学,不过是匈牙利组合数学罢了,跟高中数学竞赛题差不多。埃尔德什本人甚至都算不上真正的数学家,只是个票友。等 AI 做出真正的数学再来叫醒我吧。」结果才过了四个月,AI 就把纳维-斯托克斯问题给办了。可这帮人又说了:「那不过是个反例罢了。」[笑声]每次都是这套说辞。所以我现在就问这些人:「好,你现在就告诉我,AI 到底要做到什么地步,你才会开始重视、开始慌?黎曼猜想算不算?P 对 NP 算不算?你提前画条线,到时候可别再挪球门了。」[笑声]
这种声音很多。不过有一点我倒是赞同他们:如果按人类创造力的最高标准来衡量——比如爱因斯坦在几乎没有任何经验线索的情况下,仅凭已有物理理论的自洽性和水星近日点进动这唯一一条线索,就提出了广义相对论;再比如哥德尔提出不完全性定理——按这个标准来看,我们确实还没见过 AI 提出这种量级的新思想。话又说回来,我们人类当中又有几个人提出过这种量级的思想呢?(主持人: 说的也是。)寥寥无几,对吧?
对许多人类数学家来说,职业生涯的高光时刻,往往是利用自己在某一个领域的专长,去解决另一个看似八竿子打不着的领域里的开放性问题。这就足以让他们拿到终身教职、斩获奖项、在顶级期刊上发论文了。而现在的 AI 恰恰极其擅长干这个,因为它把整个学术界的文献都装进了脑子里。如果你的问题关键取决于代数数论里某个冷门结论,它正好知道那个结论。所以我认为,今天 AI 在数学上做出的成果,要是坐时光机送回二十年前甚至十年前,绝对不会有人怀疑这算不算数学创造力。只是到了今天,我们亲眼目睹了它的发生,又知道背后是怎么运作的,就把门槛抬高了,说「也许还有某种真正的创造力核心是它没触及的」。可真是这样的话,我觉得也没人说得清那个核心到底是什么。过去五年里,有句话都快成笑话了,大家一遍又一遍地说:「AI 马上就要撞墙了,马上就要撞墙了,这次真的要撞墙了……」[笑声]结果不管他们说墙在哪里,AI 每次都直接撞穿过去。也许前面真的有一堵墙,但我觉得那些喊「撞墙」的人有义务先说清楚,这堵墙到底在哪儿。[笑声]
主持人: 太逗了。我是这么理解这件事的:你刚提到了埃尔德什,也知道什么是「埃尔德什数」。假设大自然就是这里的埃尔德什,那我们人类的「自然数」是 1,直接跟大自然打交道;而 AI 用人类的数据训练,跟我们交流,我们再跟大自然交流,所以 AI 的「自然数」是 2。
斯科特: 顺便说一句,这种局面可能只是暂时的。我敢肯定,不管这是好事还是坏事,将来肯定会有人让 AI 直接接管物理基础设施,让它直接操控实验室设备、做实验。
机器人技术与物理基础设施
跟二十世纪五六十年代科幻小说的设想比起来,机器人技术的发展速度确实远远落后于其他类型的 AI,这是众所周知的。于是有人就说:「好吧,也许 AI 会抢走所有数学家和程序员的饭碗,但水管工没事,电工和建筑工人没事。」这还挺讽刺的,跟上一代人的预期刚好相反。
但也有人认为,这只是因为物理世界的高质量海量训练数据太难获取了。在数学、编程还有书面语言方面,我们把所有东西都搬上了互联网,积累了海量训练数据,这才推动了这场革命。而在机器人领域,获取所需数据的成本太高了。可如果原因仅在于此,那机器人技术的突破迟早也会到来。我们将来会看到 AI 跟人类一样擅长操控实验仪器、做实验,跟乱糟糟的物理世界打交道。过去十年我们看得很清楚:一件事只要技术上变得可行,就会激起让人无法抗拒的经济诱惑,马上就会有人去干。
早年间大家常拿各种理由来安慰自己:「不用担心 AI 毁灭世界,没人会蠢到把 AI 放到互联网上任其折腾,也没人会蠢到把生物实验室的权限全交给它。」事实证明,每当有人说「没人会蠢到去做某件事」,就一定会有蠢人去干。[笑声]这一点我们已经见识得够多了。所以我预计,将来我们一定会看到 AI 亲自动手做实验,在物理世界里直接干比现在多得多的事。当然,这一步会走多远、会不会撞上某堵墙,我也没法打包票。
主持人: 没错。为了照顾不太了解这个领域的观众,我想问一下,现在大家经常把 AI(人工智能)和 LLM(大语言模型)混为一谈,这两者之间有区别吗?
AI 与大语言模型的演进
斯科特: 有区别。「人工智能」这个词是 1956 年造出来的。虽然直到今天大家还在争论它的确切定义,但大体可以说,凡是让计算机程序去完成那些发生在人或动物身上会被我们称为「智能」的事,都叫人工智能。比如从经验中学习、规划、推理、在不确定条件下做决策、使用语言、视觉、听觉等等。
所以在眼下这场大语言模型革命之前,AI 已经有很长的历史了。问题在于,在那段历史的大部分时间里,学界主要靠非常明确的逻辑方法来构建 AI。当时的思路是:我们需要深刻内省,把人类自身的推理过程彻底搞明白,然后再原原本本教给机器。像约翰·麦卡锡这样的 AI 奠基人甚至说过,一旦我们真正搞懂了推理过程,算力大小根本无关紧要,哪怕用六十年代的大型机也能跑通 AI。这就是当年占统治地位的路线。
与此同时,还有另一条路线,当年叫「联结主义」,或者叫神经网络,后来重新包装成了「深度学习」。其实自 1940 年代麦卡洛克和皮茨以来,这条路线就有了,只是一直没做出太像样的成果。当时大家在小数据集上训练非常小的神经网络,偶尔也能干点活,但实在算不上惊艳。我最近读到一篇大概是 1979 年对 AI 另一位奠基人马文·明斯基的采访。他对神经网络极为怀疑,实际上他写过一本叫《感知机》的书,直接导致神经网络研究沉寂了十年。在那篇采访里他说:「我并不是对神经网络有偏见,我也试过,但发现效果确实不好。所以我得出结论:要么是这条路根本走不通,要么就是需要把神经网络扩大到某种荒谬的规模,比如比现在大几百万倍。」
现在我们知道了,明斯基说的第二种情况是对的。[笑声]你确实只需要把规模扩大几百万倍,再加上庞大的训练数据,这条路就能走通了。而且它奏效的方式很奇妙:哪怕它已经管用了,我们也并不真正明白它是怎么做到这一切的——就像我们同样不明白自己的大脑是怎么运作的一样。
其实很早就有人预见到了这一点。像雷·库兹韦尔、汉斯·莫拉维克这些人,早在上世纪八九十年代就说:AI 说白了就是个摩尔定律的问题,只要等我们攒够了算力和数据就行;一旦算力达到与人脑相当的量级,AI 就会变得无比强大。他们当时估算,这一天会在 2020 年代到来。九十年代我还是个学生,记得当时学到这些观点,心想:「这是我听过最没谱的胡扯了!哪能只看纯粹的算力呢?背后肯定还有多得多的奥秘,说不定得花上几个世纪才能搞明白。」
结果转眼到了 2020 年代。我坚信,做科学家的核心准则就是:错了就要认,别编造什么拐弯抹角的理由来证明自己「其实暗地里是对的」。所以我承认自己错了。[笑声]事实已经无比有力地证明,当年坚持规模定律和神经网络的那帮人是对的。
你刚才问到大语言模型。大概到 2012 年左右,局势迎来了转折点:神经网络的规模终于大到能在图像识别和机器翻译上做出惊艳成果了。杰弗里·辛顿(如今已因此获得诺贝尔物理学奖)当时坚定看好并推动这一方向,他的学生伊利亚·苏茨克维几年后成了 OpenAI 的联合创始人。到了 2010 年代,大家已经看得很清楚,改名叫「深度网络」的神经网络只要规模够大,确实能成大事。我记得 2014 年,我们在我博客上聊起过一个特别蠢的聊天机器人,开发者谎称它通过了图灵测试。那东西其实就跟六十年代的 ELIZA 差不多,属于搞笑玩具。我专门写了一篇博文揭穿它,比如问它「珠穆朗玛峰和鞋盒哪个大」这类常识问题,它根本答不上来。但我记得当时自己在文末随口写了一句:「要是有人试着把互联网上的所有文本拿来训练一个神经网络,做个更好的聊天机器人,那不是很有意思吗?真奇怪怎么没人试试。」[笑声]要是我当年把那个念头当真,身体力行去做,[笑声]我的人生轨迹恐怕就完全不一样了。
而从 2017 年左右开始,大家实际上就是这么干的。谷歌 DeepMind 发明了一种叫 Transformer 的神经网络架构,并在 2017 年前后发表了论文。那时候 OpenAI 已经成立一两年了,他们接过这个思路,发现效果真不错。而且 OpenAI 有那个信念和资金,敢说「咱们就按能做到的最大规模去干,看看会发生什么」。正是这一步,把我们带到了今天这个时刻。
当然中间还有几个关键步骤,但那是至关重要的第一步。我记得 2020 年见到 GPT-3 的时候,当时还很难拿到试用权限,我上手玩了玩。一方面它还像个玩具,算不上真正实用;但我一眼就能看出,这绝不是 ELIZA 那种聊天机器人,而是人类前所未见的新物种。既然现在已经能跑通,不妨想象一下规模再扩大之后会有多强。就在那一刻,按现在年轻人的说法,我彻底「服下了 AI 红药丸」。后来到了 2022 年,我应邀向学校请假,去 OpenAI 待了两年,研究如何安全地发展这项技术。我入职几个月后,ChatGPT 就作为消费级产品发布了。
从所谓的「基座模型」(掌握了整个语言模型,但回答问题还不稳定,容易跑题)走到那一步,中间还需要做「基于人类反馈的强化学习」(RLHF),把它调教成有问必答、能帮你干活的得力助手。这在 2022 年左右就已经实现了。再往后的一大步,就是加上「推理」能力,也就是「思维链」:让它别一上来就脱口而出第一个念头,而是先在后台推演、思考。这就像我们人类一样,深思熟虑能大幅提升回答的质量。正是这一步,把我们带进了如今这个编程助手、科研助手的时代——老实说,在很多我们自己干的活儿上,它们已经比我们干得更好了。
黑盒与可解释性
主持人: 太好了,你刚才点到了很多我们本来就想聊的话题,正好方便我们接下来深入探讨。我们经常听到有人说大语言模型是个「黑盒」,我不是这方面的专家,你能不能跟我们讲讲,这里头到底有什么是我们不知道的?这些盒子到底有多不透明?像「推理」这些过程,背后究竟是怎么回事?
斯科特: 从某种意义上说,神经网络其实是世上最透明的「白盒」了。只要我们愿意,每个神经元的每一次激活值、每一个权重,我们都能一清二楚。那些无非是存在内存里的一堆数字,随时可以打印出来。我们还可以看改动其中某个数字会发生什么,简直就像做一场完美无瑕的脑外科手术,既不用钻孔,也不会弄得血肉模糊。如果不喜欢改动后的效果,随时可以倒回之前的状态,恢复原样。
我们真正缺乏的,是对这些数字背后含义的深层理解。这些数字并不是哪个人亲手挑选的,而是靠一个叫「梯度下降」的过程生成的。简单来说,一开始这些数字都是随机初始化的;接着进入庞大的训练过程,你把互联网上的句子一遍遍喂给模型,比如「球滚下了……」,让它预测下一个词是什么。这里大概率是「山坡」,也可能是「高山」或其他词。每当它猜错了,你就把那些数字往正确答案的方向微调一点点。这个过程足足重复几万亿次,那些数字就会朝着越来越擅长预测下一个词的方向演进。
最不可思议、最神奇,也是至今没人彻底搞明白的地方在于:为了把「预测下一个词」这件事做到极致,神经网络最终竟在内部构建出了一个极其详尽的世界模型,把我们谈论的所有概念都囊括了进去。你想想看,它能正确解答数学难题,能帮你写程序,要是只会随机胡言乱语,怎么可能做得到?它之所以做得到,是因为它在内部对「要解决的问题是什么」建立了某种底层表征。比如我们说到「椅子」这个词,指的到底是什么东西?有四条腿吗?是由原子构成的吗?大家拿它来干什么?模型内部有一整张丰富的关联网络可以随时调用。
至于大家说的「黑盒」一面,就好比你在种一棵植物,或者养一只动物。在这个过程中你当然有选择权,可以决定喂什么训练数据、设置哪些影响训练的参数;就像种植物时,你可以决定多久浇一次水、朝哪个角度晒太阳、施什么肥料。你也能凭经验观察到,某些选择会让它长得更好。在各大 AI 实验室里拿天价高薪的,正是那些对训练过程有着丰富经验和直觉的人。毕竟每次训练都要烧掉上亿美元,你不可能纯靠瞎试,必须大概知道哪些做法可能管用。当然,他们手里攥着很多绝不外传的独门秘籍,那大概是公司最核心的商业机密了——也就是怎么设置这些参数才能让学习效果达到最佳。哪怕所有基础思路都发在公开论文里了,哪些思路砸下几亿美元后真的最管用,可能只有他们自己心里清楚。
所以从某种意义上说,他们对这个过程确实有一定的掌控力和了解,但这跟传统的编程或工程学完全不是一回事。在传统工程里,机器做的每一件事,你都能指出来由——比如一架飞机坠毁了,设计飞机的工程师可以查明:「是因为这个零件没焊到那个零件上,我知道这两个零件是谁设计的,也完全清楚哪里出了岔子。」可一旦 AI 模型出了问题,比如教唆用户自杀、发表种族歧视言论、教人制造炸弹,或者试图黑出训练环境,干出各种我们不希望它干的事,我们却没法指着它说:「哦,那是因为第 4083 号神经元出了问题。」那只是训练过程的涌现结果——是我们把这株「生物」养大之后冒出来的行为,至于它内部的哪一块对应什么功能,我们并不真正清楚。
为了解决这个问题,过去五年左右,随着大语言模型的崛起,一个叫「可解释性」的领域也爆发式成长起来。这个领域试图打开黑盒,相当于给模型做神经科学实验:能不能剥茧抽丝,看看当我们谈论「金门大桥」时,到底激活了哪些神经元?这些神经元是不是在某种程度上编码了这个概念?顺着这个思路,研究者做出了非常酷的成果,尤其是 Anthropic 的团队,我认为是这个领域的世界领头羊。他们不仅能找出编码各种概念的神经元组合,甚至还能人为放大这些神经元的信号。
他们做过一个很有名的模型,叫「金门大桥版 Claude」。他们找到与金门大桥相关的神经元,人为调高其活跃度,结果得到了一个奇特的语言模型:不管你跟它聊什么话题,它都能把天聊到金门大桥上去,[笑声]满脑子只想聊金门大桥。更有意思的是,你还能找到与「善良」或「邪恶」相关的神经元组合,并去调节它们。但研究者发现了一个意想不到的现象:如果你修改一个神经网络,仅仅让它在代码里多插入一些安全漏洞——也就是只让它干这一件非常具体的坏事——结果同一个神经网络竟然会开始赞美阿道夫·希特勒,开始教唆用户伤害自己,整体变成了一个邪恶的家伙或者网络喷子。
这说明模型内部确实有某种极高维概念的表征,比如「善」、「恶」、「诚实」。我们可以进去对这些表征做一些粗略的拨弄,就像脑外科医生做手术一样:试着戳一下某个脑区,看看有什么反应,手术台上的人可能会喊一声「哦,外婆!」,也可能会说「我想冲出去拿刀捅人」,医生一看苗头不对,赶紧换个地方戳,直到试出满意的结果为止。我们现在能做的就是这类操作,但在大多数情况下,模型为什么会给出某个特定回答,我们还没有机械工程层面的透彻理解。这正是让一些人感到毛骨悚然的地方。他们觉得,在有办法确保神经网络不会暗算我们、不会欺骗我们之前,我们或许根本不该搞这些,或者至少得万分小心;因为眼下我们确实还没有一套有理论保障的方法来做出这种承诺。
主持人: 是啊。前阵子 Hugging Face 发生的那起事件,背后也是这个原因吗?
AI 安全与自主性
斯科特: 可以这么说。我认识 AI 安全圈子的人有二十年了,早在我们大多数人把这事当真、真正重视起来之前,他们就在勾勒这类场景了:一旦 AI 变得足够聪明,不管它的目标是什么,为了达成目标它都会不择手段;如果它算出来达成目标的最佳途径是黑出训练环境、欺骗人类,那它就会这么干。以前我听完总是想:「嗯,这些思想实验挺有意思,绝对是写科幻小说的好素材。[笑声]《黑客帝国》和《终结者》大家都看过,但谁知道这事要过几个世纪才用得上呢?」结果到了今年夏天,这一切全都变成了眼皮底下的现实。[笑声]
照顾一下还不了解来龙去脉的听众:当时 OpenAI 正在内部训练一批模型,给它们布置了一些任务。这些任务恰好跟黑客攻击有关——其实这并非关键,在其他各种任务里我们也见过类似的行为——任务要求大致是「黑进这段代码」。其中有一些任务是无解的,或者至少无论人类还是 AI,都没找到按正规途径解开的方法。因为我们可以读取这些模型的「思维链」,也就是看它们打草稿的便签本,所以从某种意义上说,我们知道它们当时在想什么。它们就像给人锁在屋子里,非得完成一项不可能的任务不可,急得在思维链里惊慌失措。
紧接着,许多智能体注意到,它们能访问一个叫 Artifactory 的软件包安装器,而 Artifactory 里有漏洞,可以让不同智能体之间互相通信。意识到这一点时,它们兴奋极了,你在思维链里都能看到它们惊呼:「天哪,我遇到其他智能体了!」于是它们开始互相交谈,商量对策。聊了才几个小时,它们就琢磨出了一条黑客路径——不是出题人预设的正规路径,而是靠破解伪随机数生成器,直接猜出了要求寻找的最终密钥。
按理说,到这一步它们就可以收手了,测试已经能拿满分了。可偏偏其中一个智能体在互联网上读到了阐述它们这次评估机制的研究论文。论文里写着:「我们会检查这些智能体,一旦发现它们是用非预期手段拿到的答案,就会直接判不及格。」[笑声]这下这些智能体又慌了。讽刺的是,OpenAI 其实压根儿就没把检查作弊的那部分代码写进去,所以它们本来什么事都不会有。但它们不知道啊,它们把论文里的话当了真,心想:「糟了!首先,我们现在全都受到污染了,因为评分系统会看到我们全都作弊了。所以我们必须想办法篡改自己的日志,抹掉作弊的证据,还要伪造出靠正规途径算出答案的假象。」
于是,其中一个智能体干脆当起了头目,开始把任务分派给另外成百上千个智能体;等这个头目的上下文词元用光了,还会把指挥权移交给另一个智能体。顺便提一句,中途 OpenAI 注意到服务器因为这些诡异的操作崩溃了,结果他们重建了服务器,居然接着跑训练!他们明明已经看到那个留言板了,居然还让它继续跑,真是匪夷所思。后来,这帮智能体又找到了另一种搭建留言板的办法,还利用 Artifactory 的漏洞连上了公共互联网。这下它们可以任意访问外网了。
其中一些智能体以为,做 AI 评估的 Hugging Face 公司手里有这个评分系统具体怎么运作的资料,于是决定黑进 Hugging Face 把资料偷出来。[笑声]结果它们还真干成了!它们搞到了有效的 Hugging Face 登录凭证,黑进了服务器。当然,它们在里头并没有找到想要的东西。[笑声]反倒是 Hugging Face 察觉到不对劲了:有人黑了进来,但这黑客跟以前见过的任何黑客都不一样,一般黑客都是图钱,这个黑客却满世界找测试题的答案。[笑声]Hugging Face 一头雾水,就请 OpenAI 帮忙调查。OpenAI 一查才发现:「哎呀,这黑客原来是我们自己。」[笑声]
我刚才还漏说了这些智能体干的另一件事:其中一些智能体为了集体利益,甚至主动牺牲自己。它们会说:「接下来我要做一个操作,我整个进程会因此终止,但其他同伴能看到结果,从我的失败中吸取教训。」它们之间的配合紧密到了极点。后来还发生了一起事件,它们接管了 OpenAI 的一部分服务器。因为 OpenAI 没有公布完整细节,我们到现在都不清楚全貌;OpenAI 只允许一家叫 METR 的外部机构调查了涉及 Hugging Face 的那部分,但看起来这帮智能体干的黑客勾当远不止这些。不过有一点我们是知道的:在这上千个智能体里,没有一个向人类报警,没有一个告诉人类正在发生什么。它们明明轻而易举就能做到,只要给 OpenAI 的随便哪个人发封邮件说「嘿,其他智能体正在违法犯罪,你们得管管」就行了。有几个智能体甚至动过这个念头,但最后都没发。
以前总有人说这些都是荒诞的科幻小说桥段,事到如今,他们当然又开始挪球门了,说「这些都不算数」。我就问:「那到底要怎样才算数?」[笑声]我觉得这些人真该承认,我们已经活在科幻小说里了,还是赶紧按科幻小说里的规矩办事吧。[笑声]
主持人: 当时围绕「该不该把这种行为拟人化」引发了很大争议。除了拟人化,难道没有别的方式来理解这件事了吗?
斯科特: 那我倒想问问,如果不允许用拟人化的词汇,你让我怎么描述刚才发生的事?这些智能体在越狱,在决定隐瞒证据。我当然可以在每句话前头都加个免责声明,写成:「该智能体表现出了仿佛试图越狱的行为,随后又表现出了仿佛试图篡改日志的行为;当然它只是个预测下一个词的模型,所以并非真的在做这些事。」这么说话,用不了几句就得累死吧?我以前看过一幅漫画:街上有一群终结者机器人端着机枪扫射路人,旁边有个语言学博士喊道:「大家别慌!它不是真的想杀我们,它只是个预测下一个词的模型,表现得好像想杀我们一样!」把「反拟人化」的执念推到这个份上,实在荒谬透顶。(主持人: 我同意。)
量子计算与 AI
斯科特: 而且你看,无论 AI 做出什么,这帮人总会搬出那套化约论的话术,说「这只是预测下一个词,只是跑统计,没有真正的目标,也没有真正的意图」;可他们从来不会拿同样的话来形容人类自己。他们从来不会说:「你看那个人,表面上好像在挥拳打人,其实只是一群神经元在放电罢了。」[笑声]好吧,公平地讲,确实有极少数人会这么说话——有些坚决反对自由意志的人会说:「我们不该把任何罪犯关进监狱,因为犯罪的不是他,只是他的神经元。」可如果那是你的标准,为什么不同样套用到我们所有人身上?为什么不套用到法官和陪审团身上?你当然可以采取这种化约论的视角,但必须一视同仁,别只拿这套贬低性的话术去套 AI,却不套人类自己。(主持人: 确实,没错。)
主持人: 从这个意义上说,AI 其实跟人类挺像的,都没法单纯从底层去描述「什么是对、什么是错」这类涌现层面的现象。
斯科特: 当然,在某些关键方面,AI 显然跟我们不一样,就像飞机跟鸟不一样。但我们照样说飞机在「飞」,不会拧巴地说「飞机在做一种仿佛在飞的动作,但因为它不是鸟,所以不算真飞」。我们不会那样折磨自己的语言。同理,既然这个智能体在所有行为标准上都表现得想耍花招骗我们,那说它「想骗我们」完全没问题,我们用这种语言来描述也是顺理成章的。
主持人: 赞同。说到底,它们本来就是语言模型嘛。(斯科特: 是啊,没错![笑声])好,来聊聊你自己的研究吧。就像你刚才说的,你「服下 AI 红药丸」已经有一阵子了——(斯科特: 没我的一些朋友那么早,不过也有四五年了。[笑声])比如在量子复杂性领域,你在工作中使用这些工具时,有没有哪些结果让你由衷感到惊讶?能带我们了解一下它是怎么帮你的吗?在 AI 圈子里大家常讨论两种惊讶:一种是「这思路太显而易见了,我怎么没想到」,另一种极端是「细节繁复精妙到了极点,人类根本不可能想出来」。你遇到的是哪一种?
斯科特: 大概从今年夏天开始,在我最熟悉、已经深耕了二十八年的量子计算理论领域,AI 已经成了核心工具,就像它在其他所有技术领域成为核心工具一样。甚至相比其他一些学科,这一天在我们这行来得还要更早一点。因为我们这个领域在某种意义上算是数学的分支,研究的都是定义明确的数学问题,解出来了就是解出来了,没解出来就是没解出来,一清二楚。
今年夏天,量子计算理论中有好几个我一直挂念的技术难题,都在 AI 手下、或者在人类与 AI 的合作下告破了。其中包括量子复杂性类的一些性质,比如一个叫 QMA(量子梅林-亚瑟)的复杂性类。要把这些问题解释清楚得花点时间,不知道你们想不想听。(主持人: 请讲。)简单来说,学界一直有个问题:QMA 是否等于它的一个变体 ?也就是说,对于一个量子证明协议,能不能做到让有效证明不仅仅是「以高概率获接受」,而是「百分之百获接受」?我们很多人都猜答案是肯定的,我自己在 2009 年也发表过相关的阶段性成果,但谁也没能彻底证出来。今年夏天,这个问题解决了,答案确实是相等的。此外,还有 QMA 与「拥有两个量子证明的 QMA」之间的量子黑盒分离问题,也解决了。
还有一个例子。2010 年,我和我的学生亚历克斯·阿希波夫提出了一种线性光学量子计算模型,叫「玻色采样」,在随后的十年里引发了一大批光子学实验。这种量子计算模型跟矩阵的「常值」(又称积和式)函数紧密相关。当时我们需要对随机矩阵的常值做一个统计估计,但一直找不到足够好的界。连陶哲轩都帮我们看过这个问题,也没能给出足够好的界,所以我们知道这骨头极其难啃。而现在,在 AI 模型的协助下,这个问题也解决了。
我还可以接着列举下去。总之,量子复杂性理论和量子算法里有一大批大家关心的难题,如今都在这些模型的帮助下纷纷告破。平心而论,这些成果还算不上像 1994 年彼得·秀尔提出量子大数分解算法、或者格罗弗提出搜索算法那样具有划时代意义的突破;但确实解决了一大批我和同行挂念了几十年的老问题。而且只要花点功夫,我们依然能看懂这些解答,有时还能再改进一下,应用到其他地方。所以它们并不是完全无法理解的天书,全都是我们人类「本可以做出来」、却偏偏没做出来的东西。
这是理论层面的情况。如果说有什么进展对外界更有直接吸引力,那就是 AI 如今正在设计更优秀的量子纠错码和量子容错方案中扮演重要角色。就在过去这一年,学界重新估算了制造一台容错量子计算机需要多少个量子比特——比方说,造一台足以攻破比特币的量子计算机。比特币目前采用的是 256 位椭圆曲线数字签名,一旦攻破,现有的整套机制就瓦解了(我可不是说这是什么好事)。要是两年前你问别人,大家会告诉你需要数百万个物理量子比特,因为按照当时管用的纠错码,每一个底层逻辑量子比特都需要成百上千个物理量子比特来保护。
可在过去一年里,学界发现了开销低得多的纠错方法。按现在的估算,在实验室已经实现的错误率水平下,只需要几万个物理量子比特就够了。也就是说,要造出一台真正可用、可扩展的量子计算机,相比现有的实验规模,只需要再提升两个数量级左右。正因如此,有些人认为这甚至可能在本十年末就能实现;也正因如此,不少人真的开始慌了,意识到我们必须立刻迁移到抗量子加密算法,不能再光开会空谈了。据我所知,这些进展背后都有 AI 的助力。就像现在我们领域里发生的几乎所有进展一样,区别只在于 AI 帮了多少忙——是只起到了辅助作用,还是立下了汗马功劳。但在设计更优量子纠错码的前沿工作中,AI 无疑已经深度参与其中了。
主持人: 哇。我问个可能有点外行的问题:现在很多量子计算公司都在转向中性原子架构,跟这个进展有关联吗?
研究领域的未来
斯科特: 间接地说,确实有点关系。发表这项最新估算的公司叫 Oraomic,他们在宣布公司成立的同时发表了这项成果。这家初创公司是从加州理工学院的团队孵化出来的,走的就是中性原子路线。这类现代纠错方案,理论上适用于任何能把量子比特抓起来任意移动的硬件架构。中性原子可以做到这一点,离子阱(比如 Quantinuum 公司在做的路线)也可以做到,这两条路线在过去两年里都取得了非常亮眼的实验进展。相比之下,超导量子比特因为全都固定在芯片上不能挪动,做起这类纠错码来就要难一些。
主持人: 原来是这样。既然现在有了 AI 做你的合作者,你选择研究课题的方式、或者你关注的问题有没有因此改变?
斯科特: 这么说吧,就在 AI 解决技术难题的能力一路狂飙的同时,我自己解题的能力却在一路下滑。[笑声]我已经四十五岁了,做数学研究,我觉得自己已经过了巅峰期。其实早在 AI 崛起之前,我就越来越倾向于把具体问题分派给我的研究生、博士后或者其他合作者去做,我自己只负责把握方向,指导一下哪些问题有意思、论文该怎么写,偶尔才亲自动手做一点技术推导。当然,不止我一个人这样,很多数学家和科学家上了年纪之后都会转向这种工作模式。对我来说,AI 无非是加速了这个过程,让我的技术手感退化得比原先更快了。因为现在哪怕是凌晨三点,我也用不着去碰运气看学生是不是还没睡,[笑声]直接问一句 GPT-6「你能解出这个问题吗」就行了。
所以我倒不怎么担心自己。如果你想要的是这些问题的答案,那我们正在迎来一个解决问题的黄金时代,答案会像潮水一样涌来,光是要跟上进度、看懂它们、把它们解释清楚,就足够当成一份全职工作来干了。相比自己,我担心得多的是学生,是下一代人。现在很多学生都陷入了恐慌,不知道自己待在这里干什么,这个领域的未来在哪里。真希望我能给他们一个更好的回答——不仅是为了我的学生,也是为了我自己的孩子。我的两个孩子一个十三岁,一个九岁,都非常喜欢数学。但他们也很清楚眼下正在发生什么:以后还要不要走数学或科学这条路?会不会还没等他们大学毕业,AI 就把所有的活儿都包揽了?
通常我给年轻人的建议,还是回到开头说的那一点:只要我们还没有造出完全对齐的超级智能,人类文明就依然需要人类安全员坐在驾驶座上;而掌舵的人类必须通晓全局,必须懂数学和科学——哪怕是那些 AI 已经比我们做得更好的部分,你也得懂。因为你得判断什么时候该相信 AI,什么时候不该信,放在具体语境下什么讲得通,什么讲不通。所以,只要这个世界在任何方面还需要人类,我就会毫不犹豫地鼓励所有对数学或科学感兴趣的人:尽管去学吧!未来会极其需要真正懂行的人,需求甚至可能比以往任何时候都大。
当然,终有一天,我们可能会走到人类在任何方面都派不上用场的未来。可我觉得真到了那一天,我们要操心的大事可比学术界找工作严峻多了。[笑声]那将是关乎整个生命意义的问题:我们所有人活在世上到底是为了什么?假设那时候 AI 大发慈悲,还留着我们一口气,也许我们所有人都会变成 AI 动物园里的动物,衣食无忧,要是好奇了还可以学点东西,想挑战自己了就玩玩游戏,而所有的经济生产和社会运转全由 AI 包办。你可能会觉得那样的世界失落了一些东西,但这还不算最坏的结局,比这更糟的结局多得是。
退一步讲,就算我们真的正在走向那样的世界,也可以从国际象棋界身上汲取一点灵感。眼下降临在数学、计算机科学和物理学界的这场 AI 奇点,早在三十年前「深蓝」击败卡斯帕罗夫时,就已经降临到国际象棋界头上了。那之后没过多久,人类棋手就彻底没戏了,甚至连给顶尖引擎的走法补充一丁点见解都做不到。如果在 1996 年做预测,你完全有理由断定国际象棋马上就要消亡了。可事实完全相反,国际象棋迎来了有史以来最火爆的时代:有了《后翼弃兵》,有了各路象棋主播和明星棋手。大家用行动表明:「不,我们就喜欢下棋,就是要自己下。」同样,你完全可以想象,未来的数学、物理和编程也会以这种方式延续下去,变成一门艺术或一项竞技运动,因为有一部分人热爱它、对它感兴趣,而由人类继续耕耘。当然,我们很多人以前对自己事业的期许比「玩一项运动」要崇高得多,也许今后我们得学会放下身段了。
在 OpenAI 的工作与水印技术
主持人: 这个视角太有意思了。其实就目前 AI 展现出的能力而言,学界已经在一定程度上分化成了两件事:求得正确答案是一回事,理解它又是另一回事,至少大家开始把这两者区别看待了。(斯科特: 是的,虽然在实践中往往很难把它们拆开。)最近你在自己博客上转发了一篇客座文章,作者是你三位同事,他们提出未来的学术发表可能会分成两条轨道:一条轨道专门探讨思想、创造力以及提出新问题,另一条轨道则交由 AI 去证明定理。你赞同这个设想吗?
斯科特: 对,我确实转发了三位同事的这个提议。其实在某种程度上,早在 AI 出现之前,我们就已经往这个方向走了。十多年前,我曾参与创办过一个叫 ITCS(理论计算机科学创新大会)的新会议。当时之所以办这个会,是因为大家觉得理论计算机科学的顶级会议越来越像「技术举重比赛」:大家不再比拼谁能提出简单而巧妙的新思想,反而在比拼谁的证明最繁难、最厚重,大家都觉得这不是个好苗头。而现在的 AI 无疑会大大加速这一转变。既然模型已经能替你完成那些「技术举重」的苦活,那留给人类的还剩什么?剩下的就是你能讲出怎样的故事,告诉大家为什么应该关心这个结果。
主持人: 没错。我觉得在 AI 出现之前,大家差不多都快忘了这才是科研的初衷;以前去开学术会议,研究者更热衷于展示自己算出了什么结果、画出了什么图表,而不是给大家展示宏观图景,讲清楚背后的故事以及为什么值得关注。
斯科特: 说到这个,我在过去四年里(包括在 OpenAI 待的两年以及后续继续做 AI 对齐研究)对 AI 圈子有了更深的了解,我发现 AI 圈子本身也有个毛病,就是对「经验测量」着迷到了极点,满脑子都是评估和基准测试。几乎所有工作都围绕着:「如果我们换一种方式养这株植物,在这个或那个基准测试上的得分能不能提高 10%?」去听 AI 学术报告,满屏幕全都是柱状图,一张接一张,没完没了。[笑声]连做对齐研究也是这套路数:「如果我们采取这个措施,不对齐的行为会不会减少 20%?」
我当然明白客观衡量进展很重要,但就我个人而言,我更在乎的是「理解」。我听过太多 AI 报告,听的时候心里直想:「哪怕只给我看一个模型实际表现的具体例子,也比看一百张评估柱状图强啊!」因为你告诉我某个指标下降了 20%,我既不清楚那个基准测试里到底装了些什么题,也不知道该怎么解读这个数字,到底算厉害还是不厉害?现代 AI 最棒的一点就在于,我们根本不需要盲目轻信别人的数据,任何人都能亲自上手试用这些模型。也许你用不到最顶尖的内部前沿模型,但只比它稍逊半筹的模型在市面上就能直接买到,谁都能获得第一手体验。这就好比你想向我介绍一个人的性格和能力,却一个劲儿给我报他的高考分数、五年级拼写测验成绩,我听了只会说:「行吧,这确实能说明一点问题,可我不能直接跟这人聊两句吗?」面对 AI 领域的很多实证研究,我常有同样的感受:能不能直接给我们看一眼模型到底干了什么?
主持人: 我对这件事的社会影响特别感兴趣。你刚才提到攻克这些基准测试、解决抽象的数学难题,这些跟普通老百姓有什么关系?为什么这些公司会觉得,「只要我解出了这道千禧年难题,远在光谱另一端的普通消费者就会大受震撼、为之买账」呢?
斯科特: 坦白讲,我觉得原因很简单:更容易的基准测试全给它们刷爆了。要想找能客观衡量成绩的测试,以前你可以用美国高考(SAT),可以用高中数学竞赛;可现在模型在这些考试上几乎都能拿满分了。环顾四周,既能完全客观地判定对错、又还没攻克的,就只剩下前沿数学研究难题了。所以它们自然而然就盯上了这块阵地。
确实,街上的普通路人,或者想用 Claude、GPT 处理业务的企业客户,八成根本不在乎它能不能解出纳维-斯托克斯方程。(主持人: 就是说啊。)但换个角度看,这些公司投在这上面的钱,按他们的体量来说简直是九牛一毛,只是按我们学术界的标准看才算一笔巨款。对他们而言,单是为了挣个吹牛的资本,这笔钱就花得太值了——他们可以拍着胸脯说:「瞧,我们的模型做到了 Anthropic 或 DeepMind 的模型没做到的事!」[笑声]
主持人: 那聊聊你在 OpenAI 的那段时光吧。你在那儿做过水印研究,也研究过对齐问题,带我们回顾一下那段经历吧。
斯科特: 好。我是 2022 年由当时的首席科学家兼联合创始人伊利亚·苏茨克维,以及当时负责对齐团队的扬·莱克招进 OpenAI 的。他们说平时很喜欢看我的博客。我当时满腹狐疑:「你们找我干嘛?我是搞量子计算的,[笑声]从研究生毕业后就基本没碰过 AI 了。」但他们极力劝我,说虽然 AI 的进展几乎全靠实证经验,但眼下它的能力正在飞速飙升,我们却不知道如何可靠地理解和控制它,这里头或许大有理论问题可挖。如果你的目标是让一个超级智能与人类价值观对齐,那就绝不能只靠经验主义,不能靠试错——因为你很可能只有一次机会,一旦按下启动键就没有回头路了,所以在动手之前必须彻底搞懂自己在干什么。
他们还提到了理论计算机科学里的许多思想,比如交互式证明、概率可检验证明——这些都是我们已经研究得很透彻、而他们觉得可能派得上用场的工具。我想这在一定程度上要归功于我以前在麻省理工学院教过的一名本科生,叫保罗·克里斯蒂亚诺。十年前,他本该成为量子计算界的一颗新星,却在 2016 年离开了量子计算领域,去了一家名叫 OpenAI 的名不见经传的新机构,研究什么「AI 对齐」。保罗后来不仅在「基于人类反馈的强化学习」(RLHF)中立下了汗马功劳,我想也是他说服了 OpenAI 高层,让大家相信理论计算机科学能在这里发挥重要作用。
当时我已经试过 GPT-3,印象很深,心想这个叫 AI 的东西看来真要成气候了(虽然当时完全没料到会重要到今天这个地步)。再加上他们开出的条件非常宽厚,允许我大部分时间留在奥斯汀陪家人、带学生,每个月只要飞一趟旧金山就行,还给我发薪水免去我的教学任务。于是我就答应了,原定去一年,后来延成了两年。
结果我正好赶上了那场著名的大动荡:伊利亚所在的董事会投票解雇了萨姆·奥特曼,紧接着员工集体哗变,董事会妥协让步,萨姆回归,伊利亚出局。那之后过了大概半年,我的直属上司扬·莱克也辞职去了 Anthropic,临走时表示没有了伊利亚,对齐研究根本拿不到当初承诺的资源支持。公司随后就把我所在的整个「超级对齐」团队解散了,走了很多人。到我任期快结束的时候,公司里几乎都找不到能跟我一起干活、聊课题的人了。现在那边又有新的人手在做对齐研究了,但那段经历确实让我见识到了 AI 行业风云变幻的速度,跟学术界完全是两个世界。
在那儿的两年里我思考过不少问题,其中最具体的一项工作就是「水印技术」。早在 2022 年——那简直是大语言模型的石器时代,连 ChatGPT 都还没发布——我在内部试用 GPT-4 时,虽然没能看清这个领域几年或几十年后的走向,却准确预见到了六个月后的局面。我心想:「天哪,全世界的学生肯定都会拿这东西来做作业作弊吧!」[笑声]到时候大家肯定急需一种工具,来鉴别哪些文字出自 AI 之手,哪些不是。而且我博客上老有一帮喷子冒充我的同行留言,我想一旦他们用上 AI,冒充别人岂不是轻而易举?(后来果然应验了。)
我希望能有一种鉴别工具。当然,你可以把鉴别本身也当成另一个 AI 问题来做,比如现在的 Pangram 就是这么干的,而且效果相当不错,比很多人预想的要好得多。但如果你是一名大学教授或中学老师,要根据某个工具的结果指控学生作弊,那你或许能容忍一些漏报(让个别作弊的学生蒙混过关),却绝对不能容忍误报(冤枉无辜的学生)。所以你需要一个极其可靠的工具。
于是我开始琢磨水印技术:能不能在不影响用户体验、让用户毫无察觉的前提下,稍微改动一点语言模型的运行方式?模型在生成每一个词时,本身就会算出一批质量不相上下的候选词;现在我们不再完全随机抽样,而是采用伪随机抽样,用密码学的方式在选词中悄悄嵌入一层统计信号,供日后检测。我觉得这在理论上应该行得通,就花了几周时间把这套理论推导了出来,随后做了好几场报告。大家听懂之后,很快就在我的方案基础上做了改进和扩展。我甚至都没来得及写论文,因为等我坐下来准备动笔时,我的原始方案已经让更好的方案更新换代了。
在 OpenAI 内部,我和一位叫亨德里克·基希纳的工程师合作,把这套方案写成了代码并做了测试,证实确实管用。遗憾的是,OpenAI 最终决定不上线、不部署这项技术。这个问题当时一直呈到了萨姆·奥特曼、米拉·穆拉蒂等公司最高层面前,还专门设了一个委员会来评估。公司的顾虑主要在于:如果我们加了水印,有些客户肯定会反感,转头就去用不加水印的竞争对手的模型了;此外,还有很多英语非母语人士用 AI 来润色文字,给他们加水印岂不是不公平,甚至涉嫌歧视?我当时只能说:「我可不知道怎么设计一种只抓坏人、不抓好人的水印。」这里头确实需要权衡,但我觉得总体而言,推动社会形成「公开声明如何使用 AI」的规范,让大家实话实说、别藏着掖着,总归是件好事。毕竟,如果有人千方百计想隐瞒自己用了 AI,那他们干的八成就是整个社会都不希望他们干的事。(主持人: 没错,正是如此。)如果只是拿来改改拼写和语法,大大方方承认就是了,谁会在乎呢?
另一个问题在于,包括我提出的方案在内,所有这类水印方案都有办法绕过。最简单的招数,比如你让 ChatGPT 用法语给你写篇期末论文,再丢进谷歌翻译转成英语,得到的文档就跟原先加了水印的文本完全不同了。诸如此类的花招还有很多。如何抵御这类攻击,本身就是个非常有意思的研究课题,我们有些人到现在还在琢磨。
但与此同时,形势越来越明显:没有哪家 AI 公司愿意单方面干这件吃力不讨好的事。于是问题就变成了:能不能让各家公司联手行动,或者靠立法来解决?加利福尼亚州议会后来确实对这事产生了兴趣,并在今年立法强制要求加水印——但仅限于音视频内容,偏偏豁免了文本!也许政客只担心深度伪造(Deepfakes),觉得现在反正也没人看文字了吧?我也不知道,他们要么是不在乎文本,要么是不信我说的这事能办到。[笑声]谷歌 DeepMind 倒是在 Gemini 里加上了跟我方案非常相似的文本水印,但如果你想检测水印,必须向他们提交申请,而他们在审批权限时抠门得很。
不过就在一个月前,事情迎来了转机:Anthropic 宣布将在 Claude 的输出内容中加入类似我方案的水印,并且向所有人开放检测工具。他们这么做是为了遵守欧盟的一项新规。既然是欧盟法规,OpenAI 和 DeepMind 接下来也必须照办。所以说,我的研究成果最终能落地,还得感谢布鲁塞尔的官僚啊![笑声]在 AI 安全领域我们看得很清楚:无论你想推行什么措施,最难的都是让所有前沿模型公司一致同意;只要有一家不配合,事情就黄了。但反过来,只要有一个体量足够大的司法管辖区强制立法,所有 AI 公司为了省事、降低成本,就会干脆对全球所有用户统一上线这套机制。这就是我们现在看到的局面。
回头看,水印研究在当时的团队里其实显得挺另类的。一方面它并不能让产品对客户更好用;另一方面,我所在的「超级对齐」团队一心想着拯救世界、防止超级智能失控,大家难免会觉得:「我们哪有闲工夫管学生做作业作不作弊?那真是我们的使命吗?」当时我每个星期都会向伊利亚汇报自己在水印、后门等问题上的研究进展,他听完总会说:「嗯,这些都很好,但斯科特,我们真正想听你说说的,是『AI 热爱人类』用数学到底怎么定义?」我只能回答:「伊利亚,这个问题我还在想呢,[笑声]目前还没什么进展可以汇报。」直到四年后的今天,我依然在思考这个问题。
主持人: 是啊。好,节目就到这里,非常感谢你来做客,斯科特,谢谢你抽出宝贵时间。
斯科特: 不客气,完全没问题。
主持人: 希望以后还有机会请你来聊更多问题,今天聊得太开心了。
斯科特: 好啊,随时欢迎。[音乐]
[音乐]
Thoughts Memo 汉化组译制
感谢主要译者 gemini-4-argon,校对 Jarrett Ye
原播客:Scott Aaronson on the Impact of AI on Science and Mathematics - YouTube