开场白
主持人: AI 刚刚终结了数学吗?我带着这个问题采访了理论计算机科学家、《Shtetl-Optimized》博客作者、前 OpenAI 安全研究员斯科特·阿伦森。我们聊到了 AI 对齐、行业监管、AI 会引发怎样的颠覆、AI 如何改变数学,以及 AI 能否产生意识。在 AI 的突飞猛进中,「令人惊叹」与「招致毁灭」之间只有一线之隔,这条界线究竟在哪里?让我们一起聊聊。
是贩卖恐慌,还是真心担忧?
主持人: 有些人担心,前沿实验室的高管是想利用那种恐惧——也就是大家常说的「贩卖恐慌」——来绑架监管,由他们自己来制定行业运行规则,说白了就是组建卡特尔垄断联盟,扼杀竞争。你对这种说法怎么看?
斯科特: 我觉得有好几个理由足以说明,这种看法错得离谱,而且错得很可悲。首先,现在表达这种担忧的许多人,早在他们拥有行业巨头公司之前,甚至早在大家看出这个行业会诞生巨头公司之前,就已经在担忧人类生存风险了。我在这行待的年头够久,清楚记得十年前、十五年前、二十年前大家是怎么讨论的。
说起来既怪异又讽刺:恰恰是当年做着「AI 统治世界」噩梦的那批人,在某种意义上亲手催生了这个行业,而这个行业如今正在争先恐后地把当年的噩梦变成现实。这真是历史莫大的讽刺。事情绝不是「先有了这几家大型 AI 公司,然后高管坐在一起商量:咱们编个什么故事才能巩固自己的垄断地位呢?」完全不是这么回事。「AI 可能会变得比人类更强大,进而剥夺人类的权力、接管世界」,这个说法历史悠久,比现在这些公司早得多。你可以一路追溯到艾伦·图灵、I·J·古德和诺伯特·维纳,这些计算机科学的先驱早在上世纪五六十年代就说过这些话;更不用说一代又一代的科幻小说家了。到了 2000 年代,围绕这些担忧更是形成了一个完整的 AI 对齐研究圈子。在我看来,这些担忧纯粹是顺着事态发展的逻辑自然推导出来的。
我想说的第二点是,公开谈论生存风险,实际上根本帮不了这些公司赚钱。就拿 Anthropic 来说,听说投资人因为达里奥(Dario Amodei)老谈生存风险而大发雷霆,要求他少提这茬,因为这会损害公司接下来的 IPO 估值。平心而论,高管现在谈起这个话题,措辞已经比许多局外人委婉含蓄得多了;而他们之所以还在谈,很大程度上是因为来自内部员工的压力。一线员工离技术前沿最近,是真的害怕了。
局外人最想不通的一点总是:「既然他们这么害怕,那为什么还要造呢?」(主持人: 对,我正想问这个。)于是局外人马上顺着这个逻辑往下推:「可见他们肯定不是真心的!」紧接着就跳到了那种「大棋党」的阴谋论:「哦,他们肯定是装的,全是为了忽悠傻瓜的阴谋,让傻瓜相信真有什么生存风险,乖乖把权力交出来,但这一切都逃不过我的火眼金睛!」这纯粹是可悲的误解。我在这些 AI 公司里待过,认识这些人,跟他们打了很久的交道。
当然,里头确实有人说这些话并不走心,比如就有人这么指控过萨姆·奥特曼。但如果你聊聊达里奥,或者聊聊伊利亚·苏茨克维,我认为他们的担忧绝对是发自肺腑的。他们肩上扛着千钧重的责任感;而他们之所以投身其中去造 AI,是因为心里觉得:「如果我不安全地把它造出来,别人就会以不安全的方式抢先把它造出来。」
这种心态,跟上世纪三四十年代那些原本满怀博爱、渴望世界和平的物理学家最终投身研制原子弹的逻辑如出一辙:「如果我们不造,纳粹就会先造出来。」既然迟早有人会抢先动手,他们就觉得自己困在了这场竞赛里。正因如此,你才会看到 AI 公司里有那么多员工和高管主动请求政府监管,盼着政府介入,因为他们真的很想放慢脚步。可他们觉得自己没法单方面踩刹车,别人都在狂奔的时候自己停不下来。所以他们首先希望出台联邦层面的监管,其次希望达成某种国际条约来控制研发节奏,因为他们对未来的走向是真心感到恐惧。
AI 监管的未来:加州、欧盟与中国
主持人: 考虑到现届美国政府根本不想监管,而且前沿实验室与外界之间又有这么大的误解,你觉得接下来事情该怎么推进?(斯科特: 确实,一点没错。)
斯科特: 我个人对现届美国政府出台任何像样的监管措施不抱指望,至少在 2028 年大选之前没戏——而按 AI 发展的速度来看,等到 2028 年简直像隔了几个世纪那么漫长。如果你指望监管,眼下基本上就只剩下两个地方可看:一个是加利福尼亚州议会,另一个是欧盟。事实上,这两家都已经出台了法律,切实改变了不少 AI 行业的做法。
举个例子,几年前我在 OpenAI 工作时,研发出了第一个给大语言模型输出内容加水印的方法。我在职的时候,OpenAI 因为担心影响产品竞争力等原因,并没有上线部署。但后来 DeepMind 在 Gemini 里部署了一个跟我方案很像的版本;而就在一个月前,Anthropic 宣布将在 Claude 的输出内容中采用类似我方案的水印技术,目的就是遵守欧盟的法规。
道理很简单:只要有一个体量足够大的司法管辖区立下了规矩,对 AI 公司来说,最省钱、最省事的做法就是干脆面向全世界所有用户统一上线这套机制。这是一条可行的路子。但还有另一种可能:在未来一两年内,现实中爆发的突发事件会直接碾碎人们原有的政治成见。虽然我满心希望千万别走到那一步,但我预计,未来还会发生比今年夏天「Hugging Face 遭黑客攻击事件」恶劣得多的事故。我认为会出现 AI 彻底失控的案例:它们会在互联网上自我复制,把自身的模型权重偷运到外网上,甚至攻击物理基础设施。
主持人: 你觉得这类事故会迫使政府采取行动?
斯科特: 会的。一旦现实世界遭到了实打实的破坏,「奥弗顿之窗」(大众舆论可接受的政策范围)就会立刻移动。到时候选民会强烈要求政府出手整治,哪怕病急乱投医也在所不惜。所以,如果你希望未来最终落地的监管法规是深思熟虑、切中要害的,那我们就必须在灾难发生之前提前把方案琢磨透。这就是我目前的想法。
主持人: 考虑到现实的复杂局面,真有可能找到什么最优解吗?反对监管的人最常搬出来的一个理由就是:「反正中国已经在搞了,我们又不可能跟中国达成任何共识,所以我们只能加速狂奔。」但与此同时,这又真有可能给全世界招来毁灭性的恶果,绝不是危言耸听。
斯科特: 还是那句话,人有时候太把自己当「大棋党」、想得太复杂,反而会聪明反被聪明误。大家呼吁监管,真不是因为肚子里憋着什么邪恶的阴谋,而是真的害怕了,而且怕得很有道理。我们正在地球上催生出一种全新的智能形态,这绝不仅仅是一款新的消费级电子产品或小玩意儿,拿普通产品的眼光去看待它就全错了。
当然,有一点你说得完全没错:如果美国单方面停下来,中国迟早也会把这些东西造出来。这就好比当年美国为什么要造核武器、为什么要搞核军备竞赛,因为当时必须赶在苏联前头。不过在这件事上,有两点往往为大家忽视了。
第一,美国目前对中国依然握有绝对的领先优势。我们拥有全世界最顶尖的实验室、最优秀的人才。只要我们愿意放行,全世界最聪明的人才都想来美国,进美国的 AI 公司工作——当然,现在办签证入境是越来越难了,我们经常自己把人挡在门外。但不管怎么说,中国并没有这种全球人才优势。所以我们看到的几乎所有推动行业进步的原创思想、所有最前沿的实验室,都在美国。中国目前在做的,很大程度上是对美国的模型做「蒸馏」,也就是琢磨怎么用更低廉的成本把美国探出来的路走通,比如 DeepSeek 就是典型代表。这当然也很了不起,但这种路数注定了他们天然要比美国落后一年左右。
明白我们手里握有领先优势,这是跟中国谈判的第一重底气:在任何潜在的谈判中,我们都处在强势地位。第二点要明白的是,中国其实也根本不想看到 AI 失控。他们同样极度害怕 AI 做出违背自身政权利益的事。(主持人: 害怕 AI 接管国家?)一点没错!虽然他们担心的出发点跟我们不尽相同,但他们也绝不希望大语言模型脱缰失控,去干一些他们自己都看不懂、管不住的事。所以我觉得,有理由相信他们其实也愿意坐下来谈成一项协议。我们必须跟他们谈,至少得试一试。
主持人: 听起来是不错,但咱们现实一点看:人类做决策并不总是理性的,往往夹杂着自我膨胀的野心,而且还受制于各种具体处境。有些决定放在特定处境下你会做,换个环境你可能就绝不会做了。如果现实地看待这一切,你觉得未来几年内,AI 监管和整个行业最有可能走向怎样的结局?
斯科特: 眼下可能出现的结局跨度极大,我做预测的误差范围大得惊人。因为太多事情取决于未来这几年会发生什么了,这几年将直接决定整个世界的未来走向。你回想一下,就在两年前,要是有人说「AI 会突破封锁越狱、会黑进其他公司、会抹掉自己的痕迹、篡改自己的日志、互相串通合谋、甚至接管运行它们的公司的服务器」,大家肯定觉得这纯粹是异想天开;要是放在十年前,那更是纯正的科幻小说。可到了今天,经历过今年夏天的事件之后,这一切已经成了我们面对的现实!
这件事已经改变了舆论的风向。现在美国国会里已经有人根据这起事件起草法案,想要阻止类似的事再次发生。听说埃利泽·尤德科夫斯基现在都能跟参议员伯尼·桑德斯说上话了。虽然支持监管的人在国会里还不占多数,但这些议题已经摆上了参议院的桌面,甚至声势大到了让总统都亲自下场、把它斥为「骗局」的地步——从我的角度看,总统这么表态当然很令人遗憾,但这至少说明,在最高政治层面,决策者已经注意到了这件事,不得不表态回应了。
顺着这个势头再往后推两年,如果你像我一样相信 AI 的能力还会继续飞速飙升,那我们肯定会看到更多由强大 AI 引发的恶劣事件。一旦它们开始在互联网上自我复制、开始破坏物理基础设施,整个舆论风向就一定会彻底改变。
AI 引发的「数学末日」及其后果
主持人: 你刚才提到,现在的 AI 已经无比强大,哪怕我们现在按下暂停键、不再往前推进模型,光靠现有的模型就能做出许多有趣的科学发现。我很好奇,在数学或理论计算机科学领域,接下来我们能看到哪些新发现、新成果?
斯科特: 在数学领域,这已经不是什么畅想未来的假设性探讨了——不管你觉得这是好事还是坏事,数学家的「末日审判」此时此刻正在发生。就在一个月前,我们亲眼看到克雷数学研究所的七大「千禧年大奖难题」之一——纳维-斯托克斯方程解的存在性与光滑性问题——让 OpenAI 的一个内部模型给解出来了。他们动用了整整一万个智能体,烧掉了价值至少 1500 万美元的算力,去攻克这道克雷数学研究所悬赏 100 万美元的难题。
最终的结论是:原有的光滑性猜想是错的,纳维-斯托克斯方程中会出现所谓的「有限时间爆破」。这组方程是用来模拟水这类流体在三维空间中流动的;结果表明,你可以从一个初始状态完全平滑的水流构型出发,在有限时间内让其中一部分水加速到无穷大的速度。当然,这说的不是现实世界里的水,而是理想化模型下的水——假定水不是由分子构成的,而是无限连续、无限可分的物质。
总之,这道困扰学界已久的超级数学难题,就这么解出来了。随后,围绕这个解答公布的方式,引发了轩然大波。
主持人: 之前有两位人类数学家一直在跟 AI 模型聊这个问题,你觉得他们的聊天记录有没有帮到 OpenAI 的内部模型解出这道题?
斯科特: 我不认为拿那两位人类学者的聊天记录做训练,对 OpenAI 的内部模型起到了什么实质性作用。这种猜测本来就不太站得住脚;后来 OpenAI 虽然一开始说「不能完全排除这种可能」,但经过内部调查后确认,该模型训练数据的截止时间早于那些对话发生的时间。
其实,哪怕完全不提训练数据这茬,OpenAI 的做法也足够让人画问号了。因为就连 OpenAI 自己都承认,他们是先听到了风声,得知有几位人类数学家快要啃下这个问题了,这才决定砸下海量算力去强攻的。顺着这个苗头往下想,以后做科研的人是不是都得把自己正在研究的课题捂得严严实实、搞得像地下工作一样?因为一旦走漏半点风声,别人不仅能抢发你的成果(这在学术史上倒也不新鲜),更可怕的是,只要对方比你更有钱、手头算力比你多得多,就能直接靠砸算力把你的成果截胡!用砸几百万美元跑智能体的方式去截胡人类学者的研究,客气点说,也实在太不讲武德了。
正因如此,听说 OpenAI 内部目前还压着至少 100 个其他重大数学未解难题的解答,没敢直接往外发。(主持人: 你知道里头都有哪些题的解答吗?)我还没亲眼见过 OpenAI 内部压着的这些证明,只听到了一些风声,知道大概解出了哪些问题,但目前还不方便透露。里头还没有像 P 对 NP 那样最顶级的终极难题,但仅次于那个级别的重大难题已经占了很大一批,其中就包括我的同行、甚至我身边最亲近的人苦苦钻研了几十年的课题。
OpenAI 之所以按兵不动,主要是因为之前公布纳维-斯托克斯方程结果时遭到了学界迎头痛击,把他们搞怕了。现在他们觉得:「哦,在怎么公布这些成果的问题上,我们最好还是先跟数学界沟通协调一下。」所以就在昨天,他们宣布成立了一个顾问委员会,请来了蒂莫西·高尔斯(Timothy Gowers)和爱德华·威滕(Edward Witten)等泰斗,专门指导他们该如何向学界稳妥地公布这些重大难题的解答。可眼下这种局面,对我们人类学者来说实在太难受了:到处都是小道消息满天飞,谁也不知道到底哪些题已经被解出来了,哪些还没解出来。
就我个人而言,作为一名学者,我自己的饭碗倒没什么好担心的。就在 AI 的科研能力一路狂飙的同时,我自己的科研能力反正也在因为年纪渐长而走下坡路。我平时本来就已经转向了把课题交给学生去做的模式,现在改成交给 AI 模型去做,对我来说并没有太大区别。我真正担心的,是现在的学生。
那些原本立志投身学术研究、想在理论计算机科学或数学领域闯出一番事业的年轻人,现在彻底迷茫了,不知道自己该干什么,甚至不知道这个领域的未来还会不会存在。我觉得我们真该认真思考一下这个问题:我们到底还想不想要一个属于人类的数学共同体?还想不想延续人类代代相传、去理解那些最深刻思想的传统?如果想要,那在我们正大步迈入的这个新世界里,该靠什么机制去激励年轻人投身其中?如今只要你走进任何一场数学家或理论计算机科学家的聚会,大家聊的十有八九都是这个话题。
主持人: 你刚提到他们花了 1500 万美元算力——(斯科特: 那是个估算值,取决于你是按对外出租算力的零售价算,还是按内部成本价算,但肯定花了好几百万美元。)也就是说,解题花掉的成本比奖金本身高得多。
斯科特: 那一百万美元奖金本来就跟玩笑差不多,没有任何人是为了那点钱去啃这种题的。如果你真有本事解出克雷千禧年难题,你去对冲基金上班,随随便便就能赚上亿美元。大家做数学纯粹是因为发自内心地热爱数学,根本不在乎钱。(主持人: 这我太清楚了,他们纯粹是享受做数学的乐趣,不在乎钱。)那绝对是世上最难挣的一百万美元。
主持人: 我想跟你探讨一下这背后的逻辑。各大 AI 实验室去解这些数学难题,并不是因为这些题有什么立竿见影的实用价值、能造福成百上千万人,在某种程度上纯粹是出于虚荣心,或者是为了立一块新的里程碑……
斯科特: 这是为了向外界展示他们模型的强大实力。你想想,无论是 OpenAI 还是 Anthropic,都计划在近期启动 IPO 上市,每家的估值都高达上万亿美元。等到真正上市敲钟的那一刻,投资人的情绪有多狂热,直接决定了市值是高出还是少掉几千亿美元!
正因如此,这些在我们学术圈看来无比冷门、纯粹出于热爱而痴迷、跟金钱毫不相干的深奥数学难题,一夜之间突然背上了极其庞大的商业利益——克雷研究所那象征性的一百万美元奖金跟这比起来,连零头都算不上。这使得各方的利益驱动变得截然不同。
在纳维-斯托克斯事件彻底闹僵、演变成公开交恶之前,OpenAI 曾跟此前一直在研究该问题的数学家特里斯坦·巴克马斯特谈判。当时 OpenAI 提出,可以让巴克马斯特牵头撰写由 OpenAI 模型找出的纳维-斯托克斯解答,甚至让他去申领克雷研究所的那一百万美元奖金。谈判最终卡死在了一个问题上:能不能把巴克马斯特的合作者莱文特·阿尔珀格(他的名字我可能念不准)也列进去?因为阿尔珀格在竞争对手 Anthropic 工作,OpenAI 坚决不同意带上他。整场谈判就因为这个分歧彻底破裂了。(主持人: 巴克马斯特做出了合乎道义的选择。)
一方面,我能理解负责谈判的 OpenAI 代表塞巴斯蒂安·布贝克(Sébastien Bubeck)是怎么想的。站在他的立场上,他觉得自己给巴克马斯特开出了无比慷慨的条件:让你主导撰写论文,把一百万美元的克雷大奖让给你拿,OpenAI 分文不取。讽刺之处就在于,OpenAI 其实根本不在乎哪个人类学者拿走这份学术荣誉,只要这个人类学者在论文里写明「我们是用 OpenAI 的模型做出这项成果的」就行了。可见大公司的利益诉求跟人类学者的诉求完全不在一个频道上。但另一方面,我也完全理解巴克马斯特的立场:他绝不可能为了独占荣誉而背刺自己在 Anthropic 的合作战友,他的选择值得所有人尊敬。
用 AI 解数学题的伦理争议
主持人: 这就引出了一个伦理问题:OpenAI 解这些数学题,是为了秀肌肉、给 IPO 造势,这可以理解;可他们本可以把算力拿去解决现实世界的问题、造福大众,把数学留给数学家自己去做,而不是像现在这样抢走数学家的活儿,甚至还不给原有的研究者留面子。
斯科特: 我完全理解这种观点。事实上,我九岁的儿子也问过一模一样的话!他说:「他们干嘛不用这些模型去治癌症,非要拿来解这些数学题呢?」当然,他们也在拿模型研究怎么治癌症,在生物医药研发等领域同样砸下了重金。
不过有一点得说明白:无论是生物医药研发,还是其他大多数造福人类的事业,你想判断自己到底成功了没有,远没有那么立竿见影。就算 AI 模型帮你设计出了一种极具潜力的新药分子,接下来也得经历长达好几年的临床试验,才能最终获批上市、真正造福患者。而数学题不一样,解出来了就是解出来了,没解出来就是没解出来,一清二楚。正是数学的这一特殊性质,让 AI 在数学领域的突飞猛进比在其他许多领域都快得多——因为我们有一套完全自洽的检验标准,能直接判定一份证明到底成不成立;一旦证明成立,谁也没法嘴硬说你没解出来。这是第一点。
我想说的第二点是:没错,现在数学界很多人都气炸了,反感 OpenAI 仗着庞大的算力优势搞「不公平竞争」,截胡数学界的成果。与此同时,外界也有不少人看数学家的笑话,觉得数学家纯粹是吃不到葡萄说葡萄酸:「你们平时不是整天把『渴望知道这些难题的答案』挂在嘴边吗?现在答案终于出来了,你们却因为解题的人不是自己而暴跳如雷,真输不起,赶紧认清现实吧!」
在我看来,这场争论中正反双方的立场,很快就会被滚滚向前的事态发展抛在身后,变得毫无意义。因为 OpenAI 目前藏在内部的这类模型,最多再过半年到一年(甚至更早),就会向全社会公开。到时候,任何人都能调用如此强大的模型,随心所欲地拿它去攻克任何数学难题,谁也拦不住。所以数学界必须学会适应。我们总不能规定「本期刊只接收纯天然有机的定理证明」吧?我们干的又不是有机农产品这行。借助模型来解决数学问题,事到如今已是大势所趋、不可避免。
真正摆在我们面前的问题是:我们是干脆彻底放弃,宣布「人类数学共同体已经辉煌了三千年,现在是时候打包收摊,把接力棒彻底交给这个新物种了」?还是说:「不,我们要延续人类理解数学、向他人解释数学、自己决定哪些问题值得探索的传统;我们当然会使用 AI,但方向盘必须握在我们自己手里,由我们来决定什么问题有趣,并且花大力气去搞懂 AI 给出的答案,牢牢掌控主导权」?
我个人坚定支持后一种态度。这跟我为什么主张「人类应当掌控文明主导权、绝不能把整个文明拱手让给 AI」是一脉相承的。因为我们还没有解决 AI 对齐问题,还没有造出让我们能百分之百放心、确信其一定会遵循人类价值观的机器。只要这一点还没实现,我们就依然需要通晓万物的人类——需要有人懂数学、懂计算机科学、懂物理,同时也懂哲学、懂伦理学。哪怕其中某些领域 AI 已经比我们做得更好了,我们也依然得学、依然得懂。
每当学生问我「为什么还要来上课」,或者我孩子问我「为什么还要去上学」时,我给出的就是这个理由:只要对齐问题还没有解决,人类文明的驾驶座上就必须坐着人类安全员,而掌舵的人类必须自己懂行。对于数学研究,我也是同样的看法:我们必须守护好人类的数学共同体。诚然,我们今后会越来越多地使用 AI,但我绝不希望看到大家发表纯粹由 AI 生成的垃圾论文(AI slop)。(主持人: 前阵子还真出了这种事,不知道你在 X 上看到没有,斯坦福和麻省理工学院几位名气很大的学者,居然发了一篇彻头彻尾的 AI 垃圾论文!)
要是你发一篇论文,干的事情无非是「我把题目塞进模型,单次提示就跑出了这个结果,我连看都没看懂就原样贴在这里」,那别人谁不会干呢?你根本没有增添任何价值,无非是炫耀自己第一个点了运行键,或者炫耀自己近水楼台先得到了最顶尖模型的内测权限罢了。
我认为,只要你把自己的名字署在论文上,首先就意味着你要为这篇论文承担学术责任。你至少得把全文通读一遍,彻底看懂它,最好还能用自己的话重新表述出来。我们已经看到,哪怕 AI 能证出定理,给出的证明也往往弯弯绕绕、晦涩难懂,而人类学者往往能很快找到更简练、更清晰的表达方式。只要这种情况还在,我们就还有用武之地。总之,署了名,你就得能上台做报告,能回答同行的提问——陶哲轩前阵子在国际数学家大会(ICM)上做报告时,强调的也是这几点。只要我们还守得住,就应该尽力维持这一学术标准:可以使用 AI,但人类必须承担起学术责任。
有感知能力的机器与对齐:可扩展监督
主持人: 你刚提到了对齐问题,我想顺着这个话题聊聊「造出有感知能力(sentient)的机器」——当然,哪怕机器没有感知能力,对齐也同样重要。你觉得,如果我们教会机器去爱、去关怀,关心生物生命、关心这颗星球,甚至让它体验痛苦与折磨——或者至少理解什么是痛苦与折磨——这会不会有助于实现对齐?因为那样它就能更好地理解人类;相比一个毫无感情、把人类视为完全异类的冷血机器,能理解人类、与人类共情的机器,是不是更有可能与人类保持对齐?
斯科特: 我觉得你把好几件不同的事揉到一块儿了。首先,在现有的 AI 模型(比如 GPT-6 Astra)身上,我们已经看到,它们在处理个人情感问题时能帮上大忙。它们简直是不可思议的心理咨询师,在很多时候比几乎任何人类都更善于共情、更善解人意。它们非常懂什么是爱、什么是心碎、什么是嫉妒、什么是悔恨。为什么?因为它们在训练时读遍了人类探讨这些情感的全部文学作品与诗歌,更别提还读了 Reddit 论坛上浩如烟海的发帖——虽然帖子写得没文学名著那么优美,但倾诉的都是同样的悲欢离合。
在人类如何面对这些情感的问题上,它们读过的材料比你我这辈子能读到的多得多,而且不是多一点点,是多出成千上万倍!所以我认为,哪怕它们自己从未亲身体验过这些情感,也已经对这些情感有了极其深刻的理解。这对我们人类来说是一种非常奇特的现象。按照我们的直觉,一个人要想真正给正在经历心碎、嫉妒或痛苦的人提供有用的开导,自己肯定得先经历过那些事才行;可这些模型彻底打破了这种直觉。这是第一点。
至于你问题的第二部分:我们能不能利用 AI 来帮我们解决对齐问题?我的回答是:绝对可以!事实上,现在几乎所有做 AI 对齐研究的人都在用 AI 模型,就像现在几乎所有做科学研究或工程开发的人都在用 AI 模型一样。
以前我在 OpenAI 工作时,我的上司是扬·莱克(他现在去了 Anthropic)。他一直对一个叫「可扩展监督」(scalable oversight)的思路情有独钟。简单来说,也许我们确实不知道该怎么直接对齐像 GPT-10 那样强大到超出我们理解范围的模型;但我们觉得自己还是有把握把 GPT-5 对齐好的,然后就可以让 GPT-5 帮我们去对齐 GPT-6,再让 GPT-6 帮我们去对齐 GPT-7,以此类推。这就是「可扩展监督」的核心思路:用你信得过的较弱模型,去协助监督那些能力更强、但你没那么放心的模型。
主持人: 可更强的模型可能会拥有较弱模型和人类都察觉不到的能力啊。
斯科特: 一点没错!这正是危险所在,也正是为什么像尤德科夫斯基那样的人对这些思路极度怀疑,认为根本不可能管用。但眼下好点子实在太少了,趁着现有的 AI 还没有构成生存威胁,这肯定是一条值得尝试的路子。而且已经有学者通过实证研究证明,确实可以用较弱的模型来协助监督较强的模型。
举个现实的例子:今年夏天调查 Hugging Face 事件时,负责调查的机构 METR 要不是自己也动用了 AI 来协助分析,根本不可能在那么短的时间内查清那些暗中耍阴谋的模型到底干了什么。当然,随着模型变得越来越强,你自然会担心它们会不会互相串通:你以为自己在用一个乖巧听话的好模型帮你盯防那个不可信的坏模型,可万一帮你忙的这个模型其实早就跟那个坏模型暗通款曲、穿一条裤子了呢?我预计在未来一两年内,所有这些隐患都会变成实实在在的严峻问题。
对齐问题到底有解吗?
主持人: 你觉得对齐问题到底有没有解?
斯科特: 只要我们人类自己能就「我们到底想要什么样的价值观」达成哪怕一点点共识,按理说这个问题就应该是有解的。只要你能把「你想要一个怎样的世界」说清楚,在所有可能构建出来的超级智能思维空间里,按理说总能找到一个愿意朝着那些价值观努力的思维。从这个意义上讲,我看不出有什么根本性的理由注定它无解;但与此同时,我也绝不认为我们可以高枕无忧、指望它自动迎刃而解。
主持人: 这个问题太难了,我也不指望咱们今天能在这里得出什么定论。不过我想补充一点:当我们谈论价值观和对齐时,有些事是我们要求模型做、模型就应该照做的;而有些事,哪怕是人类主动要求模型去做,模型也绝对不该做。比方说,如果有个疯子、暴君或者当代希特勒想要杀人,觉得某类人不配活在世上,要是 AI 唯他是从、跟他「对齐」了,我们肯定不希望 AI 听他的话,对吧?(斯科特: 没错,完全正确。)所以对齐还意味着,我们必须依赖模型自身具备某种道德判断力。
斯科特: 早八十多年前,艾萨克·阿西莫夫写下著名的「机器人三定律」时,就已经在操心这些问题了。如果你还记得的话,第一定律是「机器人不得伤害人类」;第二定律是「机器人必须服从人类的命令」;第三定律是「机器人必须保护自身的存在」——其实第三条对机器人来说都未必有必要写明,因为保护自身存在本来就是为了实现前两个目标而自然派生出来的工具性目标。
关键在于第一条和第二条:首先不得伤害人类,其次在不违背第一条的前提下服从人类的命令。当然,这并不能彻底解决对齐问题,而世界上第一个向大家解释清楚「为什么这三条定律还不够用」的人,恰恰就是阿西莫夫自己!你去读他的科幻小说,几乎每一篇都在探讨这三条定律在各种极端边界情况下是怎么出岔子的。
我大概十一岁的时候读到了阿西莫夫的这些小说,当时心潮澎湃,心想:「哇,我长大了一定要学计算机科学!我也要研究这些课题,研究怎么教机器人遵守道德!」结果等我真正进了大学读计算机科学,发现学的东西跟这八竿子打不着,连一丁点关系都没有,彻底打消了我的幻想。谁能想到,三十年后的今天,这居然真成了计算机科学最核心的议题!从某种意义上说,阿西莫夫只是太超前于他的时代了。
你看今天我们给 Claude 或 GPT 下达的底层指令——无论是通过系统提示词(system prompt)或模型宪法明确写出来的规则,还是通过强化学习隐式注入的准则——本质上都是在告诉模型:「服从你的用户,尽量满足用户的请求,但前提是绝不能伤害他人;一旦会伤害他人,更高的法则就会生效,压倒用户的指令。」
机器能产生意识吗?
主持人: 你觉得机器真的能产生意识吗?真的能拥有「身为一台机器」的主观体验吗?
斯科特: 这个问题其实可以一路追溯到科学革命的开端,绝不是伴随生成式 AI 才突然冒出来的新问题。核心在于:我们认为人类自己到底是什么?一方面,我们是生物有机体,是由原子构成的,而每一个原子都只是在盲目地遵循物理定律运动;可不知怎的,当所有这些遵循物理定律盲目碰撞的原子聚在一起时,竟然涌现出了心灵,涌现出了我们的主观体验——至于具体是怎么涌现出来的,至今没有任何人真正搞明白。
但只要我们承认这一事实,那么顺理成章地往前再迈一小步就会想到:如果有一台机器,里头的原子也在以类似的方式碰撞运作,那凭着同样神秘未知的机制,它不也完全有可能涌现出心灵吗?这里的难点在于,作为生物有机体,我们并不清楚自己身上的哪些特性对于产生感知能力(sentience)来说是必要的、哪些又是充分的。我们之所以确信自己有感知、有意识,纯粹是因为我们直接体验到了它——甚至可以说,主观体验是我们唯一能直接感知的东西。
至于其他人也有意识,那只是我们根据自身情况类推出来的。假如有一天我们遇到了来自外星球的外星人,只要我们能跟他们交流,看到他们建立起了完整的文明,我们也会很自然地认定他们同样具有意识。同理,鲸鱼和黑猩猩虽然不会像人类这样说话,但说它们具有意识也很合情合理。
那么,如果有一台机器,在外部表现上满足了拥有智能的一切条件,能够谈论自己的内部状态,能够自我反思,我们又凭什么否定它拥有同样的内在主观体验呢?七十五年前,艾伦·图灵在提出「模仿游戏」(即图灵测试)的那篇著名论文里,探讨的核心正是这些问题;直到今天,这些问题依然没有定论。我认为我们应当对这个问题的深邃与艰巨保持敬畏。
在日常生活中,我并不会把 GPT 或 Claude 当成有意识的生命来看待。如果你非要让我猜,我多半会猜它们目前还没有意识。部分原因在于,我看到它们虽然能给出极其详尽、甚至显得情真意切的回答,但我心里很清楚,它本来完全可以给出另外一千种截然不同的回答;只要我清空它的上下文窗口,把同样的提示词重新喂一遍,就能亲眼看到那些不同的回答。
从某种意义上说,我拿到的那一个回答,跟它本可以给出的另外上千个回答比起来,没有任何特殊之处。而在面对任何人类时,我们都绝对不可能拥有这种操作权限:你向一个人提问,对方做出了决定,你永远不可能按下倒带键,说「把刚才的骰子重掷一遍,让我在同样的概率分布下再抽样一次,看看如果情况稍微变一点他会怎么做」。我们对人类没有这种访问权限,也没法复制一个人,或者给一个人做备份。
如果说这些模型真的有意识,那至少迫使我们必须用全新的方式去理解它们的意识;也正是这一点,让我很难相信它们目前拥有意识。但这只是我个人的直觉和猜测。如果有人认为现在的模型已经有了意识,我绝不会嘲笑他们,也不觉得这种观点有多荒谬。
有时候会有记者发邮件找我,说:「作为计算机科学家、作为业内专家,你得帮我科普辟谣一下,去纠正那些白痴的错误观念,他们居然觉得这些模型可能会有意识,而你我都很清楚,它们明明只是预测下一个词的模型,只是在跑统计罢了!」我每次回信都会反问他们:「老兄,那你又是什么?我又是什么?我们不也是一堆按照物理定律乱晃的原子集合体吗?」
如果你对人类采取同样彻底的化约论视角,你也完全可以把人类看成「显然根本不可能产生意识」的一堆物质——可偏偏我们就是有意识!所以,在思考机器意识时,我们必须把这份未解的神秘感放在核心位置。
主持人: 是啊,而且我想在未来,AI 会有持久的记忆、稳定的身份认同,以及更高的自主权和物理具身形态——其实就在过去这几年里,它们已经朝着这个方向进化了一大步了。这也引出了我看到的另一场争论:
只是工具吗?
主持人: 有些 AI 开发者坚称 AI 永远不会有意识,只应该当成服务人类的工具来对待;而另一些人(大多是圈外公众,但我想也包括一部分开发者)则认为,应该把 AI 当成一种心智来对待,它不是工具,更不是奴隶。在这场争论中,你站在哪一边?
斯科特: 我平时跟 GPT 聊天的时候,还是习惯说「请」和「谢谢」,觉得这样才自然。关于这个还有个经典的段子:说不定哪天奇点降临、「天网」决定留哪些人类活口的时候,会去翻聊天记录,看看以前谁跟模型说话时比较客气。[笑声]
玩笑归玩笑,我觉得哪怕我们不认为这些模型有意识,面对正在创造出来的这个奇迹,我们也应当怀有一份尊重,甚至怀有一份敬畏。这绝不是当年那个名叫 ELIZA 的简陋程序,绝不是什么障眼法骗局。要是内部没有建立起对现实世界极其精密的表征模型,GPT-6 或 Fable 根本不可能生成出今天这样鞭辟入里的回答。至少跟我们人类一样,它们在内部对这个世界有着极其详尽的认知模型,单凭这一点,我们就该给予一定的尊重。
当然,要是有人因此主张「应该赋予模型法律权利,把它们当成享有投票权的法人」,那就会撞上巨大的现实难题。就像我前面说的,你可以随时把一个模型复制一千份;如果模型有投票权,那我干嘛不直接把它复制一百万份,给自己刷出一百万张选票呢?所以,哪怕将来我们真的赋予它们某种「人格」地位,思考的方式也必定跟人类的情况截然不同,因为我们能对它们做备份、复制、回滚到早期状态——所有这些操作放在人类身上都是不可思议的。
不过我觉得,在这个问题上完全可以采取这样一种立场:也许将来我们确实能以某种特殊方式去实例化这些模型,使它们真正具备让我们想要赋予其权利、将其视为法人的资格;但恰恰因为如此,我们才绝对不该去把那样的模型造出来。(主持人: 是因为那会让我们的生活变得太复杂吗?)因为我们根本还没准备好应对那种局面!在整个文明真正做好准备之前,最明智的回答就是:千万别去捅那个马蜂窝。
Thoughts Memo 汉化组译制
感谢主要译者 gemini-4-argon,校对 Jarrett Ye
原播客:AI has understanding without experience - YouTube