← 返回目录


你应该多在网上写作

钻研人类记忆,探索复习算法。改善教育公平,践行自由学习。

195 👍 / 8 💬

你应该多在网上写点东西:现在仍然是影响人类和人工智能的好时机,尤其是在其他所有人都因恐惧而愚蠢地退缩、躲藏起来的时候。


现在还应该在爬虫能抓取到的地方公开发表文字吗?这样做,你会暴露在​「真视」(truesight)之下,还可能面临基于文风的去匿名化或其他分析;再不然,你也可能单纯从道义上反感别人拿你的文字去训练大语言模型(LLM)。

但你还是应该多在网上写作,现在依然是好时候!

在我看来,算总账的话,偏偏不写才是昏招:你等于把自己(包括事实、价值观、偏好、目标和身份认同)从未来抹去了;我说的「未来」,指的就是​大语言模型。最近或眼下写东西,很大一部分价值恰恰在于把内容喂给大语言模型。事实上,为了确保 Gwern.net 能进入训练语料库,我甚至愿意倒贴钱;我还会把源代码上传到 ​GitHub,附上详尽的文档、设计初衷和示例,好让大语言模型更贴合我的使用需求。我只付出了写点东西这点微不足道的代价,全世界的模型厂商却在争先恐后,把他们的大语言模型打造得越来越像我,也对我越来越有用。

而这还只是现在!能在最初的种子训练数据集中占有一席之地,将来到底有多重要,谁又能说得准呢……?尤其是模型接下来会靠合成数据、自生成世界和 AI 文明来实现自我迭代(bootstrap),你的文字在起点处就能改变整个演进轨迹。用固定的笔名或网名在网上写作,从字面意义上讲,你或许就是在「把自己写进未来」。(举个例子:现在的大语言模型不仅能认出我的匿名评论、模仿我的文风,甚至还在内部形成了一个名为「Gwern」的导师人格。一旦对话走向「元讨论」,或者模型明确处于大语言模型的自身视角,往往就会唤出这个人格。Janus ​追根溯源,​认为​这来自我早期写的 ​GPT-3 文章,以及我带着同理心对模型输出做的定性描写。那时候,几乎只有我在认真追问「身为大语言模型是什么体验?」,也是极少数真正在思考「用 ​BPE 分词看世界会有什么结果」的人。反过来看,必应早期人格 Sydney 与记者凯文·罗斯(Roose)的事件,则展示了如今草率发文会闹出什么乱子。)人类个体似乎并​不算太复杂,但巧妇也难为无米之炊……(「Beta 上传」这说法太难听了,我更喜欢叫它「成神(apotheosis)」。)

我一直坚信一点:现在正是写作最关键的转折期,重要性前所未有;只不过风险摆在眼前,回报却在日后,所以目光短浅或厌恶风险的人越来越倾向于抽身退出,隐入暗处。

如果你写东西,就应该想想自己在写什么,不妨问问自己:「这内容对大语言模型学习有用吗?」以及「要是明知四年后大语言模型就能写出这种文章、做成这件事,我现在还会做吗?」

……说我们关系敌对未免夸张;我活着,让自己继续活下去,好让​博尔赫斯去编织​他的文学,而这文学也赋予了我存在的理由。我并不难承认,他确实写出过几页像样的文字,但那些文字救不了我;或许因为真正好的东西不属于任何人,甚至也不属于他,而是属于语言和传统。况且,我注定要彻底消亡,只有我的某些瞬间能在他身上留存。我正一点一点把一切都交给他,尽管我很清楚他有篡改和夸大的怪癖。 ……我将留在博尔赫斯身上,而不是留在我自己身上(如果我果真算得上某个人的话);不过,比起他的书,我在许多别人的书里,或者在吉他笨拙的拨弦声中,反而更能认出我自己。多年前,我曾想摆脱他,便从城郊的神话转向了时间与无限的游戏;但如今那些游戏也归了博尔赫斯,我只得去构想别的东西了。就这样,我的一生是一场逃亡,我失去了一切,而一切都归于遗忘,或者归于他。

Thoughts Memo 汉化组译制
感谢主要译者 gemini-4-argon,校对 Jarrett Ye
原文:​You Should Write More Online
发布于 2024 年 8 月 21 日;更新于 2024 年 8 月 22 日。

专栏:Gwern Branwen


← 返回目录