ListenHub

5-2

Mia: 哎，今天咱们聊聊这个“NLP 巨变：大型语言模型与伦理挑战”，说白了，就是电脑现在能像人一样聊天、写文章了，听着挺牛，但感觉也埋了不少雷。咱先大概过一遍，你给说说这到底咋回事？

Mars: 没错，NLP 这几年，那真是坐了火箭。以前还小打小闹，现在直接变科幻大片了。

Mia: 我一直没搞明白，这 NLP 最开始是干嘛的？就是那种智能客服？

Mars: 可以这么说，它历史挺悠久的，四几年就有人想让电脑听懂人话。一开始就是语音识别、机器翻译，后来慢慢就有了广告推荐、智能助手这些。

Mia: 那怎么突然就，Duang 的一下，变成现在这样了？

Mars: 关键是 2017 年，Google 搞了个 Transformer 模型，就是那篇著名的“Attention Is All You Need”。当时大家还以为是个小技巧，结果用大数据一训练，效果直接起飞。

Mia: 哎呦，就像你给乐高加了魔法，自己就能盖摩天大楼了？

Mars: 差不多这意思！然后 2018 年，Google 又把 BERT 开源了，这下彻底炸了，掀起一股“BERTology”热，大家都研究它的原理，比谁跑分高。

Mia: 跑分？听着像学霸比赛，比谁考试考得好？

Mars: 对，就那个味儿。但更重要的是，大家发现，模型越大，分数越高，规模就成了新的标准答案。

Mia: 但我听人说，这些模型其实根本不懂意思，就是死记硬背，拼凑文字？

Mars: 这就说到“理解”这个事儿了。Emily Bender 提出了一个“章鱼测试”，我觉得挺形象的：你养只章鱼，它天天学你写字，能写得跟你一模一样，但你不能指望章鱼懂中文吧？大型语言模型也差不多这情况。

Mia: 呃… 有点心疼章鱼了。

Mars: 哈哈，不过道理就是这样。再后来，2020 年，GPT-3 冒出来了，规模一下子甩开别人一大截，只需要给它几个例子，就能做新的任务，很多人都看傻了。但它没完全开放，代码也没公开，这就引发了商业化的担忧。

Mia: 那是不是就有了“挺 LLM”和“反 LLM”两派？

Mars: 对，NLP 圈就像开了锅一样。Bender 那篇“随机鹦鹉的危险”就在旁边喊：别光看大小，还得注意意义和风险！

Mia: 那后来的聊天机器人 ChatGPT，又带来了什么新故事？

Mars: 2022 年 ChatGPT 一上线，直接变网红了，整个行业都慌了。很多人担心自己要失业，学术会议上有人开玩笑说：“这会不会是最后一届 NLP 会议啊？”

Mia: 这么夸张！那学术界和工业界是不是又吵翻天了？

Mars: 差不多，研究方向分歧更大了。有人觉得游戏规则都变了，以前的研究都过时了；也有人说，这只是把网络和数据规模放大而已，本质没变。

Mia: 那最后，这个道德问题，你能不能总结一下？

Mars: 好处肯定不少，比如更聪明的助手，更高效的写作。但是，偏见、隐私、责任这些问题，很难界定，而且社会影响非常深远。

Mia: 好的，感谢今天的分享！总的来说，NLP 从最初的小打小闹，到大型语言模型的爆发，再到伦理和社会挑战，就像咱们一路从平地走到了悬崖边，未来既让人激动，又得小心翼翼的。咱们下期再聊！

大纲

NLP 领域巨变： 自然语言处理 (NLP) 领域发生了重大变化，对行业从业者和整个社会都产生了深远影响。
NLP 的目标： 让计算机能够理解和处理人类语言的复杂性，起源于 20 世纪 40 年代，最初应用于语音助手、广告推荐等。
大型语言模型（LLM）的兴起：
- 2019 年 Quanta 杂志报道 BERT 时，还未使用 “大型语言模型” 这一术语。
- 短短五年半后，LLM 迅速发展，对各科学领域产生颠覆性影响，首当其冲的是 NLP。
Transformer 模型的出现：
- 2017 年，Google 提出的 Transformer 模型（“Attention Is All You Need”论文）彻底改变了 NLP 领域的格局。
- 起初，学界对此持怀疑态度，认为只是“hack”，但后来发现其在大量数据上训练后效果惊人。
BERT 的影响：
- 2018 年 Google 开源 BERT 模型后，NLP 领域掀起了一股 “BERTology” 热潮。
- 研究人员争相研究 BERT 的原理，并在各种基准测试中相互竞争，许多项目因此被搁置。
规模化（Scaling）的重要性： 随着模型规模的扩大，其在基准测试中的表现也越来越好，这使得研究人员开始关注规模化带来的潜力。
关于“理解”的争论：
- LLM 在 NLP 基准测试中超越人类水平后，引发了关于模型是否真正“理解”语言的争论。
- Emily M. Bender 等人提出了 “章鱼测试”，认为仅通过统计模式模仿语言形式的模型永远无法真正理解其含义。
GPT-3 的发布：
- 2020 年 OpenAI 发布 GPT-3，其规模和能力远超以往模型，许多 NLP 研究人员认为这是一个转折点。
- GPT-3 展现出在少量样本下完成新任务的能力，令人震惊。
- 但 OpenAI 未公开 GPT-3 的源代码，其商业化模式也引发了一些争议。
NLP 领域的内战：
- 围绕 LLM 的伦理和社会影响，NLP 领域出现严重分歧，形成了 “亲 LLM” 和 “反 LLM” 两派。
- Bender 等人发表的论文《随机鹦鹉的危险：语言模型会过大吗？》引发了关于形式与意义、方法与规模的激烈辩论。
ChatGPT 的问世：
- 2022 年 11 月 30 日，OpenAI 发布 ChatGPT，对 NLP 领域产生了巨大冲击。
- 许多研究人员面临研究方向被淘汰的危机，对 NLP 的未来感到迷茫。
- EMNLP 会议上甚至有人提问：“这会是最后一届 NLP 会议吗？”
学术界与工业界的差距： ChatGPT 的出现加剧了学术界和工业界在 NLP 研究方向上的分歧。
范式转变？：
- LLM 的出现是否代表 NLP 领域发生范式转变，业内存在不同看法。
- 一些人认为 LLM 改变了研究方向，使得过去关注的问题不再重要。
- 另一些人则认为，这只是规模更大、数据集更大的神经网络而已。
伦理与影响： LLM 的强大能力引发了关于人类在 AI 时代的角色、教育影响以及潜在风险的深刻思考。
机遇与挑战： LLM 为 NLP 领域带来了前所未有的机遇，但也带来了伦理、偏见和对社会潜在影响的挑战。

脚本