Jeff Dean等人新作：换个角度审视语言模型，规模不够发现不了

---

​近年来，语言模型对自然语言处理 (NLP) 产生了革命性影响。众所周知，扩展语言模型，例如参数等，可以在一系列下游 NLP 任务上带来更好的性能和样本效率。在许多情况下，扩展对性能的影响通常可以通过扩展定律进行预测，一直以来，绝大多数研究者都在研究可预测现象。

相反，包括 Jeff Dean 、 Percy Liang 等在内的 16 位研究者合作的论文《 Emergent Abilities of Large Language Models 》，他们讨论了大模型不可预测现象，并称之为大型语言模型的突现能力（ emergent abilities）。所谓的突现，即有些现象不存在于较小的模型中但存在于较大的模型中，他们认为模型的这种能力是突现的。

突现作为一种想法已经在物理学、生物学和计算机科学等领域讨论了很长时间，本论文从突现的一般定义开始，该定义改编自 Steinhardt 的研究，并植根于 1972 年诺贝尔奖获得者、物理学家 Philip Anderson 的一篇名为 More Is Different 的文章。

本文探讨了模型规模的突现，通过训练计算和模型参数来衡量。具体而言，本文将大型语言模型的突现能力定义为在小规模模型中不存在、但在大规模模型中存在的能力；因此，大型模型不能通过简单地推断小规模模型的性能改进来进行预测。该研究调查了在一系列先前工作中观察到的模型突现能力，并将它们进行分类：小样本提示和增强提示等设置。

模型的这种突现能力激发了未来的研究，即为什么会获得这些能力，以及更大的规模是否会获得更多的突现能力，并强调了这项研究的重要性。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文地址：https://arxiv.org/pdf/2206.07682.pdf

小样本提示任务

本文首先讨论了提示范式中的突现能力。例如在 GPT-3 提示中，给出预训练语言模型任务提示，模型无需进一步训练或对参数进行梯度更新即可完成响应。此外，Brown 等人提出了小样本提示，他们将模型上下文（输入）中的一些输入输出示例作为提示（preamble），然后要求模型执行未见过的推理任务。图 1 为一个提示示例。

当模型具有随机性能且具有一定规模时，通过小样本提示就可以执行任务，这时突现能力就会出现，之后模型性能远远高于随机性能。下图展示了 5 个语言模型系列（LaMDA、GPT-3、Gopher、Chinchilla 以及 PaLM  ）的 8 种突现能力。

BIG-Bench：图 2A-D 描述了来自 BIG-Bench 的四个突现小样本提示任务，BIG-Bench 是一个由 200 多个语言模型评估基准的套件。图 2A 显示了一个算术基准，它测试了 3 位数字的加减法，以及 2 位数字的乘法。表 1 给出了 BIG-Bench 更多突现能力。

增强提示策略

目前来看，尽管小样本提示是与大型语言模型交互的最常见方式，但最近的工作已经提出了其他几种提示和微调策略，以进一步增强语言模型的能力。如果一项技术在应用到一个足够大的模型之前没有显示出改进或者是有害的，本文也认为该技术也是一种突现能力。

多步推理（Multi-step reasoning）：对于语言模型和 NLP 模型来说，推理任务，尤其是那些涉及多步推理的任务一直是一个很大的挑战。最近有一种名为思维链（chain-of-thought）提示策略，通过引导语言模型在给出最终答案之前生成一系列中间步骤，从而使它们能够解决这类问题。如图 3A 所示，当扩展到 1023 次训练 FLOP(~ 100B 参数)时，思维链提示只超过了没有中间步骤的标准提示。

指令（ Instruction following ）：如图 3B 所示，Wei 等人发现，当训练 FLOP 为 7 · 10^21  （8B 参数）或更小时，指令微调（instruction-finetuning）技术会损害模型性能，在将训练 FLOP 扩展到 10^23 （~100B 参数）时才能提高性能。

程序执行（ Program execution ）：如图 3C 所示，在 8 位加法的域内评估中，使用暂存器仅有助于 ∼9 · 10^19 个训练 FLOP（40M 参数）或更大的模型。图 3D 显示这些模型也可以泛化到域外 9 位加法，它出现在 ∼1.3 · 10^20 个训练 FLOPs（100M 参数）。

本文讨论了语言模型的突现能力，到目前为止，仅在一定的计算规模上才能观察到有意义的性能。模型的这种突现能力可以跨越各种语言模型、任务类型和实验场景。这种突现的存在意味着额外的规模扩展可以进一步扩大语言模型的能力范围。这种能力是最近发现的语言模型扩展的结果，关于它们是如何出现的，以及更多的扩展是否会带来更多的突现能力，可能是NLP领域未来重要的研究方向。

更多内容，请参考原论文。​

# ai  # nlp  # gpt-3  # https  # gpt  # palm  # 如图  # 所示  # 在一  # 更大  # 提出了  # 等人  # 是否会  # 扩展到  # 诺贝尔奖  # 是一个 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 网络优化91478 】 【 技术知识72672 】 【 云计算0 】 【 GEO优化84317 】 【 优选文章0 】 【 营销推广36048 】 【 网络运营41350 】 【 案例网站102563 】 【 AI智能45237 】

相关推荐： 豆包AI怎么优化年终总结语言_豆包AI文案润色与正式语气调整【指南】  动漫肌肉美学：盘点最佳动漫肌肉男体格  Google Gemini 处理结构化 XML 数据转换教程  Filmora 13 AI音乐生成器：创意视频配乐新纪元  Notion AI整理笔记怎么用_Notion AI整理笔记使用方法详细指南【教程】  AI音频增强和视频背景替换终极指南  批改网AI检测工具如何对接学校系统_批改网AI检测工具系统对接与数据同步【步骤】  百度AI搜索能否查实时新闻_百度AI搜索新闻频道与更新频率【方法】  智能合约简明教程：概念、应用与未来趋势  AI赋能QA：测试管理的未来趋势与实践  AI赋能招聘：高级策略助你领先猎头行业  Gemini怎么用新功能实时问答_Gemini实时问答使用【步骤】  AI简历泛滥：虚假技能与企业衰落的深度剖析  解锁生成式AI工程师之路：技能、职业发展与未来趋势  艺龙旅行AI怎样筛选最优车次_艺龙AI车次筛选与耗时最短推荐【攻略】  豆包AI的发现页面有什么功能_探索热门智能体与话题  ChatGPT怎样一键生成PPT_ChatGPT生成PPT方法【步骤】  AI赋能音频转录：SovereignAudio自托管解决方案  Weavernote：AI驱动的知识管理与高效笔记应用  恐怖游戏惊魂：虚拟主播带你逃离病娇女孩的魔爪  百度输入法ai模式怎么关 百度输入法恢复普通模式  AI视频生成器完全指南：免费工具、教程及最佳实践  啦啦队女孩：青春活力与性感魅力的完美结合  AI人像摄影新纪元：Gemini AI助力照片编辑  AI末日预言？智能聊天机器人真的能替代信仰吗？  如何用AI帮你分析用户评论？3步挖掘用户真实需求  Beats to Rap On AI Stem Splitter：终极音乐创作工具  打破传统，拥抱幸福：公主如何找到真我？  SmartEbook AI：下一代电子书创作工具，轻松实现被动收入  AI 3D建模革命：免费生成高质量模型和纹理  百度ai助手怎么取消 百度ai助手取消显示设置  百度输入法ai组件怎么删除 百度输入法ai组件移除工具  AI心理测试生成工具有哪些_一键生成趣味测评的AI工具推荐  Descript vs. Wisecut：AI视频编辑工具深度测评与最佳选择  教你用AI把照片变成动漫风格，3个简单步骤刷爆朋友圈  豆包Ai官方网页版入口地址_豆包Ai官网在线使用入口  Claude怎么用新功能故事创作_Claude故事创作使用【方法】  AI赋能副业：五大掘金机会，轻松开启智能创收时代  如何用AI一键生成求职简历？AI简历优化与制作工具推荐【干货】  掌握这几个AI提问技巧，帮你出个性化的求职信  即梦ai怎样生成插画作品_即梦ai插画生成入口与风格选择【教程】  如何利用 DeepSeek 进行多轮复杂对话的状态管理  Xcode 26 Beta 新功能：集成 ChatGPT 代码助手全面测评  淋巴按摩终极指南：在家打造紧致透亮肌肤  Midjourney怎样加元素词丰富画面_Midjourney元素词技巧【方法】  Depseek怎么设置总结汇报重点_Depseek重点突出与关键词标注方法【步骤】  稿定设计AI抠图怎样调整透明度_稿定设计AI透明度滑块与渐变设置【攻略】  智谱AI绘画怎么用_智谱AI绘画使用方法详细指南【教程】  Wix AI：无需代码免费创建专业网站完整指南  1-11月30万元以上插电混动车型销量榜：问界双车前二 

 2023-04-14