AI好奇心，不只害死猫！MIT强化学习新算法，智能体这回「难易通吃」

---

​人人都遇见过一个古老的难题。

周五晚上，你正试图挑选一家餐厅吃饭，但没有预定。你应该去你最爱的那家人满为患的餐厅排队等位，还是尝试一家新餐厅，希望能发现一些更好吃的惊喜？

后者确实有可能带来惊喜，但这种好奇心驱动的行为是有风险的：你去尝试的那家新餐厅的东西可能会更难吃。

好奇心作为AI探索世界的驱动力，实例已经不胜枚举了——自主导航、机器人决策、优化检测结果等等。

在某些情况下，机器使用「强化学习」来完成一个目标，在这一过程中，AI智能体从被奖励的好行为和被惩罚的坏行为中反复学习。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

就像人类在选择餐厅时面临的困境一样，这些智能体也在努力平衡发现更好的行动（探索）的时间和采取过去导致高回报的行动（利用）的时间。

太强的好奇心会分散智能体的注意力，无法做出有利的决定，而好奇心太弱，则意味着智能体永远无法发现有利的决定。

为了追求使AI智能体具有「恰到好处」的好奇心，来自麻省理工学院计算机科学与AI实验室（CSAIL）的研究人员创造了一种算法，克服了AI过于「好奇」和被手头的任务分散注意力的问题。

他们研究出的算法会在需要时自动增加好奇心，如果智能体从环境中得到足够的监督，已经知道该怎么做，则降低好奇心。

论文链接：https://williamd4112.github.io/pubs/neurips22_eipo.pdf

经过60多个视频游戏的测试，该算法能够在不同难度的探索任务中取得成功，而以前的算法只能单独解决简单或困难难度。这意味着AI智能体可以使用更少的数据来学习决策规则，达到激励最大化。

「如果你很好地掌握了探索-开发之间权衡，就能更快地学习正确的决策规则，而任何不足之处都需要大量的数据，这可能意味着产生的结果是非最优的医疗方案，网站的利润下降，以及机器人没有学会做正确的事情。」

该研究带头人之一、麻省理工学院教授兼Improbable AI实验室主任Pulkit Agrawal说。​

好奇心，不只害死猫！

我们似乎很难从心理学角度解释好奇心的心理基础，对于这种寻求挑战的行为的潜在神经学原理，我们一直没有深入理解。

有了强化学习，这个过程在情感上被「修剪」了，将这个问题剥离至最基本的层面，但在技术实现上却相当复杂。

从本质上讲，智能体只应该在没有足够的监督来尝试不同的事情时才会有好奇心，如果有监督，它必须调整好奇心，降低好奇心。

在测试游戏任务中，很大一部分是小智能体在环境中跑来跑去寻找奖励，并执行一长串的行动来实现一些目标，这似乎是研究人员算法的逻辑测试平台。

在《马里奥赛车》和《蒙特祖玛的复仇》等游戏实验中，研究人员将上述游戏分为两个不同类别：

一种监督稀疏的环境，智能体获得的指导较少，也就是「困难」的探索游戏；另一种是监督更密集的环境，即「简单」的探索游戏。

假设在《马里奥赛车》中，只删除所有的奖励，你不知道什么时候敌人杀了你。当你收集一个硬币或跳过管道时，不会得到任何奖励。智能体只有在最后才被告知其表现如何。这就属于稀疏监督环境，也就是困难任务。在这种任务中，激励好奇心的算法表现非常好。

而如果智能体处于密集监督环境，也就是说，跳过管道、收集硬币和杀死敌人都有奖励，那么，表现最好的就是完全没有好奇心的算法，因为经常得到奖励，只要照着走流程就行了，不需要额外探索就能收获颇丰。

这里如果使用激励好奇心的算法，学习速度会很慢。

因为好奇心强的智能体，可能会试图以不同的方式快速奔跑，到处乱逛，走遍游戏的每一个角落。这些事情都很有趣，但并不能帮助智能体在游戏中取得成功，获得奖励。

如前文所言，在强化学习中，一般用激励好奇心和抑制好奇心的算法，来分别对应监督稀疏（困难）和监督密集（简单）任务，不能混用。

这一次，MIT团队的新算法始终表现良好，无论是在什么环境中。

未来的工作可能涉及回到多年来令心理学家高兴和困扰的探索：好奇心的适当衡量标准--没有人真正知道从数学上定义好奇心的正确方法。

MIT CSAIL博士生Zhang Weihong说：

通过改进探索算法，为你感兴趣的问题调整算法。我们需要好奇心来解决极具挑战性的问题，但在某些问题上，好奇心会降低性能。我们的算法消除了调整「探索和利用」的平衡负担问题。

以前要花一个星期来解决的问题，新算法可以在几个小时内就得到满意的结果。

他与麻省理工学院CSAIL工程硕士、22岁的Eric Chen是关于这项工作的新论文的共同作者。

卡内基梅隆大学的教师Deepak Pathak说：

「像好奇心这样的内在奖励机制，是引导智能体发现有用的多样化行为的基础，但这不应该以在给定的任务中做得好为代价。这是AI中的一个重要问题，这篇论文提供了一种平衡这种权衡的方法。看看这种方法如何从游戏扩展到现实世界的机器人智能体上，将是很有趣的一件事。」

加州大学伯克利分校心理学特聘教授和哲学副教授Alison Gopnik指出，当前AI和认知科学的最大挑战之一，就是如何平衡「探索和利用」，前者是对信息的搜索，后者是对奖励的搜索。

「这篇论文使用了令人印象深刻的新技术来自动完成这一工作，设计了一个能够系统地平衡对世界的好奇心和对奖励的渴望的智能体，让AI智能体朝着像真正的儿童一样聪明的方向，迈出了重要一步。」他说。

参考资料：

https://techxplore.com/news/2025-11-bad-ai-curious.html

https://www.csail.mit.edu/news/ensuring-ai-works-right-dose-curiosity

# ai  # github  # 算法  # https  # 麻省理工学院  # 马里奥  # 就能  # 但在  # 这篇  # 那家  # 跳过  # 这是  # 这一  # 如果你 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 网络优化91478 】 【 技术知识72672 】 【 云计算0 】 【 GEO优化84317 】 【 优选文章0 】 【 营销推广36048 】 【 网络运营41350 】 【 案例网站102563 】 【 AI智能45237 】

相关推荐： 通义千问怎样优化提示词合需求_通义千问需求契合技巧【步骤】  摆脱情歌魔咒：告别心碎，拥抱新生的情感之旅  OpenAI ChatGPT Agent：AI自主任务的未来  AI 驱动的潜在客户生成：终极自动化指南  通义千问怎么找新功能入口_通义千问新功能查找【攻略】  MAKA AI排版怎样设置动画效果_MAKA AI排版动画添加与参数调整【技巧】  ChatGPT 处理超长 PDF 文件的核心步骤  教你用AI把照片变成动漫风格，3个简单步骤刷爆朋友圈  轻松创建引人入胜短视频：Riverside.fm教程  百度ai助手工具栏怎么关 百度ai助手状态栏隐藏  kimi如何导出对话_导出对话内容方法【攻略】  AI驱动的潜在客户挖掘：15分钟搭建营销机构并获利  谷歌 Gemini AI 助手详解：功能、应用与隐私设置  宠物翻译App评测：与猫狗交流的未来科技？  解读诗歌中的女性视角：Shelley Puhak 的作品解析  AI项目管理软件如何利用自然语言处理？全面解析  OpenArt：终极AI内容创作平台，图像、视频和角色一致性  Semrush Summary Generator: 高效总结长篇文章的终极指南  千问怎么设置快捷指令_千问指令创建与一键调用【技巧】  Jasper AI的Recipes是什么 Jasper AI配方功能使用【详解】  Claude怎么用新功能代码调试_Claude代码调试使用【方法】  Canva AI 辅助 KDP 封面设计：轻松创建畅销书笔记本  AI语音生成指南：免费工具、变现实战与避坑策略  智行ai抢票能否跨站抢票_智行ai抢票跨站抢票开启与规则【教程】  如何用AI自动生成Python代码 AI编程助手ChatGPT使用方法【教程】  怎么用AI帮你为初创公司进行市场定位分析？  lovemo官网入口直达 lovemo网页版在线使用  YOU.com AI搜索引擎：Python代码示例及使用指南  支付宝出行AI能否自动抢票_支付宝AI出行抢票设置与免密支付【方法】  利用AI赋能教育：学习方式的未来之路  3步教你用AI将文字转换成语音，实现配音自由  Google AI Studio 中的提示词微调实验教程  Gemini怎么用新功能实时问答_Gemini实时问答使用【步骤】  乐高积木重现约拿的故事：圣经故事趣味解读  Midjourney怎样写风格化提示词_Midjourney风格提示词写法【教程】  数据迁移测试指南：策略、技术与挑战全解析  Gacha Club反应视频解析：探索热门角色和独特剧情  批改网ai检测工具如何导出检测报告_批改网ai检测工具报告导出格式【步骤】  AI伴侣：连接还是孤独？真实对话揭秘AI伦理困境  电脑硬件升级指南：旧电脑的回收利用与性能提升  Claude怎么用新功能故事创作_Claude故事创作使用【方法】  AI绘画工具怎么用_AI绘画工具使用方法详细指南【教程】  Guru知识管理平台：AI驱动的企业知识中心构建指南  AI海报设计终极指南：用ChatGPT和ImageFX轻松创建专业级海报  OpenAI Codex最强攻略：提升AI编码效率的秘诀  Claude怎么用新功能诗歌创作_Claude诗歌创作使用【方法】  豆包AI怎么做数据分析 豆包AI数据处理入门教程  AI Vibe Coding: 快速打造落地页，低代码平台实战教程  颠覆认知！《小丑回魂》幕后：用爆笑台词颠覆你的恐怖想象  利用 ChatGPT 进行高质量代码重构与优化 

 2023-04-13