大模型时代如何捕捉不良内容？欧盟法案要求AI公司确保用户知情权

---

在过去的 10 年里，大型科技公司在许多技术上变得非常擅长：语言、预测、个性化、存档、文本解析和数据处理。但它们在捕捉、标记和删除有害内容方面仍然十分糟糕。对于在美国传播的选举和疫苗阴谋论，只需回顾过去两年的事件，就能了解它们对现实世界造成的危害。

这种差异引发了一些问题。为什么科技公司在内容审核方面没有改进？他们可以被迫这么做吗？人工智能的新进展会提高我们捕捉不良信息的能力吗？

大多数情况下，当科技公司被美国国会要求对传播仇恨和错误信息做出解释时，它们往往会把自己失败的原因归咎于语言本身的复杂性。高管们表示，在不同语言和背景下理解和防止上下文相关的仇恨言论是一项难度很大的任务。

马克·扎克伯格（Mark Zuckerberg）最喜欢说的一句话是，科技公司不应该承担解决世界上所有政治问题的责任。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

（来源：STEPHANIE ARNETT/MITTR | GETTY IMAGES）

大多数公司目前同时使用技术和人工内容审核员，后者的工作被低估了，这反映在他们微薄的薪酬上。

例如，在 Facebook 上删除的所有内容中，人工智能目前负责了 97%。

然而，斯坦福互联网观测站的研究经理蕾妮·迪雷斯塔（Renee DiResta）说，人工智能并不擅长解释细微差别和背景，所以它不可能完全取代人类内容审查员，即使人类也不总是擅长解释这些事情。

由于自动内容审核系统通常是根据英文数据进行训练的，因此文化背景和语言也会带来挑战，难以有效处理其他语言的内容。

哈尼·法里德教授于加州大学伯克利分校信息学院提供了一个更为明显的解释。据法里德所言，由于内容审核不符合科技公司的经济利益，因此它没有跟上风险的发展。这一切都与贪婪有关。别再假装这不是钱的问题了。”

由于联邦监管的缺失，网络暴力的受害者很难要求平台承担经济责任。

内容审核似乎是科技公司和不良行为者之间一场永无止境的战争。当科技公司推出内容监管规则时，不良行为者通常会使用表情符号或故意拼写错误来避免被检测。然后这些公司试图堵住漏洞，人们再寻找新的漏洞，如此循环往复。

现在，大型语言模型来了......

现在的处境已经很难了。随着生成式人工智能和ChatGPT等大型语言模型的出现，情况可能会更加恶劣。生成式技术也有问题——比如，它倾向于自信地编造一些事情，并把它们作为事实呈现出来——但有一点是明确的：人工智能在语言方面越来越强大了，非常强大。

虽然迪雷斯塔和法里德都很谨慎，但他们认为现在还为时过早去做出对事情如何发展的判断。尽管许多像 GPT-4 和 Bard 这样的大模型都有内置的内容审核过滤器，但它们仍然可能产生有毒的输出，比如仇恨言论或如何制造炸弹的指令。

生成式人工智能可使坏人在更大规模和更快速度上进行虚假信息欺骗活动。考虑到人工智能生成内容的识别和标记方法严重不足，这个情况非常可怕。

另一方面，最新的大型语言模型在文本解释方面比之前的人工智能系统要表现得更出色。理论上，它们可以用来促进自动内容审核的发展。

科技公司需要投资重新设计大型语言模型，以实现这一特定目标。尽管微软等公司已开始研究此事，但尚未出现引人注目的活动。

法里德表示：“尽管我们已经看到了许多技术进步，但我对内容审核方面的任何改进都持怀疑态度。”

尽管大型语言模型发展迅速，但它们依然面临上下文理解方面的挑战，这可能导致它们无法像人类审核员那样准确地理解帖子和图像之间的微小差别。跨文化的可扩展性和特殊性也带来了问题。“你会针对特定类型的小众市场部署一种模型吗？是按国家划分的吗？是按社区来做的吗？这不是一个放之四海而皆准的问题，”迪雷斯塔说。

基于新技术的新工具

生成式人工智能最终对在线信息领域是有害还是有益，可能在很大程度上取决于科技公司能否拿出好的、被广泛采用的工具来告诉我们内容是否是由人工智能生成的。

迪雷斯塔告诉我说，检测合成介质可能是需要优先考虑的一项技术挑战，因为这很有挑战性。这包括像数字水印这样的方法，它指的是嵌入一段代码，作为一种永久性的标记，表明附加的内容是由人工智能制作的。用于检测人工智能生成或操纵的帖子的自动化工具很有吸引力，因为与水印不同，它们不需要人工智能生成内容的创建者主动标记。换句话说，目前尝试识别机器生成内容的工具的表现还不够出色。

一些公司甚至提出了使用数学来安全地记录信息的加密签名，比如一段内容是如何产生的，但这将依赖于像水印这样的自愿披露技术。

欧盟上周刚刚提出的最新版《人工智能法案》（AI Act）要求，使用生成式人工智能的公司要在内容确实是由机器生成时通知用户。在未来几个月，我们可能会听到更多有关新兴工具的消息，因为对人工智能生成内容透明度的需求正在增加。

支持：Ren

原文：

https：//www.technologyreview.com/2025/05/15/1073019/catching-bad-content-in-the-age-of-ai/

# 大模型  # chatgpt  # 是由  # 雷斯  # 里德  # 很难  # 很有  # 来安  # 美国国会  # 斯坦福  # 不良行为  # 是一个 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 网络优化91478 】 【 技术知识72672 】 【 云计算0 】 【 GEO优化84317 】 【 优选文章0 】 【 营销推广36048 】 【 网络运营41350 】 【 案例网站102563 】 【 AI智能45237 】

相关推荐： DeepSeek AI：AI通用谜题解题器，解题思路全解析  lovemo手机网页版入口 lovemo官网登录网址  通义千问网页版怎么清历史_通义千问历史清理方法【方法】  使用ChatGPT快速生成专辑封面：AI艺术创作指南  智行ai抢票如何查看抢票进度_智行ai抢票进度查询与状态解读【实操】  lumen5怎样从新闻稿生成社交视频_Lumen5新闻稿转社交视频步骤【社媒】  ChatGPT官方网页端入口 ChatGPT官网快速登录方法  Kling AI 2.5 Turbo：视频生成领域的颠覆者，深度评测与对比  使用AI简化多机位播客视频编辑：Eddie AI全面指南  Decart Lucy 14B：颠覆AI视频生成领域的革命性模型  11月问界汽车哪里卖的多？成都力压北上广深位居第一  掌握写作技巧：小说情节设计的核心要素解析  钉钉ai划词工具怎么使用划词查词_钉钉ai划词工具查词入口与释义查看【指南】  Midjourney怎样加参数调细节_Midjourney参数调整技巧【指南】  AI客服工具：24/7全天候支持业务增长的秘密武器  P&ID图完全解析：符号、应用及绘制指南  Xcode 26 Beta 新功能：集成 ChatGPT 代码助手全面测评  Mermaid Playground: AI驱动的图表秒速创建指南  批改网AI检测工具怎么生成评分报告_批改网AI检测工具报告生成与维度解读【指南】  利用豆包 AI 进行个性化旅行 Vlog 脚本设计  ATS优化：Euron ResumeAI打造高效求职简历  扣子AI能否连接企业微信_扣子AI企业微信对接与接口配置【攻略】  教你用AI帮你写出有说服力的众筹项目文案  Google Gemini 在跨境电商选品分析中的实战  5分钟教你用AI生成短视频分镜脚本，小白也能拍大片  3步教你用AI将你的博客文章改编成引人入胜的播客脚本  XRAI Glass：AI赋能的增强现实眼镜，对话新体验  AI时代生存指南：掌握软实力，成为不可替代的人  如何用AI帮你把小说改编成电影剧本？3步掌握核心技巧  普通人如何用豆包AI月入过万？2026最新内容创作变现全攻略！  AI网站构建指南：Duda平台免费创建教程  如何在 Google Sheets 中利用 Gemini 自动填充数据  百度AI搜索怎么用语音提问_百度AI搜索语音输入与识别优化【指南】  AI怎么修复模糊视频 视频画质增强AI软件Topaz Video使用【教程】  DeepSeek分析Excel怎么用_DeepSeek分析Excel使用方法详细指南【教程】  VideoGen教程：AI视频生成器，无需拍摄快速制作视频  Shopify着陆页：用AI工具快速提升营销效果  豆包Ai在线使用入口_豆包Ai官方网站最新登录地址  Excel Copilot：AI驱动的强大新功能与实用案例解析  OpenArt：终极AI内容创作平台，图像、视频和角色一致性  如何使用豆包 AI 练习托福雅思口语对练  在线歌曲歌词生成器：创意歌词轻松创作指南  kimi生成ppt怎么编辑文字_kimi编辑文字后怎么保存  稿定设计AI抠图怎么修复瑕疵_稿定设计AI瑕疵修复与手动微调【步骤】  使用 Claude 4 和 n8n 实现 AI 工作流自动化  AI猴子视频制作终极指南：从入门到网红，轻松上手！  豆包 AI 辅助进行初级绘本创作的剧情构思  唇语解读的界限：名人的隐私与公众的好奇心  Gamma做年终总结PPT怎么用_Gamma做年终总结PPT使用方法详细指南【教程】  AI Agent：颠覆传统工作模式的关键力量 

 2023-05-27