首页 > 营销学院 > AI智能

斯坦福和OpenAI提出meta-prompting，最强零样本prompting技术诞生了

最新一代语言模型（如GPT-4、PaLM和LLaMa）在自然语言处理和生成方面取得了重要的突破。这些大规模模型能够应对各种任务，从创作莎士比亚风格的十四行诗到概括复杂的医疗报告，甚至解决竞赛级的编程问题。虽然这些模型能够解决多样化的问题，但并非始终正确。有时候它们可能会生成不准确、误导性或矛盾的响应结果。因此，在使用这些模型时，仍然需要谨慎评估和验证其输出的准确性和可靠性。

随着模型运行成本的下降，人们开始考虑使用脚手架系统和多语言模型查询来提高模型输出的准确度和稳定性。这种方法可以优化模型的性能，并为用户提供更好的体验。

斯坦福和 OpenAI 的这项研究提出了一种可用于提升语言模型的功能和性能的新技术，称为 meta-prompting。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文标题：Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding
论文地址：https://arxiv.org/abs/2401.12954
项目地址：https://github.com/suzgunmirac/meta-prompting

这种技术涉及构建一个高层级的「元」 prompt，其作用是指示语言模型做到以下几点：

1. 将复杂的任务或问题分解成更小的容易解决的子任务；

2. 使用适当且详细的自然语言指令将这些子任务分配给专业的「专家」模型；

3. 监督这些专家模型之间的通信；

4. 通过这个过程应用其自己的批判性思维、推理和验证技能。

对于可使用 meta-prompting 有效调用的语言模型，当对其进行查询时，该模型的作用是作为指挥员（conductor）。它会输出一组消息历史（或者称为叙述（narrative）），其由多个专家模型的响应构成。这个语言模型首先会负责生成消息历史中的指挥员部分，这其中包括专家的选取以及为它们构建特定的指令。但是，同一个语言模型本身也会作为独立专家，其会基于专业知识以及指挥员为每条具体查询选取的信息生成输出。

这种方法可让单个统一的语言模型维持连贯一致的推理路线，同时还可以利用各种不同的专家角色。通过动态地为 prompting 选择上下文，这些专家能为该过程引入全新的视角，同时指挥员模型还能保持对完整历史的鸟瞰视角并维持协调。

因此，这种方法能让单个黑箱语言模型既有效作为中心指挥员，同时又充当一系列不同专家，这样便可以得到更加准确、可靠和连贯一致的响应。

这里新提出的 meta-prompting 技术组合并扩展了近期研究提出的多种不同的 prompting 思想，包括高层级规划和决策、动态人设分配、多智能体辩论、自我调试和自我反思。

meta-prompting 的一个关键方面是其具有一个性质：不受具体任务影响。

传统的脚手架方法需要针对每个任务调整具体的指令或示例，而 meta-prompting 则不同，其在多种任务和输入上都采用了同一套高层级指令。对怕麻烦的用户来说，这种通用性尤其有益，因为这样就不必为每个具体任务提供详细的示例或具体指示了。

举个例子，对于「写一首关于自拍的莎士比亚式十四行诗」这样的一次性请求，用户无需补充高质量的新古典主义诗歌示例。

meta-prompting 方法能提供一种广泛、灵活的框架，而又不会影响其特定性或相关性，从而可以提升语言模型的实用性。此外，为了展现 meta-prompting 方法的通用性和整合能力，该团队还对其系统进行了增强，使其可以调用 Python 解释器。如此一来，该技术就能支持更加动态和全面的应用，从而进一步提升其有效处理多种任务和查询的潜力。

图 2 展示了一个 meta-prompting 的会话流程示例。

其描绘了元模型（Meta Model，即指挥员模型）使用输入和来自多个不同的专业专家模型或代码执行的输出解读其自身输出的过程。这样的配置让 meta-prompting 成为了一个近乎通用的工具。其允许将多个语言模型的交互和计算聚合成单一且连贯的叙述。meta-prompting 的不同之处在于其让语言模型自己决定要使用哪些 prompt 或使用哪些代码段。

该团队使用 GPT-4 作为基础语言模型进行了全面的实验，比较了 meta-prompting 与其它无关任务型脚手架方法。

实验发现，meta-prompting 不仅能提升整体性能，而且在多个不同任务上也往往能实现新的最佳结果。其灵活性尤其值得称道：指挥员模型有能力调用专家模型（基本上就是其本身，只是指令不一样）执行多种不同的功能。这些功能可能包括点评之前的输出、为特定任务选取特定 AI 人设、优化生成的内容、确保最终输出在实质和形式上都满足所需标准。

如图 1 所示，相比之前的多种方法，新方法的提升很明显。

meta-prompting

直觉知识和抽象概述。meta-prompting 的工作方法是使用一个模型来协调和执行多个独立查询，然后将它们的响应综合起来，进而渲染得到一个最终响应。从原理上讲，该机制采用了一种集成方法，即借用独立专业模型的力量和多样性来协作解决和处理涉及多方面的任务或问题。

meta-prompting 策略的核心是其浅层的结构，其中使用一个单一模型（称为元模型）作为权威的主实体。

这种 prompting 结构类似于管弦乐队，其中指挥家的角色就由元模型充当，每位音乐演奏者都对应一个不同的特定领域的模型。正如指挥家可以让多种乐器协调弹奏出和谐的旋律一样，元模型也可以将多个模型的解答和见解组合起来，为复杂的问题或任务给出准确且全面的解答。

从概念上讲，在这个框架内，特定领域的专家可以有多种多样的形式，比如针对特定任务微调过的语言模型、用于处理特定类型查询的专用 API，甚至还可以是计算器这样的计算工具或用于执行代码的 Python 解释器等代码工具。这些功能各异的专家都在元模型的监督下接受指示和统一，无法直接相互互动或交流。

Algorithmic Procedure. 算法 1 给出了新提出的 meta-prompting 方法的伪代码。

简单总结一下，首先是对输入执行变换，使其符合适当的模板；然后执行以下循环：(a) 向元模型提交 prompt，(b) 如有需要，使用特定领域的专家模型，(c) 返回最终响应，(d) 处理错误。

需要指出，该团队在实验中采用的元模型和专家模型都是 GPT-4。它们的角色差异是由各自收到的指令确定的；其中元模型遵循图 3 提供的一组指令，而专家模型则遵从元模型在推理时间动态确定的指令。

实验设置

基准

该团队比较了 meta-prompting 与以下 prompting 方法的无关任务型零样本式版本：

标准 prompting
零样本思维链 prompting
专家 prompting
多人设 prompting

数据集和任务

该团队在实验中采用了多种任务和数据集，它们需要多种不同能力，比如数学和算法推理、特定领域知识和文学创造力。这些数据集和任务包括：

Game of 24：目标是使用四个给定数值（每个只能使用一次）构建一个结果为 24 的算术表达式。
三个 BIG-Bench Hard（BBH）任务：Geometric Shapes、MultiStep Arithmetic Two 和 Word Sorting；另外还有一个直接从 BIG-Bench 套件获取的推理任务 Checkmate-in-One。
Python Programming Puzzles（P3），即 Python 编程题，包含多个难度。
Multilingual Grade School Math，即多语言小学数学，这是 GSM8K 数据集的一个多语言版本，包含孟加拉语、日语和斯瓦希里语等语言。
Shakespearean Sonnet Writing，即莎士比亚式十四行诗写作，这是该团队创建的一个新任务，目标是写出按「ABAB CDCD EFEF GG」严格押韵的十四行诗，其中应一词不差地包含所提供的三个词。

答案提取和评估协议

如图 3 所示，对于新提出的 meta-prompting 方法，系统指令会鼓励元模型以特定格式给出最终答案。

至于评估，则会根据任务的性质和形式，采用以下三个指标之一：