迭代提示引导：高级提示工程案例研究

提示工程（Prompt Engineering, PE）已迅速发展成为在不同领域中利用大型语言模型的强大技术。在本案例研究中，我们探索了一种名为迭代提示引导（Iterative Prompt Priming）的高级 PE 应用，这一方法源自一篇生成专家指标系统（Generative Expert Metric System, GEMS）的研究，旨在解决团队绩效改进和专家匹配的复杂问题，但该 PE 方法展示了迭代提示的过程和方法。

迭代提示引导是一种通过将信息生成过程分解为多个阶段来最大化 LLM 效果的技术。每个阶段旨在逐步引导模型，通过特定的上下文进行提示来优化其响应，从而确保最终输出准确且符合预期目标。在 GEMS 系统中，这种方法用于识别合适的指标和团队，以解决特定的软件工程挑战。

这一过程包含三个不同的阶段，每个阶段都有助于为模型构建丰富的知识背景，以有效运作：

阶段 1：专家信息提取

第一步是提示 LLM 生成关于领域专家的深入知识，而不直接暴露最终目标。在此阶段，LLM 被要求提供专家的传记，讨论重要的出版物，并总结这些工作的见解。通过为模型提供专家背景和贡献的详细信息，它可以建立坚实的知识基础。这一阶段类似于人类专家在解决问题前回忆其领域特定经验，确保生成的知识具有上下文相关性。

          示例提示
你正在与{{专家}}在{{专家领域}}进行咨询。{{专家}}是谁呢？请为我提供这位专家的简历。接着，和{{专家}}讨论以下问题以及更多关于{{专家}}的信息：

- {{专家}}曾写过哪些重要的出版物和文章？
- 这些出版物和文章中的洞见是什么？

这个描述应该非常详尽，涵盖所有关于{{专家}}工作的重要方面。对于每一项贡献，都应该有一个独立的段落来描述其贡献及相关的洞见。

阶段 2：目标暴露与知识筛选

在第二阶段，目标会被间接暴露，以防止模型生成不切实际或过于简单的建议。提示要求 LLM 根据第一阶段提取的专业知识，识别在实现特定团队目标时需要考虑的重要元素。这种选择性暴露允许 LLM 通过专注于与上下文相关的元素来优化其生成的知识，类似于顾问在解决特定业务问题时过滤掉不相关信息的方式。

          示例提示 
在与{{专家}}的咨询过程中，您现在的任务是为{{teamX}}团队{{goal}}。基于{{专家}}的专业知识，您认为在为{{teamX}}团队{{goal}}时应该考虑哪些重要因素？请列出至少{{num_of_tools}}个要素。

阶段 3：指标设计与实施指导

最后阶段涉及将第二阶段选定的知识转化为具体、可操作的指标。模型会被给予有关可用数据的附加信息，包括数据库结构和相关表的描述，随后被要求开发可用于衡量讨论中元素的指标。这种方法强调精确性和实用性，鼓励模型提供直接可操作和量化的输出。生成的指标被用作评估团队绩效并识别改进区域的代理。

          示例提示
这些要素确实很有道理。现在，我们需要考虑手头的数据。{{db_description}}。您可以使用表名，结合常识推断出数据库中可能存储的合理列名。以下是提供的表名列表：{{db_tables}}。基于之前的咨询，您可以与{{专家}}讨论，找到合理的指标来衡量您列出的这些要素。

对于每个要素，您应尝试提出相互独立的指标，用于衡量这些要素。请记住，如果我们不能使用数据库中的数据计算出一个好的指标作为代理，{{专家}}的洞见将无法发挥实际作用。

迭代提示引导相较于传统的直接提示方法具有几个显著优势。它通过逐步构建模型的上下文理解，带来了以下好处：

提高的特异性：通过逐步暴露信息，模型能够生成更具特异性和相关性的指标，基于专家提供的理论见解。
复杂问题解决：这种技术帮助将复杂任务分解为可管理的组件，使 LLM 更容易应对复杂的现实世界挑战。
类人推理：迭代提示的性质与人类的推理过程高度契合，人类通常先对问题进行整体理解，然后再集中精力解决细节问题。

迭代提示引导展示了 LLM 如何在决策过程中充当协助者的角色。通过结合专家级提示与迭代引导，GEMS 能够开发出反映领域集体专业知识的细致指标，就像有经验的人类顾问一样。这一应用强调了有效提示工程在最大化 LLM 能力方面的重要性，特别是在知识综合、指标设计和复杂决策等领域。