作者与单位:Qinyuan Ye, Maxamed Axmed, Reid Pryzant, Fereshte Khani; University of Southern California ,Microsoft
来源:ACL
发表时间:2024
背景

APE
LANGUAGE MODELS ARE HUMAN-LEVEL PROMPT ENGINEERS
该方法将自动生成提示视为黑盒优化问题。根据内容生成候选提示,利用评分函数进行评分,选择得分最高的提示。

ProTeGi (APO)

PE2

meta-prompt组件


实验结果

1.PE2方法 在多个语言任务上超越了现有的自动提示工程基准方法,包括 Iterative APE 和 APO。
2.PE2在反事实任务和生产提示优化方面上表现尤为有效
3.PE2相比与APO和APE能生成更具有针对性和高质量的提示
核心内容总结:
使用APE方法生成初始prompt,利用APO(ProTeGi)方法进行prompt优化,为优化过程中的meta-prompt添加三个关键组件:两步任务描述、逐步推理模版、上下文规范
meta-prompt:使llm根据已有的prompt生成意义相近并且解决错误原因的新的prompt。