BPO：灵活的 Prompt 对齐优化技术

发布日期：2023/11/20 17:41:17      浏览量：

我们提出一种Prompt优化方案——黑盒提示对齐优化技术（Black-box Prompt Optimization），开源给大家。

这种方法有两个优点：

1）在用户的prompt送入模型之前，进行一次优化，显著提升模型推理能力。

2）可以适配任何模型。

如果正在部署模型，可以接入玩玩，看看效果。

如何与 LLM 进行高效交流。一种方案是，人向模型对齐。于是有了 「Prompt工程师」这一岗位，专门撰写适配 LLM 的 Prompt，从而让模型能够更好地生成内容。
而另一种更为有效的方案则是，让模型向人对齐。这也是大模型研究中非常重要的问题，无论是 GPT 还是 Claude，在对齐技术上花费大量的时间与精力。但，随着模型规模变大，基于训练的对齐技术也需要耗费更大量的资源。因此，我们提出另外的一种方案，即黑盒提示对齐优化技术（Black-box Prompt Optimization），通过优化用户指令，从输入角度对模型进行对齐。

这种方法可以在不对 LLM 进行训练的情况下，大幅提升与人类偏好的对齐程度。而且 BPO 可以被替换到各种模型上，包括开源模型和基于API的模型。

在 VicunaEval 上使用 GPT-4 进行自动评估，BPO 能够大幅提升 ChatGPT、Claude 等模型的人类偏好，并助力 llama2-13b 模型大幅超过 llama2-70b 的版本。

论文：https://arxiv.org/abs/2311.04155

代码：https://github.com/thu-coai/BPO

BPO 究竟对用户指令做了怎样的优化？

我们在论文的第五小节总结了BPO的一些常见优化策略，包括：推理解释、完善用户问题、要点提示以及安全增强。