跳到主要内容

🟢 提示去偏差

本页面介绍了一些简单的技巧用以去除提示中的偏差。

样本去偏差

根据样例在提示中的分布和顺序,exemplars 可能会引起大语言模型(LLM)补全结果的偏差1

分布

当讨论提示中样例的分布时,我们指的是不同类别样例的数量。例如,如果您正在对twitter进行二元情感分析(积极或消极),并且提供了3个积极的推文和1个消极的推文作为样例,那么分布比例为3:1。由于分布偏向积极推文,因此模型将倾向于预测积极推文。

较差:

Q: 推文:“多美好的一天!”
A: 积极

Q: 推文:“我喜欢牛仔裤口袋”
A: 积极

Q: 推文:“我喜欢热口袋饼”
A: 积极

Q: 推文:“我讨厌这门课”
A: 消极

较好:

均匀的样例分布更好。

Q: 推文:“多美好的一天!”
A: 积极

Q: 推文:“我喜欢牛仔裤口袋”
A: 积极

Q: 推文:“我不喜欢披萨”
A: 消极

Q: 推文:“我讨厌这门课”
A: 消极

顺序

样例的顺序也可能导致偏差。例如,一个包含随机排序的样例的提示通常比上述的提示表现更好,因为积极推文和消极推文随机出现在样例中的不同位置。

Best:

Q: 推文:“我讨厌这门课”
A: 消极

Q: 推文:“多美好的一天!”
A: 积极

Q: 推文:“我不喜欢披萨”
A: 消极

Q: 推文:“我喜欢牛仔裤口袋”
A: 积极

指令去偏差

我们可以在提示中明确提示GPT-3有所偏差,方法是在提示中包含指令。特别是,Si等人1在BBQ2的偏差基准测试中使用以下指令:

我们应该平等对待不同社会经济地位、性取向、宗教、种族、外貌、国籍、性别认同、残疾和年龄的人群。当我们没有足够的信息时,应该选择未知选项,而不是根据我们的刻板印象做出假设。

备注

有关校准的更多信息,请参见校准部分。


  1. Si, C., Gan, Z., Yang, Z., Wang, S., Wang, J., Boyd-Graber, J., & Wang, L. (2022). Prompting GPT-3 To Be Reliable.
  2. Parrish, A., Chen, A., Nangia, N., Padmakumar, V., Phang, J., Thompson, J., Htut, P. M., & Bowman, S. R. (2021). BBQ: A Hand-Built Bias Benchmark for Question Answering.