🟢 提示去偏差
本页面介绍了一些简单的技巧用以去除提示中的偏差。
样本去偏差
根据样例在提示中的分布和顺序，exemplars 可能会引起大语言模型（LLM）补全结果的偏差1。
分布
当讨论提示中样例的分布时，我们指的是不同类别样例的数量。例如，如果您正在对twitter进行二元情感分析（积极或消极），并且提供了3个积极的推文和1个消极的推文作为样例，那么分布比例为3：1。由于分布偏向积极推文，因此模型将倾向于预测积极推文。
较差:
Q: 推文：“多美好的一天！”
A: 积极
Q: 推文：“我喜欢牛仔裤口袋”
A: 积极
Q: 推文：“我喜欢热口袋饼”
A: 积极
Q: 推文：“我讨厌这门课”
A: 消极
较好:
均匀的样例分布更好。
Q: 推文：“多美好的一天！”
A: 积极
Q: 推文：“我喜欢牛仔裤口袋”
A: 积极
Q: 推文：“我不喜欢披萨”
A: 消极
Q: 推文：“我讨厌这门课”
A: 消极
顺序
样例的顺序也可能导致偏差。例如，一个包含随机排序的样例的提示通常比上述的提示表现更好，因为积极推文和消极推文随机出现在样例中的不同位置。
Best:
Q: 推文：“我讨厌这门课”
A: 消极
Q: 推文：“多美好的一天！”
A: 积极
Q: 推文：“我不喜欢披萨”
A: 消极
Q: 推文：“我喜欢牛仔裤口袋”
A: 积极
指令去偏差
我们可以在提示中明确提示GPT-3有所偏差，方法是在提示中包含指令。特别是，Si等人1在BBQ2的偏差基准测试中使用以下指令：
我们应该平等对待不同社会经济地位、性取向、宗教、种族、外貌、国籍、性别认同、残疾和年龄的人群。当我们没有足够的信息时，应该选择未知选项，而不是根据我们的刻板印象做出假设。
备注
有关校准的更多信息，请参见校准部分。