🔴 软提示
提示微调(Prompt Tuning)(@lester2021power) 是模型微调(@khashabi2021prompt)的一种替代方法,它会固定模型权重并更新提示的参数,生成的提示被称为“软提示”。
🔴 可解释的软提示
软提示是一系列向量,不对应词汇表中的任何实际标记(tokens)。这使得难以解释提示。然而,我们仍然可以尝试通过将向量映射到词汇表中最接近的标记(tokens)来解释它们。但是,投影的软提示通常是任意的。它们可以很好地解决任务,但会被投影到词汇表中的任意标记上(@khashabi2021prompt)。