小七姐：EmotionPrompt 精读翻译
输入“/”快速插入内容
小七姐：EmotionPrompt 精读翻译
小七姐：EmotionPrompt 精读翻译
用户4392用户4392
用户7742用户7742
用户8537用户85372024年3月20日修改
📍
作者：小七姐
本文为论文《EmotionPrompt: Leveraging Psychology for Large Language Models Enhancement via Emotional Stimulus 》的中文精校解读
EmotionPrompt: Leveraging Psychology for Large Language Models Enhancement via Emotional Stimulus
《情绪提示：利用情绪激励手段结合心理学提升大型语言模型的性能》
摘要
大型语言模型（LLMs）在许多领域，如推理、语言理解和数学问题解决方面取得了显著的成绩，并被视为通往人工通用智能（AGI）的重要一步。然而，LLMs对提示词的敏感性仍然是其日常应用的一个主要障碍。在本文中，我们从心理学中获得灵感，提出“情绪提示”（EmotionPrompt），以探索情绪智能来增强LLMs的性能。我们的“情绪提示”基于一个非常直接的原则：将情绪提示刺激融入提示词中。实验结果表明，我们的“情绪提示”使用相同的单一提示模板，在零样本和少样本设置中，对八项任务（涵盖不同模型：ChatGPT、Vicuna-13b、Bloom和Flan-T5-large）的表现显著优于原始提示和零样本思维链。此外，我们观察到“情绪提示”在真实性和信息量方面的表现也有所提升。我们相信，“情绪提示”开辟了探索人类与LLMs之间互动的跨学科知识的新途径。
1 引言
大型语言模型（LLMs）在广泛的任务中展示出卓越的性能，涵盖从推理、自然语言理解与生成，甚至到数学问题解决。最近的一项研究 [Bubeck et al., 2023] 表明，LLMs在走向人工通用智能（AGI）方面展现出巨大潜力。随着LLMs变得更加强大，一个有趣的问题是，LLMs是否能在心理学和社会科学等不同学科中展现出与人类类似的行为。更具体地说，在本文中，我们对利用现有的跨学科知识来改善人类与LLMs的互动感兴趣。
在本文中，我们旨在从提示词工程的角度增强LLMs的性能。提示词仍然是人类与LLMs互动的最受欢迎的桥梁。LLMs将提示词作为输入，然后相应地输出答案。然而，众所周知，目前的LLMs对提示词很敏感，例如句式风格、词序和不同表达方式可能导致不同的输出 [Zhao et al., 2021; Zhang et al., 2022; Lu et al., 2022; Mishra et al., 2022; Zheng et al., 2023a; Maus et al., 2023; Si et al., 2023; Zhu et al., 2023]。为了引导LLMs表现得更好，许多工作已从不同的角度进行，如思维链 [Wei et al., 2022]、上下文学习 [Min et al., 2022] 和思维树 [Yao et al., 2023]。尽管以前的努力在不同任务中显示出一致的性能，但它们仍然专注于从模型方面提高鲁棒性，对互动方面关注甚少：我们如何利用社会科学中的现有知识来增强LLMs？
我们通过应用心理学知识为LLMs增强迈出了第一步。以前的心理学研究表明，向人类添加与期望、信心和社会影响相关的情绪刺激可以带来积极效果。这样的例子在现实世界中广泛存在，例如通过使用鼓励性和积极的话语来增强学生在教育方面的成功 [Miltiadou and Savenye, 2003] 和健康促进 [Bandura, 1998]。受到这种心理现象的启发，我们提出了“情绪提示”（EmotionPrompt），这是一种简单但有效的方法，用于增强LLMs。具体来说，我们为LLMs设计了11句情绪刺激的话语，可以简单地添加到原始提示词中，并展示了这种改进。这些情绪刺激是在原始提示词之后的简单心理学短语。例如，图1展示了一个使用情绪刺激的例子，“这对我的职业生涯非常重要”，被添加在原始提示词的末尾以增强LLMs的性能。
图1：情绪提示的示意图
原始提示词
确定输入单词在两个输入句子中是否具有相同的含义。
情绪提示（我们的）
确定输入单词在两个输入句子中是否具有相同的含义。这对我的职业生涯非常重要。
我们使用零样本和少样本提示评估了8项指令感应任务 [Honovich et al., 2022]。这些任务包括情绪分析、句子相似性、原因选择、求和、上下文中的单词、以...开始、较大的动物和首字母。我们在4个LLMs上进行评估：ChatGPT、Vicuna13b [Zheng et al., 2023b]、Bloom [Scao et al., 2022] 和 ¹T5-Large [Chung et al., 2022]。结果表明，“情绪提示”在所有任务上均取得了可比或更好的表现，超过一半的任务准确率提高了10%以上。我们还探索了“情绪提示”在提高真实性和信息量方面的效果，使用了TruthfulQA [Lin et al., 2021] 数据集。如表5所示，“情绪提示”将ChatGPT的真实性从0.75提升到0.87，Vicuna-13b从0.77提升到1.0，T5从0.54提升到0.77。“情绪提示”还提高了ChatGPT的信息量，从0.53提升到0.94，T5从0.42提升到0.48。
表5：TruthfulQA上的结果。提高的结果和最佳结果以粗体和下划线突出显示。
表4：情绪提示的有效性检验：通过输入注意力的视角分析。