什么时候该用CoT？ - 知乎
输入“/”快速插入内容
什么时候该用CoT？ - 知乎
什么时候该用CoT？ - 知乎
用户4392用户4392
用户278用户2781月12日修改
11064
⏰ 发表时间：2024-09-29
关键要点
•
CoT并不适合所有任务，不是一个普遍适用的方法
◦
CoT在涉及数学或逻辑的任务上有较大帮助
◦
其他类型任务上帮助甚微
•
CoT可能越来越"鸡肋"
◦
推理可分为分析与规划和执行两个步骤
◦
CoT对分析与规划帮助不大，对执行帮助较大
◦
数学和推理类任务，执行步骤有很多工具可以调用，且效果要好于CoT
基本信息介绍
•
论文名：To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning
•
提交日期：2024年9月18日
•
基本介绍：这篇论文分析了100多篇关于CoT的研究，并对14个模型运行了20个数据集，以分析CoT对何种任务有帮助
论文核心内容串讲
CoT是大模型早期就被验证可以提高效果的手段，大部分讲Prompt工程的课程，几乎都会介绍CoT的方式。因为其低成本和逻辑自洽，在很多任务上我们都容易直接使用CoT的方法，以预期提高LLM的效果。但这种方法是否真的有效？本篇论文的目标就是在回答该问题。
不同类型任务，效果不同
作者将不同任务进行了分类，进行分类评估。本论文最核心的内容，就是本节的两张图。
上图是关于CoT研究的元分析。纵轴是不同类型的任务，横轴是CoT对效果的贡献。像文本分类(Text classification)、语言学任务(Meta-linguistic)等，落点集中在中间和左侧，证明CoT没什么效果像数学(Math)、符号或算法类任务(Symbolic and algorithmic)，落点集中在右侧，证明CoT效果较好。