🐾
AI修猫：最新，LLM因果推理看这篇调查足够，凯斯西储大学重磅

用户8127

用户8537

2024年9月24日修改

🔗 原文链接： https://mp.weixin.qq.com/s/m1ONJNxM...

原创 AI修猫Prompt AI修猫Prompt 2024年09月23日 07:03 北京

本文：9500字阅读 26分钟

因果推理长期以来被视为人类智能的核心特征之一。它不仅涉及识别事物之间的关联，更重要的是理解事件发生的原因和结果。在医疗、金融、科学等众多高风险领域，因果推理都扮演着至关重要的角色。​

然而，随着这些模型在各个领域的广泛应用，一个根本性的问题逐渐浮出水面：这些模型是否真正理解因果关系？它们能否像人类一样进行复杂的因果推理？来自凯斯西储大学的独立研究者Jing Ma为我们带来了这份因果推理的调查，回顾了LLMs应用于因果推理的最新进展，涵盖了跨越不同因果关系层次的各种任务；总结了主要的因果问题和方法，并比较了它们在不同因果场景下的评估结果。​

common.docs_name - LarkCCM_Docs_Menu_Image

图片由修猫创作

本文将将详细剖析研究者的调查结果，探讨当前技术的局限性，并展望未来的发展方向。​

因果推理的基本概念

研究者开篇就提到，“与大多数经典统计研究不同，因果推理由于关注[因果关系而不是相关性]而提出了独特的挑战---”在深入探讨大语言模型的因果推理能力之前，我们需要先了解一些基本概念。​

结构因果模型(Structural Causal Model， SCM)

结构因果模型是描述系统中因果关系的常用模型。它由三个要素组成：​

- U：外生变量集合，其原因在系统之外

- V：内生变量集合，由U∪V中的变量决定

- F：一组函数，描述了变量间的因果关系

每个SCM都对应一个有向无环图(DAG)，其中节点代表变量，箭头表示因果关系。​

因果阶梯(Ladder of Causation)

Pearl和Mackenzie提出的因果阶梯描述了三个不同层次的因果关系：​

1. 关联(Association)：涉及统计依赖关系

2. 干预(Intervention)：允许对变量进行干预

3. 反事实(Counterfactuals)：涉及假设性或回顾性查询

每个更高的层次都表示更高级的因果关系。理解这个概念对于评估大语言模型的因果推理能力至关重要。​

这张图展示了因果推理的不同层次和相关任务，被称为"因果阶梯"(Ladder of Causation)。图中从下到上分为四个层次，每个层次对应不同的因果推理能力和任务。 任务上的准确率从39.49%​

1. 最底层：因果发现(Causal Discovery)