问：Chain of Density 是什么

原文地址：https://zhuanlan.zhihu.com/p/663740890

一篇名为“从稀疏到密集：带有密度链提示的GPT-4总结（From Sparse to Dense：GPT-4 Summarization with Chain of Density Prompting）受到关注。 本论文由美国哥伦比亚大学Griffin Adams、Noémie Elhadad、Faisal Ladhak，以及麻省理工Eric Lehman和Salesforce公司Alexander R. Fabbri共同发表。 ​

有兴趣的朋友，可通过以下链接下载原文：https://arxiv.org/abs/2309.04269

“Chain of Density”（CoD）是通过建立一系列相互关联的紧密提示来指导AI生成具体和连续的输出。 这些提示相互链接，形成一个“密度链”，从而更有针对性地引导AI达到预期的输出。 方法是使用GPT-4生成初始的稀疏摘要，然后通过迭代加入缺失的重要内容，在不增加摘要长度情况下，添加更多实体信息，让摘要更具细节和丰富性，同时也更具可读性和抽象性。​

本论文的研究是以“如何从文章提炼萃取出最合适的摘要”为重点，但论文发布后，有网友实测将CoD提示法用来翻译，翻译的质量也是飞跃提升。 原文称，好的摘要应该要足够详细到可以反映所有重要而必须呈现的内容，但又不能过于繁复以至于阅读者难以理解。 为了追求信息量和可读性的平衡，研究人员开发了密度链，让GPT-4生成的摘要可以一轮又一轮地加入更多重要信息，并且同时精简优化输出的前后文，直到用户满意为止。​

论文中，下图左侧是提示词，右侧是密度链的结果输出。 输出部分过于冗长，我们仅就提示词部分翻译如下，供参考（注：可用原来的英文提示，加上“以简体中文输出”即可）：​

common.docs_name - LarkCCM_Docs_Menu_Image

文章：{{ 文章 }}

请你为上述文章生成越来越精简，且信息丰富的摘要。

请重复以下两个步骤5次。

步骤 1. 从文章中找出1-3项先前摘要中遗漏的信息实体“informative entity”（以“;“分隔）。​

步骤 2. 生成一个新的摘要，长度相同，内容更紧凑，其中涵盖先前摘要中所有的信息实体“informative entity”以及缺失实体“Missing entity”。​

“缺失实体”是指：

– 与主题相关。

– 具体但简洁（5个或更少的字）。

– 未在先前摘要中出现。

– 文章中存在的，不能自行编造。

– 位于文章中的任何位置。

指南：

– 第一次的摘要应该很长（4-5句，约80个字），但信息不具体，除了被标记的“缺失实体”外，几乎不包含任何信息。 例如，使用冗长的语言和填充词（例如“本文讨论”）填充词汇，以达到80个字。​

– 每个字都很重要：重写先前的摘要，使其更加流畅，并为其他信息腾出空间。​

– 通过融合、压缩和删除像文章讨论之类的非信息短语来腾出空间。​

– 摘要应该高度密集、简洁，但要容易理解，无需参考原文即可轻松理解。​

– “缺失实体”可以放在新摘要中的任何位置。

– 不能从先前的摘要中删除信息。 如果无法腾出空间，请减少新加入的信息。​

记住，每个摘要的字数应该一致。

回复格式为JSON。 JSON是一个长度为5的列表，其中包含“Missing_Entities”和“Denser_Summary”两个键值。​

</prompt>

在上面的提示中，有两个名词需要解释：

– Informative entity信息实体：能代表文章核心观点的关键词。

– Missing entity缺失实体：与主题紧密相关，但在先前的摘要中并未出现的关键词。​

二、CoD的潜在应用场景

难道CoD只能用在写文章摘要吗？因为是创新提示词，我们特意与GPT-4交流，希望取得更多有价值的参考信息，以下是其中几个核心问题和回复。​

【用户】

通过举例来理解CoD在人工智能的应用

【GPT】

假设我们希望AI写一篇有关「太阳能技术的未来发展」的文章。 传统的提示词可能只是给予：“写一篇有关太阳能技术的未来发展的文章”。 但使用CoD的方法，我们可能会提供以下连续提示：​

问：Chain of Density 是什么​

问：Chain of Density 是什么