解读 GPT-4V 《多模态的新时代》

报告地址：https://arxiv.org/pdf/2309.17421.pdf

翻译：AIhackathon https://mp.weixin.qq.com/s/a8Y_yU5XYgJhQ2xMuTK13w

解读版 1：量子位《微软写了份 GPT-4V 说明书：166 页讲解又全又详细，提示词 demo 示例一应俱全》

解读版 2：机器之心《试过 GPT-4V 后，微软写了个 166 页的测评报告，业内人士：高级用户必读》

common.docs_name - LarkCCM_Docs_Menu_Image

1、引言

1.1 动机与概述

大语言模型（LLMs）的突破性进展展示了在不同领域和任务中的显著多功能性和能力。该领域的下一阶段演变，大型多模态模型（LMMs）旨在通过整合多感官技能来扩展 LLMs 的能力，以实现更强的通用智能。​

考虑到视觉在人类感官中的主导地位，许多 LMM 研究从扩展视觉能力开始。初步研究调查要么微调视觉编码器以与预训练的 LLMs 对齐，要么使用视觉-语言模型（vision-language model）将视觉输入转换为 LLMs 可以理解的文本描述。​

然而，大多数现有模型的模型和数据规模都有限，可能会限制各种有趣能力的出现。​

因此，目前还不清楚基于最先进的 LLMs（如 GPT-4（无视觉） 和 PaLM）开发的 LMMs 的现状和新兴多模态能力是什么。在本文中，我们报告了对 GPT-4V（早期版本）的初步探索，GPT-4V 是基于 SOTA LLM 并使用大量多模态数据训练的最先进的具有视觉能力的 LMM。 ​

我们对 GPT-4V 的探索是由以下问题指导的。

1. GPT-4V 支持哪些输入和工作模式？

多模态模型的通用性不可避免地要求系统能够处理不同输入模态的任意组合。GPT-4V 在理解和处理任意混合方面表现出前所未有的能力。​

输入图像（images）、子图像（sub-images）、文本（texts）、场景文本（scene texts）和视觉指针（visual pointers）。我们还证明，GPT-4V 很好地支持了在 LLM 中观察到的测试时技术（test-time techniques ），包括指令遵循 instruction following 、思想链 chain-of-thoughts、上下文中的小样本学习 in-context few-shot learning 等。​

2. GPT-4V 在不同领域和任务上的能力质量和通用性如何？

我们对涵盖广泛领域和任务的查询进行采样，以了解 GPT-4V 的功能，包括开放世界视觉理解（open-world visual understanding）、视觉描述（visual description）、多模态知识（multimodal knowledge）、常识（commonsense）、场景文本理解（scene text understandin）、文档推理（document reasoning）、编码（coding）、时间推理（temporal reasonin）、抽象推理（abstract reasoning）、情感理解（emotion understanding） ， 还有很多。GPT-4V 在许多实验领域表现出了令人印象深刻的人类水平的能力。​
​

3. GPT-4V 有效使用和提示方法有哪些？

GPT-4V 擅长理解像素空间编辑，例如在输入图像上绘制的视觉指针（visual pointers）和场景文本（scene text）。受这种功能的启发，我们讨论了“视觉参考提示（visual referring prompting）”，它直接编辑输入图像来指示感兴趣的任务。视觉参考提示（visual referring prompting）可以与其他图像和文本提示无缝地一起使用，为说明和示例演示提供细致入微的界面。​

4. 未来有哪些有前途的方向？

鉴于 GPT-4V 跨领域和任务的强大能力，我们思考多模态学习以及更广泛的人工智能的下一步是什么。我们将我们的思考和探索分为两个角度，即需要关注的新兴新颖应用场景和基于 GPT-4V 系统的未来研究方向。我们提出我们的初步探索以启发未来的研究。​

以上述问题为指导，我们全面整理并列出了我们探索的定性结果。该报告包含最少的定量基准结果，而是主要包含精选的有趣的定性示例。尽管这种设计缺乏严格性，但它允许我们在有限的资源或范围内提供一个覆盖广泛领域、任务、工作模式和提示技术的全面分析。​

我们相信，这些有组织的探索将激发未来在新兴新颖应用、下一代多模式任务制定以及开发基于 LMM 的先进智能系统方面的工作。​

1.2 我们探索 GPT-4V 的方法

本报告的目标。评估系统的标准方法是将其与一系列精心设计的数据集进行基准测试，每个数据集代表一个特定的领域和任务。挑战之一是一些现有基准可能不再适合评估 LMM。​

例如，LMM 的图像字幕输出比图像字幕基准数据集中的基本事实要丰富得多，并且包含更详细的描述。还缺乏有关 GPT-4V 大规模预训练的公开信息，这可能违反某些现有数据集的训练测试设置并使这些基准数据无效。因此，将评估限制在现有的基准和指标上可能会无意中缩小 GPT-4V 的评估范围。制定下一代评估任务和基准的综合列表将是理想的最终解决方案。然而，由于需要付出巨大的努力，我们将这些留作未来的工作。​

本文重点关注使用定性结果来代替定量基准测试，以了解 GPT-4V 的新功能和潜在的新兴用例。​

我们的目标是发现并预览 GPT-4V 可能已经具备的功能，尽管这些新颖的功能可能尚不完全可靠。我们希望这一系列的探索能够激发未来的研究，为下一代多模式任务建立定量基准，使现有基准现代化，进一步提高模型性能和系统可靠性，并在新兴用例中激发创新。​

解读 GPT-4V 《多模态的新时代》​

解读 GPT-4V 《多模态的新时代》