多模态大模型入门指南-长文慎入【持续更新】
输入“/”快速插入内容
多模态大模型入门指南-长文慎入【持续更新】
多模态大模型入门指南-长文慎入【持续更新】
用户6750用户6750
用户4392用户43922024年3月31日修改
内容总结，本篇综述主要介绍和分析了以下几个方面：
•
概述了MM-LLMs的设计形式，将模型架构分为5个部分：模态编码器、输入投影器、语言模型骨干、输出投影器和模态生成器。阐述了每一部分的实现选择。
•
描述了MM-LLMs的训练流程，主要包括多模态预训练和多模态指令微调两个阶段。
•
总结分析了26种主流的MM-LLMs模型，从模型架构、训练数据集规模等多个维度进行了对比。
•
综合回顾了主要MM-LLMs在18个广泛使用的视觉语言评测集上的表现，并总结提炼出提升模型效果的重要训练方法。
•
探讨了MM-LLMs未来发展的5大方向：构建更强大的模型、设计更具挑战性的评估集、移动端/轻量级部署、具备实体性的智能和持续性指令调整。
综上，该论文系统梳理了MM-LLMs的框架、模型、评估指标和未来研究方向，对其现状和发展趋势进行了全面而深入的总结，为相关领域的研究与进一步发展奠定了基础。
部分模型 总结如下：
1.引言：
1.1 多模态LLMs 的现状：
最近，多模态大模型取得重大进展。随着数据集和模型的规模不断扩大，传统的 MM 模型带来了巨大的计算量，尤其是从头开始训练的话。研究人员意识到 MM 的研究重点工作在各个模态的连接上，所以一个合理的方法是利用好现成的训练好的单模态基础模型，尤其是 LLM。这样可以减少多模态训练的费用，提升训练效率。
MM-LLM 利用 LLM为各种 MM 任务提供认知能力。LLM 具有良好的语言生成，zero-shot 和 ICL 的能力。其他模态的基础模型则提供了高质量的表征。考虑到不同模态的模型是分开训练的，如何将不同模态连接起来，实现协同推理，是核心挑战。
这里面的主要工作便是通过多模态预训练和多模态的指令微调，来实现模态之间的对齐，以及模型输出与人类意图的对齐。
1.2 多模态的发展历程：
关于多模态的发展主要有：
•
最初的发展集中在多模态的内容理解和文本的生成：Flamingo,BLIP-2, Kosmos-1,LLaVA/LLaVA-1.5/LLaVA-1.6，MiniGPT-4，MultiModal-GPT，Video-Chat，VIdeo-LLaMA，IDEFICS，Fuyu-8B，Qwen-Audio
•
同时实现多模态的输入和输出工作 MM-LMM，探索特定模态的生成，例如 Kosmos-2，Mini-GPT5，以及语音生成的 SpeechGPT
•
将 LLM 和外部工具继承进来，实现“any-to-any”的 多模态理解和生成。visual-chatgpt，ViperGPT，MM-React，HuggingGPT，AudioGPT
•
同样，有为了减少级联过程中传播误差的工作，有 NExT-GPT 和 CoDI-2，来开发任意模式的多模态模型
1.3 内容结构：
本文接下来的机构如下所示。第二节讲模型架构，第三节讲训练流程。
第二节模型架构分为五部分，不同模态的编码器 Encoder，输入 Projector，LLM 骨干，输出 Projector，不同模态的生成器。
训练流程包含连个部分，预训练流程和指令微调部分。同时提供了主流的数据集的介绍。