开发：LangChain应用开发指南-大模型的知识外挂RAG
输入“/”快速插入内容
开发：LangChain应用开发指南-大模型的知识外挂RAG
开发：LangChain应用开发指南-大模型的知识外挂RAG
飞书用户6750
飞书用户82802024年1月26日修改
🎉
原创 AI小智 AI小智 2023-12-11 08:10 发表于湖北
AI大模型能够处理广泛主题的文本生成，但模型知识只能基于它们训练时使用的公开数据。如果你想构建能够利用私有数据或实时数据进行推理的AI应用，你需要用特定的信息来增强模型的知识。将相关信息检索并插入到模型的输入中，即检索增强生成（Retrieval Augmented Generation，RAG）。
在本文中，我们将介绍如何使用LangChain开发一个简单的RAG问答应用。我们将依次介绍典型的问答架构，讨论相关的LangChain组件，并展示如何跟踪和理解我们的应用。
RAG的基本概念
RAG是一种结合了检索和生成的技术，它可以让大模型在生成文本时利用额外的数据源，从而提高生成的质量和准确性。RAG的基本流程如下：
•
首先，给定一个用户的输入，例如一个问题或一个话题，RAG会从一个数据源中检索出与之相关的文本片段，例如网页、文档或数据库记录。这些文本片段称为上下文（context）。
•
然后，RAG会将用户的输入和检索到的上下文拼接成一个完整的输入，传递给一个大模型，例如GPT。这个输入通常会包含一些提示（prompt），指导模型如何生成期望的输出，例如一个答案或一个摘要。
•
最后，RAG会从大模型的输出中提取或格式化所需的信息，返回给用户。
LangChain和RAG的结合
LangChain是一个专注于大模型应用开发的平台，它提供了一系列的组件和工具，帮助你轻松地构建RAG应用。LangChain提供了以下的组件来帮助你构建RAG应用：
•
数据加载器（DocumentLoader）：数据加载器是一个对象，可以从一个数据源加载数据，并将其转换为文档（Document）对象。一个文档对象包含两个属性：page_content（str）和metadata（dict）。page_content是文档的文本内容，metadata是文档的元数据，例如标题、作者、日期等。
•
文本分割器（DocumentSplitter）：文本分割器是一个对象，可以将一个文档对象分割成多个较小的文档对象。这样做的目的是为了方便后续的检索和生成，因为大模型的输入窗口是有限的，而且在较短的文本中更容易找到相关的信息。
•
文本嵌入器（Embeddings）：文本嵌入器是一个对象，可以将文本转换为嵌入（Embedding），即一个高维的向量。文本嵌入可以用来衡量文本之间的相似度，从而实现检索的功能。
•
向量存储器（VectorStore）：向量存储器是一个对象，可以存储和查询嵌入。向量存储器通常使用一些索引技术，例如Faiss或Annoy，来加速嵌入的检索。
•
检索器（Retriever）：检索器是一个对象，可以根据一个文本查询返回相关的文档对象。检索器的一种常见实现是向量存储器检索器（VectorStoreRetriever），它使用向量存储器的相似度搜索功能来实现检索。
•
聊天模型（ChatModel）：聊天模型是一个对象，可以根据一个输入序列生成一个输出消息。聊天模型通常基于大模型，例如GPT-3，来实现文本生成的功能。
使用LangChain构建RAG应用的一般流程如下：