LangChain 携手 NVIDIA：RAG加速新篇章

🏕️

AI小智 2024-03-25 08:30 湖北

原文地址：https://mp.weixin.qq.com/s/G6foK585OY6r7s_tvDV2tQ

本文经翻译并二次整理自LangChain Integrates NVIDIA NIM for GPU-optimized LLM Inference in RAG一文。NVIDIA NIM前脚刚推出，LangChain已经完成了集成适配，今天本文将展示基于NVIDIA NIM的RAG应用实战。本系列合集，点击链接查看

大约在一年半前，OpenAI 推出了 ChatGPT，标志着生成式 AI 时代的开启。自此，这一领域经历了迅猛的发展，并被各行各业广泛采纳。企业在将注意力从 LLM 应用的原型制作转向实际生产时，往往更倾向于选择自主托管的解决方案，而非依赖第三方模型服务。鉴于许多人在这一转变过程中遇到困难，LangChain 对于能够整合全新的 NVIDIA NIM 推理微服务感到无比振奋。​

NVIDIA NIM 是什么？

common.docs_name - LarkCCM_Docs_Menu_Image

NVIDIA NIM 是一系列用户友好的微服务，它们旨在加速企业内部生成式 AI 的部署进程。这种多功能的运行环境支持包括开源社区模型、NVIDIA AI 基础模型以及自定义 AI 模型在内的广泛 AI 模型。开发者可以利用行业标准的 API，仅需数行代码即可快速构建出企业级的 AI 应用。NIM 基于 NVIDIA Triton Inference Server、NVIDIA TensorRT、NVIDIA TensorRT-LLLLM 等强大的推理引擎，以及 PyTorch 等技术构建，旨在提供无缝的 AI 推理体验，确保您可以自信地在任何环境中部署 AI 应用。无论是在本地服务器还是云端环境中，NIM 都是实现大规模、高性能生成式 AI 推理的最佳选择。​

为什么 LangChain 对 NVIDIA NIM 充满期待？

我们对 NVIDIA NIM 充满期待的原因有几个。

首先，最引人注目的是它的自托管特性。这意味着您向基于 NVIDIA 的模型发送的任何数据都将保留在您的服务器上，不会外传。对于那些经常需要处理敏感信息的 RAG 应用来说，这一点尤其重要。​

其次，NIM 提供了一系列预构建的容器，这让您可以轻松选择并使用最新的生成式 AI 模型，而无需进行复杂的配置。​

最后，NIM 的可扩展性。在个人电脑上本地运行模型是一回事，但要将其作为服务部署，并且保持与专业服务提供商相同的稳定性和可用性，则是另一回事。幸运的是，NIM 已经为您解决了这一挑战。​

如何开始使用 NVIDIA NIM？

LangChain 携手 NVIDIA：RAG加速新篇章​

LangChain 携手 NVIDIA：RAG加速新篇章