分享
本地部署资讯问答机器人:Langchain+Ollama+RSSHub 实现 RAG
输入“/”快速插入内容
本地部署资讯问答机器人:Langchain+Ollama+RSSHub 实现 RAG
🔗 原文链接:
https://mp.weixin.qq.com/s/jqj932vm...
原创 行百里者半八十 AI花果山
2024-04-18 20:36
在这个信息爆炸💥的时代,人工筛选对自己有价值的信息无异于大海捞针。不过,幸好现在有了 AI 这个强大的工具,我们可以让它来帮我们做集检索、整合与分析为一体的工作。
这里,我想以 A 股行情(其他场景也类似)问答为例,希望构建这么一个 Bot,当我问它诸如「XX股票今天表现怎么样?」、「复盘今天的家电板块」等问题时,它可以迅速从海量市场数据中找到有价值的信息,帮我进行整合与分析,然后为我提供个性化的回复。
另外,这里我还有个要求,希望能在
本地私有化部署
,这就意味着与 coze 无缘了。
关于 coze,可以参考我之前写的几篇文章:
•
我们的 Bot 获得了「掘金 x 扣子 Hackathon 活动 - 深圳站」的总冠军
•
使用 coze 打造私人播客助手 - 根据个人喜好自动化生成播客
•
使用「扣子」搭建你的专属 AI Bot(附详细案例教程)
经过调研,我决定先采取 Langchain+Ollama 的技术栈来作为 demo 实现,当然,后续我也会考虑使用 dify、fastgpt 等更加直观易用的 AI 开发平台。
整体框架设计思路如下
:
另外, 本次开发的运行环境是 Intel Mac ,其他 操作系统 也可以。 下载模型等可能需要梯子。
Langchain 简介
https://www.langchain.com/langchain
Langchain 是当前 大模型 应用开发的主流框架之一,旨在帮助开发者构建和部署基于大型语言模型( LLM )的应用。它提供了一系列的工具和接口,使得与LLM交互变得简单。通过 Langchain,开发者可以轻松创建定制的高级应用,如 聊天机器人 、问答系统和多种智能应用。
Langchain 的核心在于其“链”概念,这是一个模块化的组件系统,包括 Model I/O (模型输入输出)、Retrieval(数据检索)、Chains(链)、Agents(代理)、Memory( 内存 )、和 Callbacks( 回调 )。这些组件可灵活组合,以支持复杂的应用逻辑。
Model I/O 模块负责处理与语言模型的直接交互,包括发送请求和解析响应。Retrieval 模块用于增强语言模型的回答能力,通过向量数据库检索相关信息来支持回答生成。Chains 模块则是多个组件的集成,用于构建更复杂的应用逻辑。
Langchain 的生态系统还包括 LangSmith、LangGraph 和 LangServe 等工具,这些工具能帮助开发者高效管理从原型到生产的各个阶段,以便优化 LLM 应用。
Ollama 简介
https://ollama.com/
Ollama 是一个开箱即用的用于在本地运行 大模型 的框架。它的主要功能和特点包括:
1.
支持多种大型语言模型
:Ollama 支持包括 通义千问、Llama 2、Mistral 和 Gemma 等在内的多种大型语言模型,这些模型可用于不同的应用场景。
2.
易于使用
:Ollama 旨在使用户能够轻松地在本地环境中启动和运行 大模型 ,适用于 macOS 、Windows 和 Linux 系统,同时支持 cpu 和 gpu 。
3.
模型库
:Ollama 提供了一个模型库,用户可以从中下载不同的模型。这些模型有不同的参数和大小,以满足不同的需求和硬件条件。Ollama 支持的模型库可以通过
https://ollama.com/library
进行查找。
4.
自定义模型
:用户可以通过简单的步骤自定义模型,例如修改模型的温度参数来调整创造性和连贯性,或者设置特定的系统消息。
5.
API 和集成
:Ollama 还提供了 REST API ,用于运行和管理模型,以及与其他应用程序的集成选项。
6.
社区贡献
:Ollama 社区贡献丰富,包括多种集成插件和界面,如 Web 和桌面应用、 Telegram 机器人、Obsidian 插件等。
7.
总的来说,Ollama 是一个为了方便用户在本地运行和管理大型语言模型而设计的框架,具有良好的可扩展性和多样的使用场景。