手把手教你本地部署大模型以及搭建个人知识库

2024年4月9日创建

本文的思路来源于视频号博主：黄益贺

我按照他的视频进行了实操，并且附加了一些关于RAG的额外知识​

一、引言

大家好，我是大圣，一个致力使用AI工具将自己打造为超级个体的程序员。​

目前沉浸于AI Agent研究中无法自拔

今天给大家分享的是手把手教你如何部署本地大模型以及搭建个人知识库​

读完本文，你会学习到

•
如何使用Ollama一键部署本地大模型​

•
通过搭建本地的聊天工具，了解ChatGPT的信息是如何流转的​

•
RAG的概念以及所用到的一些核心技术​

•
如何通过AnythingLLM这款软件搭建完全本地化的数据库​

虽然我们大多数人不需要在自己部署大模型，但是我期望在本文的帮助下，能够带你手把手折腾一遍。​

这样在使用任何软件的时候，可以做到知其然，知其所以然。​

二、你的硬件达标了么

所有人都会手把手教你部署XX大模型，听起来很诱人，因为不需要科学上网，不需要高昂的ChatGPT会员费用。​

但是在开启下面的教程之前，我希望你能有个概念：运行大模型需要很高的机器配置，个人玩家的大多数都负担不起​

所以：虽然你的本地可能可以搭建出一个知识库，但是它不一定能跑的起来​

下面我通过一组数据来让大家有个感性的认知。以下文字来源于视频号博主：黄益贺，非作者实操​

生成文字大模型

最低配置：8G RAM + 4G VRAM

建议配置：16G RAM + 8G VRAM

理想配置：32G RAM + 24G VRAM（如果要跑GPT-3.5差不多性能的大模型）​

生成图片大模型（比如跑SD）

最低配置：16G RAM + 4G VRAM

建议配置：32G RAM + 12G VRAM

生成音频大模型

最低配置：8G VRAM +

建议配置：24G VRAM

而最低配置我就不建议了，真的非常慢，这个我已经用我自己8G的Mac电脑替你们试过了。​

讲这个不是泼大家冷水，而是因为我的文章目标是要做到通俗易懂，不希望通过夸大的方式来吸引你的眼球。​

这是这篇文章的第二次修改，我专门加的这段。原因就是因为好多小伙伴看了文章之后兴致冲冲的去实验，结果发现电脑根本带不动。​

但是这并不妨碍我们去手把手实操一遍，因为实操可以加深我们对大模型构建的知识库底层原理的了解。​

如果你想要私滑的体验知识库，可以参考我的另一篇文章：​胎教级教程：万字长文带你使用Coze打造企业级知识库​

手把手教你本地部署大模型以及搭建个人知识库​