如何在电脑上运行本地大模型？手把手教你从 hard 模式到 easy 模式
输入“/”快速插入内容
💻如何在电脑上运行本地大模型？手把手教你从 hard 模式到 easy 模式
如何在电脑上运行本地大模型？手把手教你从 hard 模式到 easy 模式
用户8021用户8021
用户8743用户87438117
8755
27
8
💡
本地大模型：直接在电脑上运行的大语言模型，免费、无需担心隐私、无需联网，仅消耗本机电脑的算力。对电脑内存有一定要求，推荐 16GB 以上，8G 也能跑。
之前一直在用 ChatGPT、Claude，没有想着在电脑上跑大模型，毕竟能用最好就用最好的。最近想试试直接在 Mac 上跑大模型，看看效果。于是尝试了三种模式，从地狱模式到超级简单的模式，分享一下折腾的过程。太长不看的版本，直接跳转到 easy 模式：GPT4All
Hard 模式：安装 Conda，运行 ChatGLM-6B
步骤：
1.
安装 Homebrew
2.
安装 git
3.
安装 Conda
4.
部署大模型
a.
创建并激活环境
b.
安装各种依赖
c.
执行 Python Demo
当然，中间会碰到各种奇奇怪怪的问题，解决完所有问题后。激动的心，颤抖的手，终于可以和本地 AI 对话了。
效果就是，回答一个问题，需要 2 分钟，非常鸡肋。
相对简化模式：Ollama
和第一个方案相比，Ollama 的安装和使用，简直不要太简单，两步就搞定了
步骤：
1.
2.
在 Mac 系统搜索 terminal 或 终端 ，点击回车，弹出的那个简洁的框框就是。输入想要运行的大模型（例如：ollama run llama2），并回车。等待下载完成，即可输入内容，和 llama2 愉快的聊起来。
运行后的效果，回答速度超快
当然，这个过程中，对于非技术同学最难的部分可能是「我不知道我的 favorite terminal 是啥」
超级简单模式：GPT4All
最简单的方案就是这个了，应该没有更简单的了，全程不用考虑「最喜欢的 terminal 是什么」
GPT4All 是一个用于运行大模型的浏览器，可安装、运行、管理本地大模型。
步骤：
1.
2.
打开安装好的 GPT4All.app，选择或搜索任意一个大模型，即可下载并运行。在 GPT4All 官网有各个大模型的评测得分，选得分最高的下载，例如目前平均得分最高的是Nous-Hermes2。