[应用实例] 本地部署Google Gemma
输入“/”快速插入内容
[应用实例] 本地部署Google Gemma
[应用实例] 本地部署Google Gemma
用户8537用户8537
用户5027用户5027
用户8920用户8920用户2440用户2440用户3068用户3068+3
1月12日修改
14182
🤖
作者：吵爷
Google刚刚发布了家用版的小模型Gemma，分别为2b（20亿参数）和7b（70亿参数）版本。相对千亿参数的大模型，这种小模型可能不适合解决特别复杂的任务，但是从趋势上看应该是模型本地化提升基础操作效率的模板。类似之前国内发布的ChatGLM-6B。
现在的部署环境比一年前要友好多了，首先提一下Ollama，Ollama是一个开源的大型语言模型服务，可以非常方便地部署最新版本的GPT模型并通过接口使用，支持热加载模型文件,无需重新启动即可切换不同的模型。除了Gemma，像小型的llama也支持本地部署。
环境准备
查找cmd进入命令提示符，输入
ollama -v
检查版本，安装完成后版本应该显示0.1.26
cls
清空屏幕，接下来直接输入
ollama run gemma
运行模型（默认是2b），首次需要下载，需要等待一段时间，如果想用7b，运行
ollama run gemma:7b
完成以后就可以直接对话了，2个模型都安装以后，可以重复上面的指令切换。
2b的反应速度非常快，但是能够互动的话题有限。7b我也试了下，能跑是能跑（我是3050显卡），但是会有明显的卡顿，输出内容的质量相对会高不少，但无论2b还是7b，对非英文语种的反馈都不是很稳定。
2b测试
7b测试