震惊！本地部署大语言模型竟如此流畅！

type

status

date

slug

summary

📝 Start

先叠个甲，本人是在笔记本上跑的大模型，阉割版的3050ti，直接放图：

如你们所见，显存只有可怜的4G(◞‸◟ )

Step 1- 安装Ollama

这里我们使用开源程序ollama来部署大语言模型。

官网地址：【点击这里】

点击download,下载对应的系统程序，这里我用的是linux系统

（其实什么系统安装都挺简单的，无脑下一步安装完就行）

安装完后打开控制台（Windows系统使用Win+R,输入cmd,回车），输入

只要显示ollama版本就算安装成功：

Step 2- 修改环境变量

Windows系统下，ollama下载的模型默认在C盘，如果不想C盘爆炸的话最好修改模型下载位置。

以Win11为例，进入系统环境变量：

变量值填入你想存储的路径就行，比如D:\ollama\models

Step 3- linux系统下修改环境变量

Windows用户可以直接跳过这一步了～

相比Windows,linux设置下载路径坑是真的多

进入/etc/systemd/system/目录，打开ollama.service

在[Service]下添加以下内容：

修改后如果ollama无法正常运行，还要把User和Group这两行的用户全修改为root

修改后的文件参考：

修改完后刷新配置：

Step 4- 安装模型

ollama官网有许多模型供我们下载使用：

这里以gemma2:2b为例子,模型只有1.6G,对低配电脑很友好

打开控制台，输入运行模型指令：

首次运行模型需要下载，耐心等待，我这里已经下载好了

提问个问题试试：

可以看到效果还是很不错的

如果想退出的话，按Ctrl+D结束

Step 5- 安装web界面

安装完模型后，总是使用命令行启动怪麻烦的，也不利于我们使用，所以我们要安装web界面来使用

官方的gitbub也有介绍一些集成了ollama的用户界面供我们使用

官方github：【点击这里】

这里以Open WebUI为例

Open WebUI官方github：【点击这里】

使用docker部署

Windows系统的wsl或Linux系统输入：

如果使用虚拟机用如下命令：

打开浏览器输入localhost:3000或你的虚拟机ip:3000,出现如下页面

注册一个用户后登录，数据是存储在本地的，邮箱可以随便填

登录后这里就会显示已下载的模型：

问个问题试试：

Step 6- 关于模型

据官网介绍，7B的模型至少需要8GB显存，但实际测试，我的4GB的3050ti跑的速度还可以，测试模型有gemma2（9B的）和llama3.1（8B的），自己的电脑实际可以跑得动什么模型，自己测试吧～

💡

有关Notion安装或者使用上的问题，欢迎您在底部评论区留言，一起交流~