ollama官网 Download Ollama on Windows
注:
- 下载ollama慢可复制下载连接到迅雷,因迅雷缓存了下载贼快。
- ollama同时支持Linux和mac os系统。
和Windows系统大多数软件安装步骤一致,双击然后下一步到最后即可。中间没有配置环节(目前版本没有:0.5.7.0)
安装成功后通过cmd执行命令
ollama --version
查看安装版本信息,安装成功会有版本信息输出,参考上面图所示。
ollama模型默认存放于c盘,建议修改ollama默认模型存储路径,修改方法参考:Ollama 修改模型存储/存放路径/目录
打开ollama官网Ollama,搜索地方输入deepseek r1
选择好版本后,在后面有运行命令,如这里的
ollama run deepseek-r1:8b
显存多少 GB 就部署大概多少 b 的模型,比如 24GB 部署 32b,16GB 部署 14b,8GB 部署 7b。如果出现 OOM,也就是爆显存了,就部署小一档的模型。
显存超过 40GB,可以考虑 部署 70b 的模型,否则建议使用 32b 的模型。
Windows 上执行命令,打开cmd窗口,然后粘贴上面的命令回车即可。
下载估计需要一定的时间
下载完成后,即可输入内容测试,参考:写一份《关于2024年春节放假安排的通知》,需注明值班表报送截止日期。
至此一个简的deepseek r1 离线部署模型成功。
https://blog.xqlee.com/article/deepseek-install-windows.html