问题
ollama国内拉取模型慢,断点续传也蛮怎么办,当然是修改ollama镜像源
配置ollama模型国内镜像源
国内可用镜像源参考:
| 镜像提供商 | 镜像地址 | 特性 |
|---|---|---|
| 阿里云 | https://registry.ollama.ai | 企业级CDN加速 |
| DeepSeek官方镜像 | https://ollama.deepseek.com | 原生支持代码模型 |
| 浙江大学镜像站 | https://ollama.zju.edu.cn | 学术网络优化 |
| 魔搭社区 | https://ollama.modelscope.cn | 中文模型生态整合 |
Linux/macOS 配置
mkdir -p ~/.ollama
cat << EOF > ~/.ollama/config.json
{
"registry": {
"mirrors": {
"registry.ollama.ai": "https://registry.ollama.ai"
}
}
}
EOF
Windows 配置
在资源管理器地址栏输入
%USERPROFILE%\.ollama新建
config.json文件,内容:
{
"registry": {
"mirrors": {
"registry.ollama.ai": "https://registry.ollama.ai"
}
}
}
修改配置后可选择重启ollama服务再次拉取。
DeepSeek模型部署:硬件适配方案
| 量化精度 | 显存需求 | 内存需求 | 适用场景 | 示例硬件配置 |
|---|---|---|---|---|
| FP32 | 24GB+ | 32GB+ | 科研级代码生成 | RTX 3090 + DDR4 64GB |
| FP16 | 12GB | 24GB | 专业开发工作站 | RTX 4080 + DDR5 32GB |
| INT8 | 8GB | 16GB | 主流游戏本 | RTX 3060 + DDR4 16GB |
| INT4 | 6GB | 8GB | 轻薄本开发 | Apple M2 Pro 16GB |
部署命令示例:
# 部署INT4量化版本
ollama run deepseek-coder:6.7b-instruct-q4_K_M
# 使用NVidia GPU加速
CUDA_VISIBLE_DEVICES=0 ollama run deepseek-coder:33b-instruct-fp16
https://blog.xqlee.com/article/2502111602382054.html
评论