ollama国内拉取模型慢,断点续传也蛮怎么办,当然是修改ollama镜像源
国内可用镜像源参考:
镜像提供商 | 镜像地址 | 特性 |
---|---|---|
阿里云 | https://registry.ollama.ai | 企业级CDN加速 |
DeepSeek官方镜像 | https://ollama.deepseek.com | 原生支持代码模型 |
浙江大学镜像站 | https://ollama.zju.edu.cn | 学术网络优化 |
魔搭社区 | https://ollama.modelscope.cn | 中文模型生态整合 |
mkdir -p ~/.ollama
cat << EOF > ~/.ollama/config.json
{
"registry": {
"mirrors": {
"registry.ollama.ai": "https://registry.ollama.ai"
}
}
}
EOF
在资源管理器地址栏输入 %USERPROFILE%\.ollama
新建config.json
文件,内容:
{
"registry": {
"mirrors": {
"registry.ollama.ai": "https://registry.ollama.ai"
}
}
}
修改配置后可选择重启ollama服务再次拉取。
量化精度 | 显存需求 | 内存需求 | 适用场景 | 示例硬件配置 |
---|---|---|---|---|
FP32 | 24GB+ | 32GB+ | 科研级代码生成 | RTX 3090 + DDR4 64GB |
FP16 | 12GB | 24GB | 专业开发工作站 | RTX 4080 + DDR5 32GB |
INT8 | 8GB | 16GB | 主流游戏本 | RTX 3060 + DDR4 16GB |
INT4 | 6GB | 8GB | 轻薄本开发 | Apple M2 Pro 16GB |
部署命令示例:
# 部署INT4量化版本
ollama run deepseek-coder:6.7b-instruct-q4_K_M
# 使用NVidia GPU加速
CUDA_VISIBLE_DEVICES=0 ollama run deepseek-coder:33b-instruct-fp16
http://blog.xqlee.com/article/2502111602382054.html