确认Ollama兼容您的GPU
兼容参考：Ollama GPU 兼容情况
CUDA 安装
CUDA ToolKit 下载
通过查看当前现卡驱动的版本来确定下载Tookit版本
12.6.x<CUDA ToolKit 版本<= 12.6.65 这里下载的12.6.3版本
CUDA ToolKit 历史版本下载地址 ：CUDA Toolkit Archive | NVIDIA Developer
CUDA ToolKit 安装
执行下面命令验证
nvcc --version
cuDNN 安装
9.x 下载地址 ：cuDNN Archive | NVIDIA Developer
8.x 下载地址：cuDNN Archive | NVIDIA Developer
这里下载 9.3为例子
下载完成后是个zip压缩包，解压并放到D盘 D:/cudnn 将bin目录添加到系统环境变量path中
D:/cudnn目录
Windows系统PATH变量添加参考：Windows 系统如何配置环境变量
将CUDA的demo_suite 也配置到PATH变量
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.6\extras\demo_suiteWindows系统PATH变量添加参考：Windows 系统如何配置环境变量
提示：添加后面这个环境变量是为了方便测试
验证是否成功，打开cmd分别输入下面命令
bandwidthTest.exe 这里执行结果为Result = PASS 表示成功
和
deviceQuery.exe这里执行结果为Result = PASS 表示成功
测试是否成功，在ollama里提一个耗时的问题，然后新开窗口执行命令
ollama ps查看信息
由于本机 1030不在兼容列表所以 100% cpu
在兼容的gpu下，PROCESSOR栏目会出现 40% cpu,60% gpu 有些版本在这里也不会显示，需要去window的任务管理器查看gpu使用情况
3606显卡参考
http://blog.xqlee.com/article/250206121559253.html
评论
相关文章
安装环境windows 11ollama工具下载ollama工具ollama官网 Download Ollama on Windows注：ollama同时支持L
Ollama 简介Ollama 是一个用于部署本地 AI 模型的工具，开发者可以在自己的机器上运行模型，并通过 API 接口调用。在本地搭建 Ollama 服务
概述Ollama官方最新版0.5.7，默认是不支持AMD 780m（代号：gfx1103）集成显卡的，已知方法都是基于一个开源项目ollama-for-amd来
一 了解什么是 RAGRAG（Retrieval Augmented Generation）检索增强生成，是 2023 年最火热的 LLM 应用系统架构，它的作
Ollama 模型动辄xxGB,默认位置可能不满足需求，特别是Windows，默认的C盘，所以一般都需要调整下Ollama 模型存放位置。ollama 默认的模
继上一篇deepseek Windows安装和入门使用 本地部署deepseek只能在cmd窗口使用，体验感不好。这里使用一个可视化工具Cherry Studi
GPUNvidiaOllama 支持计算能力为 5.0 及以上的 Nvidia GPU。检查你的计算兼容性，以确认你的显卡是否受支持： https://deve
在科技领域，新兴公司的涌现几乎每天都有，而每一家公司背后都有着独特的故事和潜力。最近，一家名为“深度求索”（DeepSeek）的中国公司引发了广泛关注。这家公司
目标使用Redis Stack中间件作为向量数据库（Vector Database）实现文档数据的存储和查询功能。先决条件已安装好的 redis stack ,
deepseek-r1的1.5b、7b、8b、14b、32b、70b和671b有啥区别？1.5B、7B、8B、14B、32B、70B是蒸馏后的小模型
LM Studio 离线模型下载和导入接上一篇LM Studio 安装配置后，使用大模型还得下载模型文件，由于内嵌模型库下载难用（网络原因）这里讲解离线下载后导
LM Studio 开启本地服务LM Studio 开启服务化，参考：LM Studio开启本地服务或headless(服务模式)Anything LLM 配置