Ollama和GPU兼容性问题

最近有人在后台私信我说自己的什么什么GPU，什么什么卡能不能运行ollama，在这里我给大家详细的讲一下ollama和GPU的兼容关系

Nvidia

首先呢就是Nvidia，Ollama支持计算能力5.0+的Nvidia gpu。这里呢我给大家列出来了张表

算力	系列	型号
9.0	NVIDIA	`H100`
8.9	GeForce RTX 40xx	`RTX 4090` `RTX 4080` `RTX 4070 Ti` `RTX 4060 Ti`
	NVIDIA Professional	`L4` `L40` `RTX 6000`
8.6	GeForce RTX 30xx	`RTX 3090 Ti` `RTX 3090` `RTX 3080 Ti` `RTX 3080` `RTX 3070 Ti` `RTX 3070` `RTX 3060 Ti` `RTX 3060`
	NVIDIA Professional	`A40` `RTX A6000` `RTX A5000` `RTX A4000` `RTX A3000` `RTX A2000` `A10` `A16` `A2`
8.0	NVIDIA	`A100` `A30`
7.5	GeForce GTX/RTX	`GTX 1650 Ti` `TITAN RTX` `RTX 2080 Ti` `RTX 2080` `RTX 2070` `RTX 2060`
	NVIDIA Professional	`T4` `RTX 5000` `RTX 4000` `RTX 3000` `T2000` `T1200` `T1000` `T600` `T500`
	Quadro	`RTX 8000` `RTX 6000` `RTX 5000` `RTX 4000`
7.0	NVIDIA	`TITAN V` `V100` `Quadro GV100`
6.1	NVIDIA TITAN	`TITAN Xp` `TITAN X`
	GeForce GTX	`GTX 1080 Ti` `GTX 1080` `GTX 1070 Ti` `GTX 1070` `GTX 1060` `GTX 1050`
	Quadro	`P6000` `P5200` `P4200` `P3200` `P5000` `P4000` `P3000` `P2200` `P2000` `P1000` `P620` `P600` `P500` `P520`
	Tesla	`P40` `P4`
6.0	NVIDIA	`Tesla P100` `Quadro GP100`
5.2	GeForce GTX	`GTX TITAN X` `GTX 980 Ti` `GTX 980` `GTX 970` `GTX 960` `GTX 950`
	Quadro	`M6000 24GB` `M6000` `M5000` `M5500M` `M4000` `M2200` `M2000` `M620`
	Tesla	`M60` `M40`
5.0	GeForce GTX	`GTX 750 Ti` `GTX 750` `NVS 810`
	Quadro	`K2200` `K1200` `K620` `M1200` `M520` `M5000M` `M4000M` `M3000M` `M2000M` `M1000M` `K620M` `M600M` `M500M`

GPU的选择

如果你有多个NVIDIA gpu，并且只希望Ollama使用其中一个，那你可以将CUDA可视设备设置为gpu的逗号分隔列表。可以使用数字id，但是顺序可能不同，因此UUID更可靠。你可以通过nvidia-smi -L命令来查看GPU的UUID。如果你想忽略GPU并强制使用CPU，请使用无效的GPU ID(例如，“-1”)。

Linux无法发现GPU

在 Linux 上,经过一个挂起/恢复周期后,有时 Ollama 会无法发现你的 NVIDIA GPU,并退回到在 CPU 上运行。你可以通过重新加载 NVIDIA UVM 驱动程序来解决这个驱动程序错误,使用以下命令:

sudo rmmod nvidia_uvm && sudo modprobe nvidia_uvm

这个命令的作用是:

sudo rmmod nvidia_uvm 卸载(移除)当前加载的 NVIDIA UVM 驱动模块。
&& 是一个逻辑运算符,表示只有当前一个命令执行成功时,才会执行下一个命令。
sudo modprobe nvidia_uvm 重新加载 NVIDIA UVM 驱动模块。

通过卸载并重新加载 NVIDIA UVM 驱动模块,可以解决 Ollama 在挂起/恢复后无法发现 NVIDIA GPU 的问题,使其能够正常使用 GPU 进行计算。

这个也适用于拥有Nvidia GPU的笔记本电脑，可以使用上面的命令来解决。

AMD Radeon

Ollama支持以下AMD gpu

系列	型号
AMD Radeon RX	`7900 XTX` `7900 XT` `7900 GRE` `7800 XT` `7700 XT` `7600 XT` `7600` `6950 XT` `6900 XTX` `6900XT` `6800 XT` `6800` `Vega 64` `Vega 56`
AMD Radeon PRO	`W7900` `W7800` `W7700` `W7600` `W7500` `W6900X` `W6800X Duo` `W6800X` `W6800` `V620` `V420` `V340` `V320` `Vega II Duo` `Vega II` `VII` `SSG`
AMD Instinct	`MI300X` `MI300A` `MI300` `MI250X` `MI250` `MI210` `MI200` `MI100` `MI60` `MI50`

Was this helpful?

0 / 0