Administrator
发布于 2025-03-20 / 25 阅读
0
0

Ollama未使用GPU资源(ubuntu)

在Ubuntu系统上,若Ollama未正确使用GPU资源,请按照以下步骤排查和解决:

---

1. 确认GPU驱动和CUDA环境

- 安装NVIDIA驱动

sudo ubuntu-drivers autoinstall  # 自动安装推荐驱动
sudo reboot

验证驱动:

 nvidia-smi  # 应输出GPU状态信息

- 安装CUDA Toolkit

从[NVIDIA官网](https://developer.nvidia.com/cuda-downloads)选择适合的CUDA版本,按指引安装。

验证CUDA:

nvcc --version

2. 安装支持GPU的Ollama版本

- 确保安装GPU版本

Ollama可能需明确指定GPU支持版本(如通过Docker或源码编译)。例如:

    # 若使用Docker,添加GPU支持参数
  docker run --gpus all -it ollama/ollama

3. 检查Ollama配置

- 启动参数

运行Ollama时添加GPU标志(参考文档):

 ollama serve --gpu  # 示例命令,具体参数可能不同

- 配置文件

~/.ollama/config.json(假设存在)中是否"device": "cuda"类似配置。

4. 检查权限和环境变量

- 用户组权限

 sudo usermod -aG video,your_username  # 添加用户到渲染组

  sudo reboot

- 环境变量

  export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

总结命令流

1. 安装驱动和CUDA

sudo ubuntu-drivers autoinstall

sudo reboot

nvidia-smi  # 确认驱动

# 2. 安装CUDA Toolkit(根据官网指引)

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin

sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600

sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/7fa2af80.pub

sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/ /"

sudo apt-get update

sudo apt-get -y install cuda

通过以上步骤,大多数GPU未调用问题可被解决。若问题持续,请提供Ollama日志nvidia-smi输出以进一步诊断。


评论