fly6022
文章18
标签44
分类2
AI:RX590通过Ollama本地部署Deepseek-R1大模型

AI:RX590通过Ollama本地部署Deepseek-R1大模型

Ollama 并不原生支持部分系列的 AMD 显卡,因此,想要通过 RX590 显卡运行大模型(LLM),需要手动进行修改配置。

下载安装Ollama-for-AMD

首先下载Ollama-for-AMD:https://github.com/likelovewant/ollama-for-amd/releases/tag/v0.5.4

01

正常安装,Ollama会自动在后台运行,在任务栏中右键Ollama图标,点击“View logs”。

02

此时会跳转到目录:C:\Users\<用户名>\AppData\Local\Ollama

03

用文本编辑器打开“server.log”或“server-1.log”。

04

日志提示WARN:显卡gpu typegfx803,且ROCm版本为5.7

我们需要下载对应gfx versionROCm的文件。

配置ROCm(HIP SDK)

首先下载ROCm的相关驱动,HIP SDK:https://www.amd.com/en/developer/resources/ROCm-hub/hip-sdk.html

05

找到对应操作系统版本Windows 10 & 11ROCm版本5.7.x的SDK,下载并安装。

配置Rocmlibs

06

07

显卡gpu typegfx803,对应为rocm.gfx803.optic.vega10.logic.hip.sdk.6.1.2.7z

下载完毕后解压。

打开目录:C:\Users\<用户名>\AppData\Local\Programs\Ollama\rocm

将解压后文件中的hipblas.dll替换本目录中的文件。

打开目录:C:\Users\<用户名>\AppData\Local\Programs\Ollama\rocm\rocblas

将解压后文件中的library文件夹替换本目录中的文件夹。

重启电脑

安装Deepseek

09

打开Ollama官网模型目录:https://ollama.com/library/deepseek-r1

根据自身电脑配置选择对应参数(x b代表10x 亿参数,例如14b代表140亿参数

例如,我们要安装14b的大模型。

在CMD中键入ollama run deepseek-r1:14b

等待安装完毕即可。

或者,你也可以采用图形化界面与AI交互,例如使用Chatbox

检查

08

尝试与AI进行对话,例如输入“你好。”

打开任务管理器,发现GPU在工作,证明配置成功。

10

11

本文作者:fly6022
本文链接:https://blog.fly6022.fun/posts/AI%EF%BC%9AAMD%20RX590%E6%98%BE%E5%8D%A1%E9%80%9A%E8%BF%87Ollama%E6%9C%AC%E5%9C%B0%E9%83%A8%E7%BD%B2Deepseek%20R1%E5%A4%A7%E6%A8%A1%E5%9E%8B/
版权声明:除特殊说明以外,本文采用 署名-非商业性使用 4.0 国际 (CC BY-NC 4.0) 协议进行许可,转载请注明原出处。
×