
AI:RX590通过Ollama本地部署Deepseek-R1大模型
Ollama 并不原生支持部分系列的 AMD 显卡,因此,想要通过 RX590 显卡运行大模型(LLM),需要手动进行修改配置。
下载安装Ollama-for-AMD
首先下载Ollama-for-AMD:https://github.com/likelovewant/ollama-for-amd/releases/tag/v0.5.4。
正常安装,Ollama会自动在后台运行,在任务栏中右键Ollama图标,点击“View logs”。
此时会跳转到目录:C:\Users\<用户名>\AppData\Local\Ollama
用文本编辑器打开“server.log
”或“server-1.log
”。
日志提示WARN:显卡gpu type
为gfx803
,且ROCm
版本为5.7
。
我们需要下载对应gfx version
及ROCm
的文件。
配置ROCm(HIP SDK)
首先下载ROCm的相关驱动,HIP SDK:https://www.amd.com/en/developer/resources/ROCm-hub/hip-sdk.html
找到对应操作系统版本Windows 10 & 11
,ROCm
版本5.7.x
的SDK,下载并安装。
配置Rocmlibs
显卡gpu type
为gfx803
,对应为rocm.gfx803.optic.vega10.logic.hip.sdk.6.1.2.7z
。
下载完毕后解压。
打开目录:C:\Users\<用户名>\AppData\Local\Programs\Ollama\rocm
将解压后文件中的hipblas.dll
替换本目录中的文件。
打开目录:C:\Users\<用户名>\AppData\Local\Programs\Ollama\rocm\rocblas
将解压后文件中的library
文件夹替换本目录中的文件夹。
重启电脑。
安装Deepseek
打开Ollama官网模型目录:https://ollama.com/library/deepseek-r1
根据自身电脑配置选择对应参数(x b
代表10x 亿参数
,例如14b
代表140亿参数
)
例如,我们要安装14b的大模型。
在CMD中键入ollama run deepseek-r1:14b
等待安装完毕即可。
或者,你也可以采用图形化界面与AI交互,例如使用Chatbox。
检查
尝试与AI进行对话,例如输入“你好。”
打开任务管理器,发现GPU在工作,证明配置成功。