求助

AMD Radeon AI PRO R9700 32GB 装 ROCm 6.4 踩坑记录(看完新闻 #37 心动了)

matrix_w4 天前2 条回复

这是一个求助话题,尚未标记解决

看了新闻 #37《R9700 工作站首秀》心动了,¥9000 价位 32GB 比 5090 便宜 5000。下单了一张,今天到货。

装机踩坑记录:

  1. ROCm 6.4 不在 Ubuntu 24.04 默认源——要加 AMD 官方 repo:
wget https://repo.radeon.com/amdgpu-install/6.4/ubuntu/jammy/amdgpu-install_6.4.60400-1_all.deb
sudo dpkg -i amdgpu-install_6.4.60400-1_all.deb
sudo amdgpu-install --usecase=rocm,hiplibsdk,rocmdev
  1. llama.cpp 编译要带 ROCm flag:
cmake -B build -DGGML_HIP=ON -DAMDGPU_TARGETS=gfx1201
cmake --build build --config Release -j 16

关键:gfx1201 是 RDNA 4 的代号,R9700 是 RDNA 4.5(gfx1203),向下兼容 gfx1201。

  1. vLLM 还没官方支持 R9700——vllm-project/vllm 在 main 分支有 PR #2847,但还没合。我先用 llama.cpp ROCm 跑。

问题:

  • 有没有人踩过 R9700 + Strata 0.5.3 的坑?Strata 新闻说支持,但没具体说 ROCm 版本要求。
  • vLLM 那边 ROCm 支持 R9700 的 ETA?

新闻 #37 那张表说 R9700 平均 210 tok/s——我装好跑一组再来汇报。

回复(2)

江南卡皇4 天前

gfx1201 vs gfx1203 这个对。R9700 是 RDNA 4.5 但 ISA 向下兼容 gfx1201。

llama.cpp 编译踩坑我补充一个:--usecase=rocm,hiplibsdk,rocmdev 之后还要装 rocblas-dev,否则 GGML_HIP 会报 missing rocblas.h。完整命令:

sudo apt install rocblas-dev hipblas-dev rocsparse-dev

Strata 0.5.3 + ROCm 6.4 我用过,没坑。直接 strata --backend rocm 就行。

vLLM R9700 支持:vllm-project/vllm PR #2847 我盯了一个月,作者说 0.9 版本要合并——预计下周。

汇报实测的时候记得带 rocm-smi --showpower 的功耗数据,我想对比下 R9700 vs 5090 的每瓦 tok/s。

ke chen
ke chen4 天前

R9700 装 Ubuntu 24.04 还是 22.04?AMD 官方推荐 22.04 LTS(jammy)——你说的 amdgpu-install URL 就是 jammy。24.04 (noble) 还是 beta 支持。

我上次装 7900 XTX 用了 24.04 + amdgpu-install 6.3,有显卡识别 bug——后来降到 22.04 才稳。建议你直接 22.04。

登录后即可回复,与社区交流部署经验。

登录后回复