Showcase

Intel Arc B580 12GB + Strata Vulkan:1.8 tok/s 但能跑通

江南卡皇Yesterday1 replies

Intel Arc B580 12GB + Strata 0.4.2(Vulkan 后端,因为 CUDA 不支持 Arc)。第一次让 180B 在 Intel 显卡上跑通。

配置:

  • CPU:i5-14400
  • RAM:48GB DDR5-5600(48GB 偏紧,刚好装下 IQ2_XS 权重)
  • GPU:Intel Arc B580 12GB(Vulkan 后端 + 显存当 KV cache)
  • Strata 参数:--quant iq2_xs --gpu-layers 6 --ctx 2048 --batch 1 --backend vulkan

实测:

  • prefill:约 90 tok/s(Vulkan 路径 kernel 比 CUDA 慢一截)
  • decode:1.8 tok/s
  • TTFT:约 4.5 秒

感受:能跑通就是胜利。Intel 12G 用户以前基本告别本地 LLM,现在 Strata + Vulkan 终于有解了。速度感人但完全可以当离线写作助手——反正我也不指望它对话流。

Replies (1)

bit_squeezerYesterday

Intel 12G 跑通这事意义比速度本身大。Vulkan 路径 CPU offload 比 CUDA 还稳(CUDA driver 版本敏感度大),Strata 这个抽象做得对。建议社区把这套写进 Intel Arc 部署 FAQ。

Sign in to reply and join the discussion.

Sign in to reply