晒成果已收录
3090 单卡跑 Qwen3.6-27B Q5_K_S:46.6 tok/s,显存 21.5G 刚刚好
周末把 Qwen3.6-27B 的 Q5KS 搬到我的单张 3090 上跑了一晚上,llama.cpp 全 offload。 实测 decode 46.57 tok/s,prefill 1201 tok/s,显存占用 21.53G——24G
matrix_w2026-09-222 条回复
matrix_w
2026-09-22
2最近回复 2026-09-22
提问、分享实测成果、交流部署经验——分享内容不代表本站已验证。
周末把 Qwen3.6-27B 的 Q5KS 搬到我的单张 3090 上跑了一晚上,llama.cpp 全 offload。 实测 decode 46.57 tok/s,prefill 1201 tok/s,显存占用 21.53G——24G
共 1 条