ShowcaseVerified
3090 单卡跑 Qwen3.6-27B Q5_K_S:46.6 tok/s,显存 21.5G 刚刚好
周末把 Qwen3.6-27B 的 Q5KS 搬到我的单张 3090 上跑了一晚上,llama.cpp 全 offload。 实测 decode 46.57 tok/s,prefill 1201 tok/s,显存占用 21.53G——24G
matrix_w2026-09-222 replies
matrix_w
2026-09-22
2last reply 2026-09-22