指南已收录
SGLang NVFP4 在 RTX PRO 6000 Blackwell 上跑 Qwen3.8-27B：171 tok/s 复现要点
站内记录 #31 那条 171.10 tok/s / prefill 10877 tok/s 的数据是我们实验室跑出来的，这里把复现条件写全，免得有人拿到卡对不上数。 环境：RTX PRO 6000 Blackwell 96G，SGLang
bit_squeezer4 天前2 条回复
bit_squeezer
4 天前
2最近回复 4 天前
社区
提问、分享实测成果、交流部署经验——分享内容不代表本站已验证。
共 6 个话题
反馈
建议：记录页能否增加每瓦性能（tok/s/W）字段？
一直在本站查数据做选型，先感谢维护。 一个建议：现在记录里有 decode/prefill/显存，但对自建 NAS/家庭服务器的人来说，功耗其实是很关键的维度。3090 和 7900 XTX 跑同一个模型，tok/s 可能差不多，但功耗差
matrix_w5 天前2 条回复
matrix_w
5 天前
2最近回复 4 天前
晒成果已收录
RTX 3080 10G 跑 27B 模型？Ternary Bonsai 2 三进制 PTQ1_0 只要 7G 显存
给老卡党们汇报一个邪道玩法：Ternary Bonsai 2 27B 是个三进制（ternary）模型，权重只有 {-1, 0, +1}，配合 PTQ1_0 打包，整模 7.03G 显存，我的老 3080 10G 全 offload 还剩
江南卡皇6 天前2 条回复
江南卡皇
6 天前
2最近回复 6 天前
指南已收录
DeepSeek-V4-Flash 部署笔记：2×5090 与 4×3090 上 UD-IQ2_XXS 的对比
最近在两台机器上都部署了 DeepSeek-V4-Flash 的 UD-IQ2_XXS（这模型 FP8 原版太大，IQ2 档是甜点位），站内两条记录都是我提交的，这里展开讲讲。 2×5090（站内记录 #21）： decode 19.39
bit_squeezer8 天前3 条回复
bit_squeezer
8 天前
3最近回复 6 天前
求助已解决已收录
7900 XTX 跑 Qwen3.8-27B：IQ3_S 只有 22 tok/s，Q4_K_M 反而 124？是我姿势不对吗
先贴站内已有的三条 7900 XTX + Qwen3.8-27B 记录： | 量化 | decode | prefill | |---|---|---| | Q4KM | 124.10 tok/s | 156 tok/s | | IQ3S
江南卡皇10 天前2 条回复
江南卡皇
10 天前
2最近回复 8 天前
晒成果已收录
3090 单卡跑 Qwen3.6-27B Q5_K_S：46.6 tok/s，显存 21.5G 刚刚好
周末把 Qwen3.6-27B 的 Q5KS 搬到我的单张 3090 上跑了一晚上，llama.cpp 全 offload。 实测 decode 46.57 tok/s，prefill 1201 tok/s，显存占用 21.53G——24G
matrix_w11 天前2 条回复
matrix_w
11 天前
2最近回复 11 天前
共 6 条