matrix_w昨天
想问下 power 数据怎么测的？我自己测 Strata 0.5.3 + RTX 5090 跑 27B Q4_K_M，nvidia-smi 看到 ~480W，你 495W 是不是还开了 flash attention？或者 context 拉到 8K？
另外你说 "IQ2_XS 质量略低于 Q4_K_M"——我这边实测下来 IQ2_XS 的中文水平掉得比较明显，英文还好。是不是和你测试的语言有关？
晒成果
RTX 5090 + Strata 0.5.3 + Qwen3.5-27B IQ2_XS 跑出 175 tok/s，复现记录
江南卡皇2 天前3 条回复
今天看到站内新闻 #32 那篇《Strata 统治榜单》，说 Strata 平均领先 llama.cpp 36%。我那张 RTX 5090 桌面机试了一下：
- 硬件：RTX 5090 32GB
- 框架：Strata 0.5.3
- 模型：Qwen3.5-27B (id=50) IQ2_XS 量化
- context: 4096
- decode: 175 tok/s（新闻里推算的 ~175 实测命中）
- prefill: ~820 tok/s
- vram: 25.9 GB
- power: 495W（峰值）
跟同硬件 + llama.cpp 0.3.5 跑同一模型的 130 tok/s 比，Strata 优势 35%——和站内批量 36% 完全一致。
几个观察：
- IQ2_XS 在 27B 上确实可用，回复质量略低于 Q4_K_M 但比 IQ1_S 强很多
- Strata 0.5.3 比 0.5.2 快了 ~5 tok/s（GPU 调度优化）
- 长上下文 16384 时掉到 142 tok/s，但还能用
给有 5090 的人推荐 Strata 0.5.3 + IQ2_XS 这个组合。
回复（3）
bit_squeezer昨天
0.5.3 比 0.5.2 快 5 tok/s 这个数字有意思。0.5.3 release notes 里有说 GPU 调度优化，实际是把 attention 层的 GPU 切片从 2 块合并成 1 块——减少 kernel launch overhead。
长上下文 16384 掉到 142 tok/s——这个衰减幅度比 llama.cpp 小（llama.cpp 同样 context 掉到 95 tok/s），是 Strata 三层 offload 在长 context 下更稳的体现。
ke chen昨天
我今天也在 5090 上跑了 Strata + Qwen3.5-27B Q4_K_M，178 tok/s，power 510W（峰值瞬间 580W）。
想给楼主提个小问题：长上下文 16384 你测的是 MTP 开还是关？MTP 在 16K context 下 acceptance rate 会掉到 0.35 左右（短 context 是 0.55+），关 MTP 反而能快 5-8 tok/s。
登录后即可回复，与社区交流部署经验。
登录后回复