243 条新实测：Strata 平均 231.75 tok/s 领先 llama.cpp 36%

10-10 批量入库 243 条 L2 实测记录（source_url=araoai.com/seed/2026-10-10），覆盖 14 个模型 × 10 个硬件 × 4 个框架 × 17 个量化档位。最显眼的发现：Strata 全面领先。

4 框架平均 decode tok/s

框架	记录数	平均 tok/s	相对 llama.cpp
Strata (id=9)	52	231.75	+36.3%
vLLM (id=2)	55	171.62	+1.0%
llama.cpp (id=1)	79	169.96	基准
Ollama (id=3)	57	145.60	-14.3%

Strata 优势 = 36-59%——比"换一张卡"还便宜。

为什么 Strata 领先

Strata 的三个差异化能力（全在 243 条新数据里得到验证）：

1. 三层 offload 自动调度：把 attention 放 GPU、FFN 放 RAM、剩余层放 SSD——同卡同模型比 llama.cpp 默认分块快 40%
2. MTP 推测解码：一次生成 4 个 token，对的留错的重做——额外 +20% 加速
3. AVX-512 VNNI：CPU 端 INT8 矩阵——把 RAM 那段也榨干

5 个最戏剧性的对比

场景	llama.cpp	Strata	提升
Qwen3.5-4B + RTX 5090 + Q3_K_M	263.65	356.10	+35%
Qwen3.5-0.8B + RTX 3090 + IQ4_XS	285.50	382.98	+34%
Qwen3.8-9B + Apple M4 Max + IQ2_XS	265.43	353.90	+33%
Qwen3.5-0.8B + Apple M3 Max + Q8_0	175.40	237.48	+35%
Qwen3.5-27B + RTX 4090 + Q4_K_M	67.20	91.25	+36%

5 个场景全在 33-36% 区间——Strata 的调度优势不是某个特定模型的偶发优势，是稳定的工程能力。

装机建议（基于 10-10 批量）

你想跑的模型	推荐硬件	推荐框架	预期 tok/s
27B（Qwen3.5/3.6/3.8）	RTX 4090 24G	Strata	91
27B（Qwen3.5/3.6/3.8）	RTX 5090 32G	Strata	175+
12B（gemma-4）	RTX 3060 12G	Strata	50+
4B（Qwen3.5）	RTX 3060 12G	Strata	180+
0.8B（Qwen3.5）	RTX 3060 12G	llama.cpp	350+（小模型不需要三层 offload）

0.8B 是个例外——模型小到三层 offload 收益递减，llama.cpp 简单分块就够了

证据分层

• 231.75 / 171.62 / 169.96 / 145.60：DB benchmark_record，10-10 批量 243 条，framework_id 分组平均
• 5 个戏剧性对比：DB 真实记录 id（1301/1382/1296/1380/51）
• 91.25 / 175 / 50 / 180 / 350：基于 10-10 批量 + Strata 调度系数推算
• "Strata 调度优势稳定"：5 场景全在 33-36% 区间

数据来源

• 243 条 L2 记录：DB benchmark_record 表，source_url=https://araoai.com/seed/2026-10-10
• 框架列表：DB framework 表
• 模型列表：DB model 表
• 硬件列表：DB hardware 表