搜索实测数据

试试这些搜索

找到 4 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型Qwen3.5-35B-A3B

Qwen3.5-35B-A3B · Q4_K_M

L0 自报

Apple M5 Max · 128GB · llama.cpp

其他

今天

21.9 tok/s

Decode

164.3 tok/s

Prefill

0.61 s

TTFT

22.4 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Qwen3.5-35B-A3B · Q5_K_M

L0 自报

NVIDIA RTX 5080 SUPER · 24GB · llama.cpp

其他

今天

32.7 tok/s

Decode

245.3 tok/s

Prefill

0.41 s

TTFT

24 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q5_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Qwen3.5-35B-A3B · Q4_K_M

L0 自报

NVIDIA RTX 5090 · 32GB · vLLM

其他

今天

69.6 tok/s

Decode

522 tok/s

Prefill

0.19 s

TTFT

22.4 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q4_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Qwen3.5-35B-A3B · Q4_K_M

L0 自报

NVIDIA RTX 4090 · 24GB · llama.cpp

其他

今天

35.9 tok/s

Decode

269.3 tok/s

Prefill

0.37 s

TTFT

22.4 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

共 4 条结果