搜索实测数据

试试这些搜索

找到 223 个运行配置组合

计数为运行配置组合(模型 + 硬件 + 框架 + 量化的聚合),同一组合的多次实测已合并;原始次数见各结果的来源行。

模型Qwen3.5-4B

Qwen3.5-4B · Q4_K_M

L2 跨框架验证

NVIDIA RTX Spark · 128GB · llama.cpp

其他

2026-10-20

90.26 tok/s

Decode

398.49 tok/s

Prefill

0.8 s

TTFT

8.99 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 13.0 Q4_K_M llama.cpp v0.38 Flash Attention

来源:其他 · 2 次实测 · 1 个独立来源

Qwen3.5-4B · Q5_K_M

L2 跨框架验证

NVIDIA RTX Spark · 128GB · llama.cpp

其他

2026-10-20

71.83 tok/s

Decode

346.83 tok/s

Prefill

2.77 s

TTFT

9.91 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 13.0 Q5_K_M llama.cpp v0.21

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-4B · Q8_0

L2 跨框架验证

NVIDIA RTX Spark · 128GB · llama.cpp

其他

2026-10-20

64.66 tok/s

Decode

241.03 tok/s

Prefill

2.62 s

TTFT

11.76 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 13.0 Q8_0 llama.cpp v0.46 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-4B · FP16

L2 跨框架验证

NVIDIA RTX Spark · 128GB · Ollama

其他

2026-10-20

40.67 tok/s

Decode

196.29 tok/s

Prefill

1.02 s

TTFT

17.64 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 13.0 FP16 Ollama v0.46 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-4B · Q5_K_M

L2 跨框架验证

NVIDIA RTX Spark · 128GB · Ollama

其他

2026-10-20

69.06 tok/s

Decode

289.88 tok/s

Prefill

1.93 s

TTFT

9.91 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 13.0 Q5_K_M Ollama v0.41

来源:其他 · 2 次实测 · 1 个独立来源

Qwen3.5-4B · Q8_0

L2 跨框架验证

NVIDIA RTX Spark · 128GB · Ollama

其他

2026-10-20

56.21 tok/s

Decode

286.64 tok/s

Prefill

3.41 s

TTFT

11.76 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 13.0 Q8_0 Ollama v0.30

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-4B · Q3_K_S

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · llama.cpp

其他

2026-10-19

181.19 tok/s

Decode

930.71 tok/s

Prefill

1.77 s

TTFT

7.56 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.8 Q3_K_S llama.cpp v0.32 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-4B · Q3_K_L

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · Strata

其他

2026-10-19

236.63 tok/s

Decode

1,225.73 tok/s

Prefill

1.2 s

TTFT

8.15 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.6 Q3_K_L Strata v0.38

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-4B · Q2_K

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · llama.cpp

其他

2026-10-19

137.84 tok/s

Decode

685.72 tok/s

Prefill

1.34 s

TTFT

6.72 GB

VRAM

配置(最近一次实测)
Windows 11 24H2 CUDA 12.8 Q2_K llama.cpp v0.26

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-4B · Q3_K_S

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · llama.cpp

其他

2026-10-19

115.05 tok/s

Decode

556.74 tok/s

Prefill

0.12 s

TTFT

7.56 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.8 Q3_K_S llama.cpp v0.46 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-4B · Q3_K_M

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · Ollama

其他

2026-10-19

101.46 tok/s

Decode

355.86 tok/s

Prefill

1.92 s

TTFT

7.81 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.4 Q3_K_M Ollama v0.50

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-4B · Q5_K_M

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · Ollama

其他

2026-10-19

80.28 tok/s

Decode

423.81 tok/s

Prefill

0.11 s

TTFT

9.91 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.6 Q5_K_M Ollama v0.49 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-4B · Q4_K_M

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · vLLM

其他

2026-10-19

100.76 tok/s

Decode

500.94 tok/s

Prefill

2.42 s

TTFT

8.99 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.6 Q4_K_M vLLM v0.27

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-4B · Q4_K_S

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · vLLM

其他

2026-10-19

113.75 tok/s

Decode

494.84 tok/s

Prefill

0.68 s

TTFT

8.65 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.4 Q4_K_S vLLM v0.47 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-4B · Q3_K_L

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · Ollama

其他

2026-10-19

108.14 tok/s

Decode

521.92 tok/s

Prefill

1.49 s

TTFT

8.15 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.8 Q3_K_L Ollama v0.54 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-4B · Q3_K_M

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · Ollama

其他

2026-10-19

103.32 tok/s

Decode

530.53 tok/s

Prefill

1.79 s

TTFT

7.81 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.6 Q3_K_M Ollama v0.52 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-4B · IQ1_S

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · vLLM

其他

2026-10-19

332.71 tok/s

Decode

1,515.74 tok/s

Prefill

0.87 s

TTFT

5.63 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.6 IQ1_S vLLM v0.34 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-4B · Q6_K

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Strata

其他

2026-10-19

310.61 tok/s

Decode

1,498.07 tok/s

Prefill

0.99 s

TTFT

10.5 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.4 Q6_K Strata v0.55

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-4B · FP16

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · Ollama

其他

2026-10-19

104.67 tok/s

Decode

436.92 tok/s

Prefill

1.15 s

TTFT

15.2 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.4 FP16 Ollama v0.36

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-4B · Q4_K_S

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · Ollama

其他

2026-10-19

194.55 tok/s

Decode

763.79 tok/s

Prefill

1.92 s

TTFT

8.65 GB

VRAM

配置(最近一次实测)
Windows 11 24H2 CUDA 12.6 Q4_K_S Ollama v0.52 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

共 223 条结果

相关模型
相关硬件
相关框架
相关量化