搜索实测数据

试试这些搜索

找到 235 个运行配置组合

计数为运行配置组合(模型 + 硬件 + 框架 + 量化的聚合),同一组合的多次实测已合并;原始次数见各结果的来源行。

模型Qwen3.5-0.8B

Qwen3.5-0.8B · Q6_K

L2 跨框架验证

NVIDIA RTX Spark · 128GB · llama.cpp

其他

2026-10-20

94.74 tok/s

Decode

304.72 tok/s

Prefill

2.7 s

TTFT

3.78 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 13.0 Q6_K llama.cpp v0.54 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-0.8B · Q8_0

L2 跨框架验证

NVIDIA RTX Spark · 128GB · llama.cpp

其他

2026-10-20

76.23 tok/s

Decode

286.92 tok/s

Prefill

2.87 s

TTFT

4.03 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 13.0 Q8_0 llama.cpp v0.54 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-0.8B · FP16

L2 跨框架验证

NVIDIA RTX Spark · 128GB · Ollama

其他

2026-10-20

57.1 tok/s

Decode

306 tok/s

Prefill

2.75 s

TTFT

5.21 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 13.0 FP16 Ollama v0.23 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-0.8B · Q8_0

L2 跨框架验证

NVIDIA RTX Spark · 128GB · Ollama

其他

2026-10-20

79.06 tok/s

Decode

361.81 tok/s

Prefill

0.86 s

TTFT

4.03 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 13.0 Q8_0 Ollama v0.29 Flash Attention

来源:其他 · 2 次实测 · 1 个独立来源

Qwen3.5-0.8B · Q4_K_S

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · vLLM

其他

2026-10-19

348.73 tok/s

Decode

1,496.87 tok/s

Prefill

0.87 s

TTFT

3.41 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.6 Q4_K_S vLLM v0.52

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-0.8B · Q8_0

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · vLLM

其他

2026-10-19

196.67 tok/s

Decode

827.33 tok/s

Prefill

1.89 s

TTFT

4.03 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.8 Q8_0 vLLM v0.25 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-0.8B · Q3_K_M

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · Strata

其他

2026-10-19

312 tok/s

Decode

1,593.74 tok/s

Prefill

0.55 s

TTFT

3.24 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.8 Q3_K_M Strata v0.22 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-0.8B · Q5_K_S

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · llama.cpp

其他

2026-10-19

157.88 tok/s

Decode

604.44 tok/s

Prefill

0.39 s

TTFT

3.61 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.6 Q5_K_S llama.cpp v0.50

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-0.8B · IQ2_M

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · Ollama

其他

2026-10-19

246.2 tok/s

Decode

1,112.28 tok/s

Prefill

2.3 s

TTFT

2.97 GB

VRAM

配置(最近一次实测)
Windows 11 24H2 CUDA 12.4 IQ2_M Ollama v0.45 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-0.8B · IQ2_XS

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · llama.cpp

其他

2026-10-19

280.58 tok/s

Decode

1,056.43 tok/s

Prefill

1.71 s

TTFT

2.91 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.6 IQ2_XS llama.cpp v0.33 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-0.8B · Q4_K_M

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · Ollama

其他

2026-10-19

171.2 tok/s

Decode

687.99 tok/s

Prefill

0.81 s

TTFT

3.48 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.4 Q4_K_M Ollama v0.34

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-0.8B · Q5_K_S

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · vLLM

其他

2026-10-19

316.53 tok/s

Decode

1,148.64 tok/s

Prefill

2.15 s

TTFT

3.61 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.8 Q5_K_S vLLM v0.22

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-0.8B · Q3_K_M

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Ollama

其他

2026-10-19

315.13 tok/s

Decode

1,204.27 tok/s

Prefill

1.54 s

TTFT

3.24 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.6 Q3_K_M Ollama v0.28 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-0.8B · IQ3_S

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · vLLM

其他

2026-10-19

323.11 tok/s

Decode

1,397.43 tok/s

Prefill

0.23 s

TTFT

3.21 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.8 IQ3_S vLLM v0.42

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-0.8B · Q4_K_S

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · Ollama

其他

2026-10-19

368.6 tok/s

Decode

1,525.44 tok/s

Prefill

1.58 s

TTFT

3.41 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.4 Q4_K_S Ollama v0.45

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-0.8B · Q5_K_M

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · Ollama

其他

2026-10-19

319.12 tok/s

Decode

1,528.98 tok/s

Prefill

1.41 s

TTFT

3.66 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.8 Q5_K_M Ollama v0.40 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-0.8B · FP16

L2 跨框架验证

NVIDIA RTX 3060 12GB · 12GB · llama.cpp

其他

2026-10-19

72.92 tok/s

Decode

274.88 tok/s

Prefill

1.59 s

TTFT

5.21 GB

VRAM

配置(最近一次实测)
Windows 11 24H2 CUDA 12.8 FP16 llama.cpp v0.26 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-0.8B · Q5_K_S

L2 跨框架验证

NVIDIA RTX 3060 12GB · 12GB · llama.cpp

其他

2026-10-19

132.45 tok/s

Decode

600.24 tok/s

Prefill

1.08 s

TTFT

3.61 GB

VRAM

配置(最近一次实测)
Windows 11 24H2 CUDA 12.6 Q5_K_S llama.cpp v0.51 Flash Attention

来源:其他 · 2 次实测 · 1 个独立来源

Qwen3.5-0.8B · Q3_K_S

L2 跨框架验证

NVIDIA RTX 3060 12GB · 12GB · Ollama

其他

2026-10-19

138.92 tok/s

Decode

607.45 tok/s

Prefill

1.83 s

TTFT

3.19 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.4 Q3_K_S Ollama v0.51

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-0.8B · Q3_K_S

L2 跨框架验证

NVIDIA RTX 4080 Super · 16GB · vLLM

其他

2026-10-19

302.38 tok/s

Decode

993.94 tok/s

Prefill

0.65 s

TTFT

3.19 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.6 Q3_K_S vLLM v0.48 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

共 235 条结果

相关模型
相关硬件
相关框架
相关量化