搜索实测数据

试试这些搜索

找到 202 个运行配置组合

计数为运行配置组合(模型 + 硬件 + 框架 + 量化的聚合),同一组合的多次实测已合并;原始次数见各结果的来源行。

模型Qwen3.5-27B

Qwen3.5-27B · Q6_K

L2 跨框架验证

NVIDIA RTX Spark · 128GB · llama.cpp

其他

2026-10-20

8.03 tok/s

Decode

30.64 tok/s

Prefill

1.62 s

TTFT

58.8 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 13.0 Q6_K llama.cpp v0.48 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-27B · Q8_0

L2 跨框架验证

NVIDIA RTX Spark · 128GB · llama.cpp

其他

2026-10-20

6.76 tok/s

Decode

25.64 tok/s

Prefill

2.76 s

TTFT

67.3 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 13.0 Q8_0 llama.cpp v0.41 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-27B · FP16

L2 跨框架验证

NVIDIA RTX Spark · 128GB · Ollama

其他

2026-10-20

4.9 tok/s

Decode

24.42 tok/s

Prefill

1.45 s

TTFT

107 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 13.0 FP16 Ollama v0.49 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-27B · Q6_K

L2 跨框架验证

NVIDIA RTX Spark · 128GB · Ollama

其他

2026-10-20

7.03 tok/s

Decode

31.25 tok/s

Prefill

2.12 s

TTFT

58.8 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 13.0 Q6_K Ollama v0.33 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-27B · Q8_0

L2 跨框架验证

NVIDIA RTX Spark · 128GB · Ollama

其他

2026-10-20

6.87 tok/s

Decode

25.86 tok/s

Prefill

0.78 s

TTFT

67.3 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 13.0 Q8_0 Ollama v0.48 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-27B · IQ1_S

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · Ollama

其他

2026-10-19

89.8 tok/s

Decode

459.43 tok/s

Prefill

0.62 s

TTFT

22.8 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.6 IQ1_S Ollama v0.49

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-27B · IQ3_XS

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Ollama

其他

2026-10-19

206.43 tok/s

Decode

827.13 tok/s

Prefill

0.49 s

TTFT

30.4 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.4 IQ3_XS Ollama v0.45

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-27B · Q2_K

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Strata

其他

2026-10-19

376.49 tok/s

Decode

1,620.15 tok/s

Prefill

2.12 s

TTFT

30.4 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.8 Q2_K Strata v0.40

来源:其他 · 2 次实测 · 1 个独立来源

Qwen3.5-27B · Q8_0

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · vLLM

其他

2026-10-19

18.22 tok/s

Decode

78.36 tok/s

Prefill

0.25 s

TTFT

67.3 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.4 Q8_0 vLLM v0.47 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-27B · IQ3_S

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · Ollama

其他

2026-10-19

27.26 tok/s

Decode

100.74 tok/s

Prefill

1.95 s

TTFT

39.52 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.4 IQ3_S Ollama v0.22 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-27B · Q6_K

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · Ollama

其他

2026-10-19

16.05 tok/s

Decode

66.18 tok/s

Prefill

1.36 s

TTFT

58.8 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.6 Q6_K Ollama v0.35 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-27B · Q2_K

L2 跨框架验证

Apple M5 Max · 128GB · llama.cpp

其他

2026-10-19

65.62 tok/s

Decode

279.34 tok/s

Prefill

0.56 s

TTFT

33.29 GB

VRAM

配置(最近一次实测)
macOS 26.1 Q2_K llama.cpp v0.47

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-27B · IQ2_M

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

2026-10-19

64.33 tok/s

Decode

209.5 tok/s

Prefill

0.89 s

TTFT

31.58 GB

VRAM

配置(最近一次实测)
macOS 26.1 IQ2_M Ollama v0.50 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-27B · IQ3_XS

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

2026-10-19

62.24 tok/s

Decode

282.1 tok/s

Prefill

0.81 s

TTFT

37.25 GB

VRAM

配置(最近一次实测)
macOS 26.1 IQ3_XS Ollama v0.48

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-27B · IQ1_S

L2 跨框架验证

Apple M5 Ultra · 512GB · llama.cpp

其他

2026-10-19

131.5 tok/s

Decode

444.06 tok/s

Prefill

0.28 s

TTFT

25.91 GB

VRAM

配置(最近一次实测)
macOS 26.1 IQ1_S llama.cpp v0.37 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-27B · Q3_K_S

L2 跨框架验证

Apple M5 Ultra · 512GB · Ollama

其他

2026-10-19

84 tok/s

Decode

452.07 tok/s

Prefill

0.65 s

TTFT

38.96 GB

VRAM

配置(最近一次实测)
macOS 26.1 Q3_K_S Ollama v0.29

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-27B · IQ2_XS

L2 跨框架验证

NVIDIA H20 · 97GB · vLLM

其他

2026-10-19

63.17 tok/s

Decode

260.61 tok/s

Prefill

2.16 s

TTFT

29.32 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.8 IQ2_XS vLLM v0.48

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-27B · Q8_0

L2 跨框架验证

NVIDIA H20 · 97GB · vLLM

其他

2026-10-19

27.55 tok/s

Decode

97.34 tok/s

Prefill

0.47 s

TTFT

67.3 GB

VRAM

配置(最近一次实测)
Windows 11 24H2 CUDA 12.8 Q8_0 vLLM v0.41 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-27B · IQ3_S

L2 跨框架验证

NVIDIA H20 · 97GB · Strata

其他

2026-10-19

67.46 tok/s

Decode

225.71 tok/s

Prefill

0.85 s

TTFT

39.52 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.4 IQ3_S Strata v0.30 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3.5-27B · Q4_K_M

L2 跨框架验证

NVIDIA RTX PRO 6000 Blackwell 96GB · 96GB · llama.cpp

其他

2026-10-19

181.73 tok/s

Decode

687.5 tok/s

Prefill

0.67 s

TTFT

48.59 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.4 Q4_K_M llama.cpp v0.34 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

共 202 条结果

相关模型
相关硬件
相关框架
相关量化