Arao AI

搜索实测数据

试试这些搜索

找到 39 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型Qwen3.6-27B

Qwen3.6-27B · FP16

L2 跨框架验证

NVIDIA RTX Spark · 128GB · llama.cpp

其他

16 天前

5.5 tok/s

Decode

19.76 tok/s

Prefill

1.91 s

TTFT

107 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 FP16 llama.cpp v0.41

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.6-27B · Q5_K_M

L2 跨框架验证

NVIDIA RTX Spark · 128GB · llama.cpp

其他

16 天前

8.41 tok/s

Decode

32.22 tok/s

Prefill

1.31 s

TTFT

54.83 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q5_K_M llama.cpp v0.50

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.6-27B · Q8_0

L2 跨框架验证

NVIDIA RTX Spark · 128GB · llama.cpp

其他

16 天前

7.68 tok/s

Decode

32.82 tok/s

Prefill

2.63 s

TTFT

67.3 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q8_0 llama.cpp v0.37 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.6-27B · Q5_K_M

L2 跨框架验证

NVIDIA RTX Spark · 128GB · Ollama

其他

16 天前

8.83 tok/s

Decode

30.38 tok/s

Prefill

2.48 s

TTFT

54.83 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q5_K_M Ollama v0.43 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.6-27B · Q8_0

L2 跨框架验证

NVIDIA RTX Spark · 128GB · Ollama

其他

16 天前

6.72 tok/s

Decode

25.96 tok/s

Prefill

3.19 s

TTFT

67.3 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q8_0 Ollama v0.29 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.6-27B · IQ1_S

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · vLLM

其他

17 天前

96.12 tok/s

Decode

373.79 tok/s

Prefill

0.28 s

TTFT

22.8 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.4 IQ1_S vLLM v0.25 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.6-27B · IQ3_XS

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · llama.cpp

其他

17 天前

27.72 tok/s

Decode

124.12 tok/s

Prefill

1.55 s

TTFT

37.25 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 IQ3_XS llama.cpp v0.22 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.6-27B · FP16

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · Ollama

其他

17 天前

12 tok/s

Decode

64.43 tok/s

Prefill

1.25 s

TTFT

107 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.6 FP16 Ollama v0.21 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.6-27B · IQ1_S

L2 跨框架验证

Apple M5 Max · 128GB · llama.cpp

其他

17 天前

83.43 tok/s

Decode

309.76 tok/s

Prefill

0.15 s

TTFT

25.91 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ1_S llama.cpp v0.29

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.6-27B · IQ4_XS

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

17 天前

48.58 tok/s

Decode

245.06 tok/s

Prefill

0.78 s

TTFT

44.06 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ4_XS Ollama v0.32 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.6-27B · IQ3_XS

L2 跨框架验证

Apple M5 Ultra · 512GB · llama.cpp

其他

17 天前

91.11 tok/s

Decode

454.84 tok/s

Prefill

1.45 s

TTFT

37.25 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ3_XS llama.cpp v0.21 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.6-27B · Q4_K_S

L2 跨框架验证

Apple M5 Ultra · 512GB · llama.cpp

其他

17 天前

81.06 tok/s

Decode

387.21 tok/s

Prefill

1.78 s

TTFT

46.33 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q4_K_S llama.cpp v0.33

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.6-27B · IQ3_S

L2 跨框架验证

Apple M5 Ultra · 512GB · Ollama

其他

17 天前

85.88 tok/s

Decode

388.53 tok/s

Prefill

0.99 s

TTFT

39.52 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ3_S Ollama v0.28 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.6-27B · Q6_K

L2 跨框架验证

Apple M5 Ultra · 512GB · Ollama

其他

17 天前

53.29 tok/s

Decode

218.93 tok/s

Prefill

2.01 s

TTFT

58.8 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q6_K Ollama v0.24 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.6-27B · Q8_0

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · vLLM

其他

17 天前

234.17 tok/s

Decode

755.94 tok/s

Prefill

1.52 s

TTFT

67.3 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.8 Q8_0 vLLM v0.46

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.6-27B · Q3_K_S

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · Strata

其他

17 天前

335.33 tok/s

Decode

1,692.56 tok/s

Prefill

2.12 s

TTFT

38.96 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 13.0 Q3_K_S Strata v0.33 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.6-27B · Q8_0

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · Strata

其他

17 天前

297.87 tok/s

Decode

1,046.41 tok/s

Prefill

2.1 s

TTFT

67.3 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 13.0 Q8_0 Strata v0.39 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.6-27B · Q3_K_S

L2 跨框架验证

NVIDIA H20 · 97GB · vLLM

其他

17 天前

48.48 tok/s

Decode

199.47 tok/s

Prefill

1.89 s

TTFT

38.96 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 Q3_K_S vLLM v0.22 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.6-27B · Q4_K_M

L2 跨框架验证

NVIDIA H20 · 97GB · Ollama

其他

17 天前

32.97 tok/s

Decode

115.23 tok/s

Prefill

2.19 s

TTFT

48.59 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.6 Q4_K_M Ollama v0.27 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.6-27B · IQ1_S

L2 跨框架验证

NVIDIA RTX PRO 6000 Blackwell 96GB · 96GB · llama.cpp

其他

17 天前

267.34 tok/s

Decode

934.02 tok/s

Prefill

1.04 s

TTFT

25.91 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.8 IQ1_S llama.cpp v0.42 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 39 条结果

相关模型
相关硬件
相关框架
相关量化