Arao AI

搜索实测数据

试试这些搜索

找到 119 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型Qwen3.8-27B

Qwen3.8-27B · Q5_K_M

L2 跨框架验证

NVIDIA RTX Spark · 128GB · llama.cpp

其他

16 天前

8.81 tok/s

Decode

37.51 tok/s

Prefill

2.19 s

TTFT

54.83 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q5_K_M llama.cpp v0.36 Flash Attention

来源：其他 · 2 次实测 · 1 个独立来源

查看详情

Qwen3.8-27B · Q8_0

L2 跨框架验证

NVIDIA RTX Spark · 128GB · llama.cpp

其他

16 天前

6.42 tok/s

Decode

24.36 tok/s

Prefill

0.53 s

TTFT

67.3 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q8_0 llama.cpp v0.33 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.8-27B · Q5_K_M

L2 跨框架验证

NVIDIA RTX Spark · 128GB · Ollama

其他

16 天前

7.6 tok/s

Decode

28.29 tok/s

Prefill

2.88 s

TTFT

54.83 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q5_K_M Ollama v0.26 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.8-27B · Q6_K

L2 跨框架验证

NVIDIA RTX Spark · 128GB · Ollama

其他

16 天前

7.47 tok/s

Decode

38.07 tok/s

Prefill

1.92 s

TTFT

58.8 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q6_K Ollama v0.30 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.8-27B · Q8_0

L2 跨框架验证

NVIDIA RTX Spark · 128GB · Ollama

其他

16 天前

6.14 tok/s

Decode

31.39 tok/s

Prefill

1.35 s

TTFT

67.3 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q8_0 Ollama v0.37

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.8-27B · IQ1_S

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · vLLM

其他

17 天前

68.56 tok/s

Decode

341.84 tok/s

Prefill

1.19 s

TTFT

22.8 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 IQ1_S vLLM v0.51

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.8-27B · IQ2_M

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

17 天前

200.6 tok/s

Decode

837.93 tok/s

Prefill

2.39 s

TTFT

30.4 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.4 IQ2_M llama.cpp v0.25 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.8-27B · FP16

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · vLLM

其他

17 天前

9.75 tok/s

Decode

49.87 tok/s

Prefill

2.04 s

TTFT

107 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 FP16 vLLM v0.45 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.8-27B · Q8_0

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · vLLM

其他

17 天前

13.23 tok/s

Decode

57.54 tok/s

Prefill

2.09 s

TTFT

67.3 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 Q8_0 vLLM v0.37 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.8-27B · Q3_K_L

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · Ollama

其他

17 天前

19.34 tok/s

Decode

100.78 tok/s

Prefill

0.82 s

TTFT

42.92 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 Q3_K_L Ollama v0.28

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.8-27B · Q3_K_L

L2 跨框架验证

Apple M5 Max · 128GB · llama.cpp

其他

17 天前

42.74 tok/s

Decode

158.84 tok/s

Prefill

1.45 s

TTFT

42.92 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q3_K_L llama.cpp v0.46 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.8-27B · Q6_K

L2 跨框架验证

Apple M5 Max · 128GB · llama.cpp

其他

17 天前

30.73 tok/s

Decode

132.88 tok/s

Prefill

0.81 s

TTFT

58.8 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q6_K llama.cpp v0.48 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.8-27B · IQ3_XS

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

17 天前

46.88 tok/s

Decode

178.13 tok/s

Prefill

0.6 s

TTFT

37.25 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ3_XS Ollama v0.49

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.8-27B · IQ2_XS

L2 跨框架验证

Apple M5 Ultra · 512GB · llama.cpp

其他

17 天前

89.58 tok/s

Decode

565.47 tok/s

Prefill

0.33 s

TTFT

19.46 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ2_XS llama.cpp v0.47 Flash Attention

来源：其他 · 2 次实测 · 1 个独立来源

查看详情

Qwen3.8-27B · Q2_K

L2 跨框架验证

Apple M5 Ultra · 512GB · Ollama

其他

17 天前

74.38 tok/s

Decode

283.32 tok/s

Prefill

1.58 s

TTFT

33.29 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q2_K Ollama v0.45 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.8-27B · Q3_K_S

L2 跨框架验证

Apple M5 Ultra · 512GB · Ollama

其他

17 天前

60.73 tok/s

Decode

250.32 tok/s

Prefill

0.69 s

TTFT

38.96 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q3_K_S Ollama v0.54

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.8-27B · Q4_K_M

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · vLLM

其他

17 天前

224.13 tok/s

Decode

1,208.86 tok/s

Prefill

0.75 s

TTFT

48.59 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q4_K_M vLLM v0.40 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.8-27B · Q5_K_M

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · vLLM

其他

17 天前

206.52 tok/s

Decode

1,029.93 tok/s

Prefill

0.84 s

TTFT

54.83 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 Q5_K_M vLLM v0.41 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.8-27B · IQ2_M

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · Strata

其他

17 天前

325.92 tok/s

Decode

1,772.8 tok/s

Prefill

0.35 s

TTFT

31.58 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 IQ2_M Strata v0.49

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.8-27B · IQ2_XS

L2 跨框架验证

NVIDIA H20 · 97GB · llama.cpp

其他

17 天前

42.1 tok/s

Decode

229.32 tok/s

Prefill

2.23 s

TTFT

29.32 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 IQ2_XS llama.cpp v0.50

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 119 条结果

相关模型
相关硬件
相关框架
相关量化