Arao AI

搜索实测数据

试试这些搜索

找到 66 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型Qwen3.5-9B

Qwen3.5-9B · Q2_K

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

3 天前

277.25 tok/s

Decode

1,119.33 tok/s

Prefill

0.73 s

TTFT

12.5 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 Q2_K llama.cpp v0.40 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.5-9B · Q5_K_M

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Ollama

其他

3 天前

166 tok/s

Decode

599.13 tok/s

Prefill

2.05 s

TTFT

19.68 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.6 Q5_K_M Ollama v0.34

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.5-9B · IQ3_XS

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · vLLM

其他

3 天前

115.94 tok/s

Decode

451.93 tok/s

Prefill

0.72 s

TTFT

13.82 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA N/A IQ3_XS vLLM v0.37 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.5-9B · Q5_K_M

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · vLLM

其他

3 天前

83.86 tok/s

Decode

287.36 tok/s

Prefill

1.48 s

TTFT

19.68 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA N/A Q5_K_M vLLM v0.47 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.5-9B · Q4_K_S

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · Ollama

其他

3 天前

85.51 tok/s

Decode

324.93 tok/s

Prefill

1.46 s

TTFT

16.84 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA N/A Q4_K_S Ollama v0.54

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.5-9B · IQ3_S

L2 跨框架验证

Apple M5 Max · 128GB · vLLM

其他

3 天前

222.48 tok/s

Decode

1,168.2 tok/s

Prefill

2.41 s

TTFT

14.57 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 IQ3_S vLLM v0.35 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.5-9B · Q5_K_S

L2 跨框架验证

Apple M5 Max · 128GB · vLLM

其他

3 天前

163.05 tok/s

Decode

700.99 tok/s

Prefill

0.86 s

TTFT

19.11 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.6 Q5_K_S vLLM v0.33

来源：其他 · 2 次实测 · 1 个独立来源

查看详情

Qwen3.5-9B · Q3_K_M

L2 跨框架验证

Apple M5 Max · 128GB · Strata

其他

3 天前

284.27 tok/s

Decode

948.35 tok/s

Prefill

0.47 s

TTFT

14.95 GB

VRAM

配置（最近一次实测）
macOS 15.0 CUDA 12.8 Q3_K_M Strata v0.25 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.5-9B · Q6_K

L2 跨框架验证

NVIDIA DGX Spark · 128GB · llama.cpp

其他

3 天前

110.08 tok/s

Decode

496.59 tok/s

Prefill

0.49 s

TTFT

21 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.4 Q6_K llama.cpp v0.49 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.5-9B · Q3_K_M

L2 跨框架验证

NVIDIA DGX Spark · 128GB · Strata

其他

3 天前

209.28 tok/s

Decode

1,036.76 tok/s

Prefill

1.89 s

TTFT

14.95 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.8 Q3_K_M Strata v0.49 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.5-9B · Q3_K_S

L2 跨框架验证

NVIDIA Jetson AGX Orin 64GB · 64GB · Ollama

其他

3 天前

55.39 tok/s

Decode

272.09 tok/s

Prefill

1.38 s

TTFT

14.38 GB

VRAM

配置（最近一次实测）
JetPack 6.0 CUDA 12.6 Q3_K_S Ollama v0.23 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.5-9B · Q4_K_M

L2 跨框架验证

NVIDIA Jetson AGX Orin 64GB · 64GB · Strata

其他

3 天前

72.01 tok/s

Decode

281.13 tok/s

Prefill

2.2 s

TTFT

17.6 GB

VRAM

配置（最近一次实测）
JetPack 6.0 CUDA 12.6 Q4_K_M Strata v0.53

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.5-9B · IQ1_S

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · llama.cpp

其他

3 天前

116.24 tok/s

Decode

433.01 tok/s

Prefill

0.63 s

TTFT

10.04 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA N/A IQ1_S llama.cpp v0.28 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.5-9B · Q5_K_S

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · llama.cpp

其他

3 天前

60.47 tok/s

Decode

213.4 tok/s

Prefill

0.26 s

TTFT

19.11 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA N/A Q5_K_S llama.cpp v0.48 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.5-9B · Q4_K_S

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · Strata

其他

3 天前

105.67 tok/s

Decode

508.86 tok/s

Prefill

2.04 s

TTFT

16.84 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA N/A Q4_K_S Strata v0.42 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.5-9B · Q6_K

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · Strata

其他

3 天前

73.08 tok/s

Decode

234.71 tok/s

Prefill

0.3 s

TTFT

21 GB

VRAM

配置（最近一次实测）
macOS 15.0 CUDA N/A Q6_K Strata v0.44 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.5-9B · FP16

L2 跨框架验证

2x AMD Strix Halo · Ollama

其他

3 天前

58.36 tok/s

Decode

233.8 tok/s

Prefill

1.32 s

TTFT

37.06 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA N/A FP16 Ollama v0.27 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.5-9B · IQ3_XS

L2 跨框架验证

2x AMD Strix Halo · Strata

其他

3 天前

234.55 tok/s

Decode

886.87 tok/s

Prefill

0.55 s

TTFT

13.82 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA N/A IQ3_XS Strata v0.26 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.5-9B · IQ3_S

L2 跨框架验证

AMD Strix Point (Radeon 890M) · vLLM

其他

3 天前

65.94 tok/s

Decode

339.59 tok/s

Prefill

2.5 s

TTFT

14.57 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA N/A IQ3_S vLLM v0.21 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3.5-9B · IQ3_XS

L2 跨框架验证

AMD Strix Point (Radeon 890M) · Ollama

其他

3 天前

62.85 tok/s

Decode

248.56 tok/s

Prefill

1.31 s

TTFT

13.82 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA N/A IQ3_XS Ollama v0.45 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 66 条结果

相关模型
相关硬件
相关框架
相关量化