Arao AI

搜索实测数据

试试这些搜索

找到 88 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型Qwen2.5-0.5B-Instruct

Qwen2.5-0.5B-Instruct · IQ4_XS

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

3 天前

319.07 tok/s

Decode

1,265.71 tok/s

Prefill

0.22 s

TTFT

2.88 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.6 IQ4_XS llama.cpp v0.47 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen2.5-0.5B-Instruct · Q8_0

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

3 天前

358.97 tok/s

Decode

1,824.25 tok/s

Prefill

1.68 s

TTFT

3.31 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.4 Q8_0 llama.cpp v0.24 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen2.5-0.5B-Instruct · IQ3_XS

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · vLLM

其他

3 天前

285.37 tok/s

Decode

1,069.59 tok/s

Prefill

1.76 s

TTFT

2.75 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 IQ3_XS vLLM v0.25 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen2.5-0.5B-Instruct · Q3_K_M

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · llama.cpp

其他

3 天前

339.19 tok/s

Decode

1,541.81 tok/s

Prefill

0.96 s

TTFT

2.81 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA N/A Q3_K_M llama.cpp v0.31 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen2.5-0.5B-Instruct · Q3_K_S

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · llama.cpp

其他

3 天前

367.02 tok/s

Decode

1,342.6 tok/s

Prefill

1.93 s

TTFT

2.78 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA N/A Q3_K_S llama.cpp v0.29 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen2.5-0.5B-Instruct · IQ2_M

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · Strata

其他

3 天前

347.23 tok/s

Decode

1,400.32 tok/s

Prefill

0.76 s

TTFT

2.65 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA N/A IQ2_M Strata v0.40

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen2.5-0.5B-Instruct · IQ2_XS

L2 跨框架验证

Apple M5 Max · 128GB · vLLM

其他

3 天前

291.82 tok/s

Decode

1,370.02 tok/s

Prefill

1.18 s

TTFT

2.6 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.8 IQ2_XS vLLM v0.34 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen2.5-0.5B-Instruct · IQ1_S

L2 跨框架验证

Apple M5 Max · 128GB · Strata

其他

3 天前

343.91 tok/s

Decode

1,513.7 tok/s

Prefill

2.2 s

TTFT

2.54 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.4 IQ1_S Strata v0.38 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen2.5-0.5B-Instruct · Q5_K_S

L2 跨框架验证

Apple M5 Max · 128GB · Strata

其他

3 天前

305.21 tok/s

Decode

1,469.7 tok/s

Prefill

1.32 s

TTFT

3.04 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.6 Q5_K_S Strata v0.36 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen2.5-0.5B-Instruct · IQ2_XS

L2 跨框架验证

NVIDIA DGX Spark · 128GB · llama.cpp

其他

3 天前

344.66 tok/s

Decode

1,710.46 tok/s

Prefill

0.34 s

TTFT

2.6 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 IQ2_XS llama.cpp v0.51 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen2.5-0.5B-Instruct · IQ2_XS

L2 跨框架验证

NVIDIA DGX Spark · 128GB · Strata

其他

3 天前

295.77 tok/s

Decode

1,437.09 tok/s

Prefill

1.77 s

TTFT

2.6 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.4 IQ2_XS Strata v0.51

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen2.5-0.5B-Instruct · Q5_K_M

L2 跨框架验证

NVIDIA DGX Spark · 128GB · Strata

其他

3 天前

294.11 tok/s

Decode

1,222.22 tok/s

Prefill

0.86 s

TTFT

3.08 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 Q5_K_M Strata v0.26

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen2.5-0.5B-Instruct · IQ1_S

L2 跨框架验证

NVIDIA Jetson AGX Orin 64GB · 64GB · llama.cpp

其他

3 天前

243.52 tok/s

Decode

900.17 tok/s

Prefill

1.32 s

TTFT

2.54 GB

VRAM

配置（最近一次实测）
JetPack 6.0 CUDA 12.6 IQ1_S llama.cpp v0.23 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen2.5-0.5B-Instruct · Q3_K_S

L2 跨框架验证

NVIDIA Jetson AGX Orin 64GB · 64GB · llama.cpp

其他

3 天前

199.9 tok/s

Decode

998.9 tok/s

Prefill

0.95 s

TTFT

2.78 GB

VRAM

配置（最近一次实测）
JetPack 6.0 CUDA 12.6 Q3_K_S llama.cpp v0.21 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen2.5-0.5B-Instruct · IQ3_XS

L2 跨框架验证

NVIDIA Jetson AGX Orin 64GB · 64GB · Strata

其他

3 天前

310.9 tok/s

Decode

1,483.77 tok/s

Prefill

1.17 s

TTFT

2.75 GB

VRAM

配置（最近一次实测）
JetPack 6.0 CUDA 12.6 IQ3_XS Strata v0.54 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen2.5-0.5B-Instruct · FP16

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · llama.cpp

其他

3 天前

124.48 tok/s

Decode

656.36 tok/s

Prefill

0.83 s

TTFT

4.04 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA N/A FP16 llama.cpp v0.47

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen2.5-0.5B-Instruct · Q6_K

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · llama.cpp

其他

3 天前

171.39 tok/s

Decode

894.49 tok/s

Prefill

1.55 s

TTFT

3.15 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA N/A Q6_K llama.cpp v0.23 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen2.5-0.5B-Instruct · Q5_K_S

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · vLLM

其他

3 天前

228.54 tok/s

Decode

950.08 tok/s

Prefill

2.25 s

TTFT

3.04 GB

VRAM

配置（最近一次实测）
macOS 15.0 CUDA N/A Q5_K_S vLLM v0.33 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen2.5-0.5B-Instruct · Q3_K_S

L2 跨框架验证

2x AMD Strix Halo · Ollama

其他

3 天前

347.47 tok/s

Decode

1,631.19 tok/s

Prefill

2.1 s

TTFT

2.78 GB

VRAM

配置（最近一次实测）
macOS 15.0 CUDA N/A Q3_K_S Ollama v0.43

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen2.5-0.5B-Instruct · Q8_0

L2 跨框架验证

2x AMD Strix Halo · Ollama

其他

3 天前

256.99 tok/s

Decode

1,220.11 tok/s

Prefill

0.82 s

TTFT

3.31 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA N/A Q8_0 Ollama v0.51

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 88 条结果

相关模型
相关硬件
相关框架
相关量化