搜索实测数据

试试这些搜索

找到 104 个运行配置组合

计数为运行配置组合(模型 + 硬件 + 框架 + 量化的聚合),同一组合的多次实测已合并;原始次数见各结果的来源行。

模型Qwen2.5-Omni-3B

Qwen2.5-Omni-3B · IQ4_XS

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

2026-10-15

375.39 tok/s

Decode

1,839.32 tok/s

Prefill

1.93 s

TTFT

6.76 GB

VRAM

配置(最近一次实测)
macOS 15.0 CUDA 12.4 IQ4_XS llama.cpp v0.40 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen2.5-Omni-3B · Q6_K

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

2026-10-15

277.82 tok/s

Decode

934.6 tok/s

Prefill

0.26 s

TTFT

8.4 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.8 Q6_K llama.cpp v0.28

来源:其他 · 1 次实测 · 1 个独立来源

Qwen2.5-Omni-3B · FP16

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Strata

其他

2026-10-15

238.76 tok/s

Decode

798.02 tok/s

Prefill

1.22 s

TTFT

13.76 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.6 FP16 Strata v0.31 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen2.5-Omni-3B · IQ3_S

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Strata

其他

2026-10-15

359.64 tok/s

Decode

1,323.17 tok/s

Prefill

0.17 s

TTFT

6.26 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.8 IQ3_S Strata v0.30 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen2.5-Omni-3B · IQ3_S

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · vLLM

其他

2026-10-15

201.15 tok/s

Decode

1,047.45 tok/s

Prefill

0.31 s

TTFT

6.26 GB

VRAM

配置(最近一次实测)
macOS 15.0 CUDA N/A IQ3_S vLLM v0.42

来源:其他 · 1 次实测 · 1 个独立来源

Qwen2.5-Omni-3B · Q2_K

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · vLLM

其他

2026-10-15

204.49 tok/s

Decode

918.23 tok/s

Prefill

2.46 s

TTFT

5.57 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA N/A Q2_K vLLM v0.36 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen2.5-Omni-3B · Q4_K_M

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · Strata

其他

2026-10-15

218.64 tok/s

Decode

754.88 tok/s

Prefill

1.97 s

TTFT

7.27 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA N/A Q4_K_M Strata v0.36

来源:其他 · 1 次实测 · 1 个独立来源

Qwen2.5-Omni-3B · Q8_0

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · Strata

其他

2026-10-15

147.88 tok/s

Decode

774.09 tok/s

Prefill

0.12 s

TTFT

9.35 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA N/A Q8_0 Strata v0.35 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen2.5-Omni-3B · IQ3_S

L2 跨框架验证

Apple M5 Max · 128GB · llama.cpp

其他

2026-10-15

341.31 tok/s

Decode

1,584.99 tok/s

Prefill

1.01 s

TTFT

6.26 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.4 IQ3_S llama.cpp v0.31 Flash Attention

来源:其他 · 2 次实测 · 1 个独立来源

Qwen2.5-Omni-3B · Q6_K

L2 跨框架验证

Apple M5 Max · 128GB · llama.cpp

其他

2026-10-15

221.16 tok/s

Decode

1,117.52 tok/s

Prefill

0.72 s

TTFT

8.4 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.4 Q6_K llama.cpp v0.29

来源:其他 · 1 次实测 · 1 个独立来源

Qwen2.5-Omni-3B · Q8_0

L2 跨框架验证

Apple M5 Max · 128GB · Strata

其他

2026-10-15

241.28 tok/s

Decode

991.2 tok/s

Prefill

0.21 s

TTFT

9.35 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.4 Q8_0 Strata v0.38 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen2.5-Omni-3B · Q3_K_M

L2 跨框架验证

NVIDIA DGX Spark · 128GB · vLLM

其他

2026-10-15

258.63 tok/s

Decode

1,322.45 tok/s

Prefill

0.49 s

TTFT

6.38 GB

VRAM

配置(最近一次实测)
macOS 15.0 CUDA 12.6 Q3_K_M vLLM v0.50

来源:其他 · 1 次实测 · 1 个独立来源

Qwen2.5-Omni-3B · Q5_K_M

L2 跨框架验证

NVIDIA DGX Spark · 128GB · vLLM

其他

2026-10-15

183.75 tok/s

Decode

675.77 tok/s

Prefill

1.58 s

TTFT

7.96 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.4 Q5_K_M vLLM v0.27 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen2.5-Omni-3B · IQ2_M

L2 跨框架验证

NVIDIA DGX Spark · 128GB · Ollama

其他

2026-10-15

292.67 tok/s

Decode

1,302.54 tok/s

Prefill

0.89 s

TTFT

5.38 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.6 IQ2_M Ollama v0.43

来源:其他 · 1 次实测 · 1 个独立来源

Qwen2.5-Omni-3B · IQ1_S

L2 跨框架验证

NVIDIA Jetson AGX Orin 64GB · 64GB · vLLM

其他

2026-10-15

135.17 tok/s

Decode

565.39 tok/s

Prefill

1.13 s

TTFT

4.75 GB

VRAM

配置(最近一次实测)
JetPack 6.0 CUDA 12.6 IQ1_S vLLM v0.46

来源:其他 · 1 次实测 · 1 个独立来源

Qwen2.5-Omni-3B · Q2_K

L2 跨框架验证

NVIDIA Jetson AGX Orin 64GB · 64GB · vLLM

其他

2026-10-15

118.95 tok/s

Decode

465.31 tok/s

Prefill

0.53 s

TTFT

5.57 GB

VRAM

配置(最近一次实测)
JetPack 6.0 CUDA 12.6 Q2_K vLLM v0.45 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen2.5-Omni-3B · Q3_K_S

L2 跨框架验证

NVIDIA Jetson AGX Orin 64GB · 64GB · Strata

其他

2026-10-15

147.6 tok/s

Decode

732.7 tok/s

Prefill

0.59 s

TTFT

6.2 GB

VRAM

配置(最近一次实测)
JetPack 6.0 CUDA 12.6 Q3_K_S Strata v0.27 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen2.5-Omni-3B · IQ4_XS

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · llama.cpp

其他

2026-10-15

127.7 tok/s

Decode

503.71 tok/s

Prefill

0.82 s

TTFT

6.76 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA N/A IQ4_XS llama.cpp v0.34 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen2.5-Omni-3B · Q4_K_S

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · Ollama

其他

2026-10-15

115.67 tok/s

Decode

506.03 tok/s

Prefill

0.87 s

TTFT

7.01 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA N/A Q4_K_S Ollama v0.24

来源:其他 · 1 次实测 · 1 个独立来源

Qwen2.5-Omni-3B · Q5_K_M

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · Ollama

其他

2026-10-15

87.89 tok/s

Decode

401.06 tok/s

Prefill

1.13 s

TTFT

7.96 GB

VRAM

配置(最近一次实测)
macOS 15.0 CUDA N/A Q5_K_M Ollama v0.47 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

共 104 条结果

相关模型
相关硬件
相关框架
相关量化