搜索实测数据

试试这些搜索

找到 102 个运行配置组合

计数为运行配置组合(模型 + 硬件 + 框架 + 量化的聚合),同一组合的多次实测已合并;原始次数见各结果的来源行。

模型Qwen3-4B-Thinking-2507

Qwen3-4B-Thinking-2507 · Q2_K

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

2026-10-15

392.48 tok/s

Decode

1,604.11 tok/s

Prefill

0.17 s

TTFT

6.72 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.8 Q2_K llama.cpp v0.33

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B-Thinking-2507 · Q8_0

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

2026-10-15

184.55 tok/s

Decode

803.14 tok/s

Prefill

1.75 s

TTFT

11.76 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.4 Q8_0 llama.cpp v0.47 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B-Thinking-2507 · IQ2_M

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · vLLM

其他

2026-10-15

386.87 tok/s

Decode

1,842.03 tok/s

Prefill

2.34 s

TTFT

6.47 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.8 IQ2_M vLLM v0.49

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B-Thinking-2507 · Q3_K_L

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · vLLM

其他

2026-10-15

337.16 tok/s

Decode

1,247.18 tok/s

Prefill

0.59 s

TTFT

8.15 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.4 Q3_K_L vLLM v0.43 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B-Thinking-2507 · Q5_K_M

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · llama.cpp

其他

2026-10-15

107.36 tok/s

Decode

478 tok/s

Prefill

0.7 s

TTFT

9.91 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA N/A Q5_K_M llama.cpp v0.47 Flash Attention

来源:其他 · 2 次实测 · 1 个独立来源

Qwen3-4B-Thinking-2507 · Q8_0

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · llama.cpp

其他

2026-10-15

78.29 tok/s

Decode

263.52 tok/s

Prefill

0.96 s

TTFT

11.76 GB

VRAM

配置(最近一次实测)
macOS 15.0 CUDA N/A Q8_0 llama.cpp v0.51

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B-Thinking-2507 · Q3_K_S

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · Ollama

其他

2026-10-15

145.01 tok/s

Decode

581.64 tok/s

Prefill

2 s

TTFT

7.56 GB

VRAM

配置(最近一次实测)
macOS 15.0 CUDA N/A Q3_K_S Ollama v0.53

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B-Thinking-2507 · Q5_K_S

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

2026-10-15

192.3 tok/s

Decode

1,031.35 tok/s

Prefill

0.19 s

TTFT

9.66 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.6 Q5_K_S Ollama v0.54 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B-Thinking-2507 · Q5_K_M

L2 跨框架验证

Apple M5 Max · 128GB · Strata

其他

2026-10-15

281.24 tok/s

Decode

1,191.19 tok/s

Prefill

0.52 s

TTFT

9.91 GB

VRAM

配置(最近一次实测)
macOS 15.0 CUDA 12.6 Q5_K_M Strata v0.40 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B-Thinking-2507 · IQ1_S

L2 跨框架验证

NVIDIA DGX Spark · 128GB · vLLM

其他

2026-10-15

291.5 tok/s

Decode

1,360.04 tok/s

Prefill

1.03 s

TTFT

5.63 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.4 IQ1_S vLLM v0.33 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B-Thinking-2507 · Q5_K_M

L2 跨框架验证

NVIDIA DGX Spark · 128GB · vLLM

其他

2026-10-15

151.71 tok/s

Decode

832.95 tok/s

Prefill

2.16 s

TTFT

9.91 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.4 Q5_K_M vLLM v0.55 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B-Thinking-2507 · Q5_K_M

L2 跨框架验证

NVIDIA DGX Spark · 128GB · Strata

其他

2026-10-15

220.61 tok/s

Decode

780.86 tok/s

Prefill

1.84 s

TTFT

9.91 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.8 Q5_K_M Strata v0.54 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B-Thinking-2507 · Q3_K_S

L2 跨框架验证

NVIDIA Jetson AGX Orin 64GB · 64GB · vLLM

其他

2026-10-15

89.8 tok/s

Decode

485.57 tok/s

Prefill

1.3 s

TTFT

7.56 GB

VRAM

配置(最近一次实测)
JetPack 6.0 CUDA 12.6 Q3_K_S vLLM v0.52

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B-Thinking-2507 · Q5_K_S

L2 跨框架验证

NVIDIA Jetson AGX Orin 64GB · 64GB · vLLM

其他

2026-10-15

57.15 tok/s

Decode

278.01 tok/s

Prefill

1.97 s

TTFT

9.66 GB

VRAM

配置(最近一次实测)
JetPack 6.0 CUDA 12.6 Q5_K_S vLLM v0.26

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B-Thinking-2507 · Q2_K

L2 跨框架验证

NVIDIA Jetson AGX Orin 64GB · 64GB · Ollama

其他

2026-10-15

77.04 tok/s

Decode

283.31 tok/s

Prefill

1.72 s

TTFT

6.72 GB

VRAM

配置(最近一次实测)
JetPack 6.0 CUDA 12.6 Q2_K Ollama v0.54 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B-Thinking-2507 · Q3_K_S

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · llama.cpp

其他

2026-10-15

117.04 tok/s

Decode

404.22 tok/s

Prefill

1.25 s

TTFT

7.56 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA N/A Q3_K_S llama.cpp v0.26

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B-Thinking-2507 · Q5_K_M

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · llama.cpp

其他

2026-10-15

77.99 tok/s

Decode

423.17 tok/s

Prefill

0.35 s

TTFT

9.91 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA N/A Q5_K_M llama.cpp v0.39 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B-Thinking-2507 · IQ2_XS

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · Strata

其他

2026-10-15

206.18 tok/s

Decode

1,005.37 tok/s

Prefill

1.09 s

TTFT

6.13 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA N/A IQ2_XS Strata v0.47

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B-Thinking-2507 · IQ3_S

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · Strata

其他

2026-10-15

166.26 tok/s

Decode

669.87 tok/s

Prefill

0.77 s

TTFT

7.64 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA N/A IQ3_S Strata v0.28 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B-Thinking-2507 · Q3_K_M

L2 跨框架验证

2x AMD Strix Halo · llama.cpp

其他

2026-10-15

181.31 tok/s

Decode

944.53 tok/s

Prefill

2.23 s

TTFT

7.81 GB

VRAM

配置(最近一次实测)
macOS 15.0 CUDA N/A Q3_K_M llama.cpp v0.24 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

共 102 条结果

相关模型
相关硬件
相关框架
相关量化