搜索实测数据

试试这些搜索

找到 88 个运行配置组合

计数为运行配置组合(模型 + 硬件 + 框架 + 量化的聚合),同一组合的多次实测已合并;原始次数见各结果的来源行。

模型Qwen3-4B

Qwen3-4B · FP16

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

2026-10-15

149.3 tok/s

Decode

589.87 tok/s

Prefill

1.74 s

TTFT

17.64 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.6 FP16 llama.cpp v0.36

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B · IQ4_XS

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

2026-10-15

335.8 tok/s

Decode

1,082.78 tok/s

Prefill

2.49 s

TTFT

8.32 GB

VRAM

配置(最近一次实测)
macOS 15.0 CUDA 12.6 IQ4_XS llama.cpp v0.42 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B · IQ3_XS

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Ollama

其他

2026-10-15

349.78 tok/s

Decode

1,805.86 tok/s

Prefill

2.21 s

TTFT

7.31 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.4 IQ3_XS Ollama v0.22 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B · Q6_K

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · llama.cpp

其他

2026-10-15

104.54 tok/s

Decode

394.29 tok/s

Prefill

1.55 s

TTFT

10.5 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA N/A Q6_K llama.cpp v0.23 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B · IQ1_S

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · Ollama

其他

2026-10-15

170.91 tok/s

Decode

585.17 tok/s

Prefill

1.77 s

TTFT

5.63 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA N/A IQ1_S Ollama v0.51 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B · IQ2_M

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · Ollama

其他

2026-10-15

170.8 tok/s

Decode

683.91 tok/s

Prefill

2.12 s

TTFT

6.47 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA N/A IQ2_M Ollama v0.27

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B · Q3_K_L

L2 跨框架验证

Apple M5 Max · 128GB · llama.cpp

其他

2026-10-15

253.55 tok/s

Decode

980.61 tok/s

Prefill

1.61 s

TTFT

8.15 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.6 Q3_K_L llama.cpp v0.34 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B · IQ2_XS

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

2026-10-15

308.45 tok/s

Decode

1,307.27 tok/s

Prefill

1.61 s

TTFT

6.13 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.8 IQ2_XS Ollama v0.21

来源:其他 · 2 次实测 · 1 个独立来源

Qwen3-4B · IQ3_XS

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

2026-10-15

249.13 tok/s

Decode

1,132.99 tok/s

Prefill

2.37 s

TTFT

7.31 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.4 IQ3_XS Ollama v0.23

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B · Q3_K_M

L2 跨框架验证

NVIDIA DGX Spark · 128GB · llama.cpp

其他

2026-10-15

206.5 tok/s

Decode

1,076.24 tok/s

Prefill

0.36 s

TTFT

7.81 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.4 Q3_K_M llama.cpp v0.45 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B · Q3_K_S

L2 跨框架验证

NVIDIA DGX Spark · 128GB · Strata

其他

2026-10-15

338.04 tok/s

Decode

1,544.38 tok/s

Prefill

2.43 s

TTFT

7.56 GB

VRAM

配置(最近一次实测)
macOS 15.0 CUDA 12.6 Q3_K_S Strata v0.49 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B · Q5_K_M

L2 跨框架验证

NVIDIA DGX Spark · 128GB · Strata

其他

2026-10-15

221.01 tok/s

Decode

864.66 tok/s

Prefill

1.24 s

TTFT

9.91 GB

VRAM

配置(最近一次实测)
macOS 15.0 CUDA 12.4 Q5_K_M Strata v0.21 Flash Attention

来源:其他 · 2 次实测 · 1 个独立来源

Qwen3-4B · IQ2_M

L2 跨框架验证

NVIDIA Jetson AGX Orin 64GB · 64GB · llama.cpp

其他

2026-10-15

92.76 tok/s

Decode

306.43 tok/s

Prefill

2.34 s

TTFT

6.47 GB

VRAM

配置(最近一次实测)
JetPack 6.0 CUDA 12.6 IQ2_M llama.cpp v0.52 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B · IQ2_M

L2 跨框架验证

NVIDIA Jetson AGX Orin 64GB · 64GB · vLLM

其他

2026-10-15

96.3 tok/s

Decode

512.46 tok/s

Prefill

1.22 s

TTFT

6.47 GB

VRAM

配置(最近一次实测)
JetPack 6.0 CUDA 12.6 IQ2_M vLLM v0.39 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B · Q2_K

L2 跨框架验证

NVIDIA Jetson AGX Orin 64GB · 64GB · vLLM

其他

2026-10-15

95.78 tok/s

Decode

454.64 tok/s

Prefill

2.45 s

TTFT

6.72 GB

VRAM

配置(最近一次实测)
JetPack 6.0 CUDA 12.6 Q2_K vLLM v0.26 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B · Q4_K_S

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · llama.cpp

其他

2026-10-15

106.73 tok/s

Decode

450.35 tok/s

Prefill

1.18 s

TTFT

8.65 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA N/A Q4_K_S llama.cpp v0.34 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B · Q4_K_S

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · Strata

其他

2026-10-15

150.62 tok/s

Decode

773.06 tok/s

Prefill

1.45 s

TTFT

8.65 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA N/A Q4_K_S Strata v0.40 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B · Q6_K

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · Strata

其他

2026-10-15

108.81 tok/s

Decode

551.07 tok/s

Prefill

0.41 s

TTFT

10.5 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA N/A Q6_K Strata v0.44 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B · FP16

L2 跨框架验证

2x AMD Strix Halo · llama.cpp

其他

2026-10-15

87.02 tok/s

Decode

443.84 tok/s

Prefill

0.62 s

TTFT

17.64 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA N/A FP16 llama.cpp v0.42 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Qwen3-4B · IQ3_S

L2 跨框架验证

2x AMD Strix Halo · Ollama

其他

2026-10-15

197.15 tok/s

Decode

955.03 tok/s

Prefill

1.71 s

TTFT

7.64 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA N/A IQ3_S Ollama v0.31 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

共 88 条结果

相关模型
相关硬件
相关框架
相关量化