搜索实测数据

试试这些搜索

找到 53 个运行配置组合

计数为运行配置组合(模型 + 硬件 + 框架 + 量化的聚合),同一组合的多次实测已合并;原始次数见各结果的来源行。

模型gemma-4-E2B-it

gemma-4-E2B-it · Q3_K_L

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

2026-10-15

324.42 tok/s

Decode

1,387.31 tok/s

Prefill

0.22 s

TTFT

5.12 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.6 Q3_K_L llama.cpp v0.53

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-E2B-it · IQ3_S

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Strata

其他

2026-10-15

332.29 tok/s

Decode

1,223.54 tok/s

Prefill

2.29 s

TTFT

4.87 GB

VRAM

配置(最近一次实测)
macOS 15.0 CUDA 12.4 IQ3_S Strata v0.40 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-E2B-it · Q3_K_M

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · llama.cpp

其他

2026-10-15

208.76 tok/s

Decode

678.14 tok/s

Prefill

1.53 s

TTFT

4.96 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA N/A Q3_K_M llama.cpp v0.21 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-E2B-it · IQ1_S

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · vLLM

其他

2026-10-15

291.55 tok/s

Decode

1,102.46 tok/s

Prefill

1.52 s

TTFT

3.86 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA N/A IQ1_S vLLM v0.27

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-E2B-it · Q3_K_M

L2 跨框架验证

Apple M5 Max · 128GB · vLLM

其他

2026-10-15

285.33 tok/s

Decode

927.76 tok/s

Prefill

0.72 s

TTFT

4.96 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.6 Q3_K_M vLLM v0.54 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-E2B-it · Q3_K_L

L2 跨框架验证

Apple M5 Max · 128GB · Strata

其他

2026-10-15

329.61 tok/s

Decode

1,762.01 tok/s

Prefill

0.67 s

TTFT

5.12 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.8 Q3_K_L Strata v0.37

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-E2B-it · Q8_0

L2 跨框架验证

Apple M5 Max · 128GB · Strata

其他

2026-10-15

323.09 tok/s

Decode

1,252.89 tok/s

Prefill

0.17 s

TTFT

6.93 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.8 Q8_0 Strata v0.47 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-E2B-it · IQ2_M

L2 跨框架验证

NVIDIA DGX Spark · 128GB · vLLM

其他

2026-10-15

380.91 tok/s

Decode

2,066.12 tok/s

Prefill

0.4 s

TTFT

4.28 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.4 IQ2_M vLLM v0.26 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-E2B-it · IQ3_XS

L2 跨框架验证

NVIDIA DGX Spark · 128GB · vLLM

其他

2026-10-15

360.01 tok/s

Decode

1,436.84 tok/s

Prefill

1.75 s

TTFT

4.7 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.8 IQ3_XS vLLM v0.50

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-E2B-it · Q3_K_L

L2 跨框架验证

NVIDIA DGX Spark · 128GB · Strata

其他

2026-10-15

389.31 tok/s

Decode

1,363.67 tok/s

Prefill

1.89 s

TTFT

5.12 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.6 Q3_K_L Strata v0.55 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-E2B-it · Q4_K_M

L2 跨框架验证

NVIDIA DGX Spark · 128GB · Strata

其他

2026-10-15

326.71 tok/s

Decode

1,358.52 tok/s

Prefill

1.15 s

TTFT

5.54 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.4 Q4_K_M Strata v0.55

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-E2B-it · Q6_K

L2 跨框架验证

NVIDIA Jetson AGX Orin 64GB · 64GB · Ollama

其他

2026-10-15

70.66 tok/s

Decode

305.15 tok/s

Prefill

1.82 s

TTFT

6.3 GB

VRAM

配置(最近一次实测)
JetPack 6.0 CUDA 12.6 Q6_K Ollama v0.54 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-E2B-it · IQ2_M

L2 跨框架验证

NVIDIA Jetson AGX Orin 64GB · 64GB · Strata

其他

2026-10-15

176.21 tok/s

Decode

663.99 tok/s

Prefill

0.99 s

TTFT

4.28 GB

VRAM

配置(最近一次实测)
JetPack 6.0 CUDA 12.6 IQ2_M Strata v0.40 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-E2B-it · IQ3_S

L2 跨框架验证

NVIDIA Jetson AGX Orin 64GB · 64GB · Strata

其他

2026-10-15

167.92 tok/s

Decode

544.11 tok/s

Prefill

1.65 s

TTFT

4.87 GB

VRAM

配置(最近一次实测)
JetPack 6.0 CUDA 12.6 IQ3_S Strata v0.26 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-E2B-it · FP16

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · Ollama

其他

2026-10-15

70.57 tok/s

Decode

330.84 tok/s

Prefill

0.96 s

TTFT

9.87 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA N/A FP16 Ollama v0.47

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-E2B-it · Q3_K_S

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · Strata

其他

2026-10-15

228.54 tok/s

Decode

966.84 tok/s

Prefill

0.85 s

TTFT

4.83 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA N/A Q3_K_S Strata v0.21 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-E2B-it · Q6_K

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · Strata

其他

2026-10-15

157.75 tok/s

Decode

603.58 tok/s

Prefill

1.61 s

TTFT

6.3 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA N/A Q6_K Strata v0.48

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-E2B-it · Q3_K_S

L2 跨框架验证

2x AMD Strix Halo · vLLM

其他

2026-10-15

277.77 tok/s

Decode

1,024.78 tok/s

Prefill

2.05 s

TTFT

4.83 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA N/A Q3_K_S vLLM v0.40

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-E2B-it · IQ3_XS

L2 跨框架验证

2x AMD Strix Halo · Strata

其他

2026-10-15

321.59 tok/s

Decode

1,311.64 tok/s

Prefill

2.09 s

TTFT

4.7 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA N/A IQ3_XS Strata v0.50 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-E2B-it · IQ1_S

L2 跨框架验证

AMD Strix Point (Radeon 890M) · llama.cpp

其他

2026-10-15

145.7 tok/s

Decode

692.08 tok/s

Prefill

1.45 s

TTFT

3.86 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA N/A IQ1_S llama.cpp v0.27

来源:其他 · 1 次实测 · 1 个独立来源

共 53 条结果

相关模型
相关硬件
相关框架
相关量化