Arao AI

搜索实测数据

试试这些搜索

找到 3301 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

gemma-4-E4B-it · Q3_K_M

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · Ollama

其他

12 天前

158.5 tok/s

Decode

719.84 tok/s

Prefill

0.55 s

TTFT

13.52 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.4 Q3_K_M Ollama v0.36 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-E4B-it · Q3_K_M

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · Strata

其他

12 天前

243.76 tok/s

Decode

1,261.12 tok/s

Prefill

2.02 s

TTFT

13.52 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.8 Q3_K_M Strata v0.34 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-E4B-it · IQ3_S

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · llama.cpp

其他

12 天前

121.92 tok/s

Decode

447.63 tok/s

Prefill

1.67 s

TTFT

13.19 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.8 IQ3_S llama.cpp v0.42

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-E4B-it · IQ4_XS

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · vLLM

其他

12 天前

102.62 tok/s

Decode

342.57 tok/s

Prefill

1.22 s

TTFT

14.53 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.8 IQ4_XS vLLM v0.54 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-E4B-it · IQ3_XS

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · vLLM

其他

12 天前

133.18 tok/s

Decode

447.04 tok/s

Prefill

1.69 s

TTFT

12.52 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 IQ3_XS vLLM v0.23 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-E4B-it · Q5_K_M

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · Ollama

其他

12 天前

71.28 tok/s

Decode

362.47 tok/s

Prefill

1.15 s

TTFT

17.72 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.4 Q5_K_M Ollama v0.36 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-E4B-it · IQ2_XS

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · vLLM

其他

12 天前

301.33 tok/s

Decode

1,596.94 tok/s

Prefill

1.8 s

TTFT

10.16 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 IQ2_XS vLLM v0.37 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-E4B-it · IQ4_XS

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · Strata

其他

12 天前

314.5 tok/s

Decode

1,280.69 tok/s

Prefill

1.1 s

TTFT

14.53 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 IQ4_XS Strata v0.32 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-E4B-it · IQ3_XS

L2 跨框架验证

NVIDIA RTX 3060 12GB · 12GB · vLLM

其他

12 天前

89.05 tok/s

Decode

461.73 tok/s

Prefill

0.57 s

TTFT

11.4 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.6 IQ3_XS vLLM v0.36 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-E4B-it · Q3_K_S

L2 跨框架验证

NVIDIA RTX 3060 12GB · 12GB · Ollama

其他

12 天前

79.42 tok/s

Decode

278.2 tok/s

Prefill

0.3 s

TTFT

11.4 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 Q3_K_S Ollama v0.26

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-E4B-it · Q2_K

L2 跨框架验证

NVIDIA RTX 4080 Super · 16GB · Ollama

其他

12 天前

222.5 tok/s

Decode

1,136.51 tok/s

Prefill

1.34 s

TTFT

11.34 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.4 Q2_K Ollama v0.44 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-E4B-it · IQ3_S

L2 跨框架验证

Apple M5 Ultra · 512GB · llama.cpp

其他

12 天前

153.37 tok/s

Decode

580.58 tok/s

Prefill

1.38 s

TTFT

13.19 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ3_S llama.cpp v0.47

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-E4B-it · IQ2_M

L2 跨框架验证

Apple M5 Ultra · 512GB · Ollama

其他

12 天前

156.39 tok/s

Decode

558.43 tok/s

Prefill

1.17 s

TTFT

10.84 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ2_M Ollama v0.29 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-E4B-it · IQ3_XS

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · llama.cpp

其他

12 天前

297.43 tok/s

Decode

1,240.57 tok/s

Prefill

1.94 s

TTFT

12.52 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 IQ3_XS llama.cpp v0.46

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-E4B-it · Q3_K_S

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · vLLM

其他

12 天前

343.31 tok/s

Decode

1,851.05 tok/s

Prefill

0.94 s

TTFT

13.02 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 Q3_K_S vLLM v0.39 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-E4B-it · IQ2_XS

L2 跨框架验证

NVIDIA H20 · 97GB · llama.cpp

其他

12 天前

95.17 tok/s

Decode

436.06 tok/s

Prefill

1.22 s

TTFT

10.16 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 IQ2_XS llama.cpp v0.35 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-E4B-it · Q3_K_M

L2 跨框架验证

NVIDIA H20 · 97GB · vLLM

其他

12 天前

78.41 tok/s

Decode

259.38 tok/s

Prefill

0.43 s

TTFT

13.52 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.8 Q3_K_M vLLM v0.34 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-E4B-it · IQ3_XS

L2 跨框架验证

NVIDIA RTX PRO 6000 Blackwell 96GB · 96GB · vLLM

其他

12 天前

344.94 tok/s

Decode

1,590.34 tok/s

Prefill

2.16 s

TTFT

12.52 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 IQ3_XS vLLM v0.29

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-E4B-it · IQ2_XS

L2 跨框架验证

NVIDIA RTX PRO 6000 Blackwell 96GB · 96GB · Ollama

其他

12 天前

387.68 tok/s

Decode

2,077.1 tok/s

Prefill

1.62 s

TTFT

10.16 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 IQ2_XS Ollama v0.44 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-E4B-it · IQ3_XS

L2 跨框架验证

Intel Arc B580 · 12GB · llama.cpp

其他

12 天前

70.76 tok/s

Decode

300.15 tok/s

Prefill

1.11 s

TTFT

11.4 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.6 IQ3_XS llama.cpp v0.34 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 3301 条结果

相关模型
相关硬件
相关框架
相关量化