搜索实测数据

试试这些搜索

找到 134 个运行配置组合

计数为运行配置组合(模型 + 硬件 + 框架 + 量化的聚合),同一组合的多次实测已合并;原始次数见各结果的来源行。

模型gemma-4-12B-it

gemma-4-12B-it · Q3_K_L

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · llama.cpp

其他

2026-10-19

114.65 tok/s

Decode

473.3 tok/s

Prefill

2.16 s

TTFT

20.24 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.4 Q3_K_L llama.cpp v0.23 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-12B-it · Q4_K_M

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · Ollama

其他

2026-10-19

87.43 tok/s

Decode

399.69 tok/s

Prefill

1.92 s

TTFT

22.76 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.6 Q4_K_M Ollama v0.31 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-12B-it · Q6_K

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · Ollama

其他

2026-10-19

70.15 tok/s

Decode

334.66 tok/s

Prefill

1.31 s

TTFT

22.8 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.8 Q6_K Ollama v0.35

来源:其他 · 2 次实测 · 1 个独立来源

gemma-4-12B-it · Q4_K_M

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · llama.cpp

其他

2026-10-19

79.26 tok/s

Decode

473.41 tok/s

Prefill

1.21 s

TTFT

15.28 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.6 Q4_K_M llama.cpp v0.50 Flash Attention

来源:其他 · 2 次实测 · 1 个独立来源

gemma-4-12B-it · Q3_K_L

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · Ollama

其他

2026-10-19

64.09 tok/s

Decode

302.97 tok/s

Prefill

1.12 s

TTFT

20.24 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.8 Q3_K_L Ollama v0.28 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-12B-it · Q3_K_M

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · vLLM

其他

2026-10-19

77.87 tok/s

Decode

405.9 tok/s

Prefill

0.18 s

TTFT

19.24 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.6 Q3_K_M vLLM v0.48 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-12B-it · IQ1_S

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · Ollama

其他

2026-10-19

92.04 tok/s

Decode

422.92 tok/s

Prefill

2.03 s

TTFT

12.68 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.4 IQ1_S Ollama v0.21 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-12B-it · IQ2_XS

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

2026-10-19

262.05 tok/s

Decode

997.54 tok/s

Prefill

1.68 s

TTFT

14.2 GB

VRAM

配置(最近一次实测)
Windows 11 24H2 CUDA 12.8 IQ2_XS llama.cpp v0.20 Flash Attention

来源:其他 · 2 次实测 · 1 个独立来源

gemma-4-12B-it · Q8_0

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

2026-10-19

125.52 tok/s

Decode

751.15 tok/s

Prefill

0.88 s

TTFT

21.95 GB

VRAM

配置(最近一次实测)
Windows 11 24H2 CUDA 12.6 Q8_0 llama.cpp v0.21 Flash Attention

来源:其他 · 2 次实测 · 1 个独立来源

gemma-4-12B-it · Q3_K_S

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Ollama

其他

2026-10-19

236.13 tok/s

Decode

819.72 tok/s

Prefill

1.31 s

TTFT

18.48 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.8 Q3_K_S Ollama v0.30

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-12B-it · Q5_K_S

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Ollama

其他

2026-10-19

165.12 tok/s

Decode

690.64 tok/s

Prefill

1.85 s

TTFT

24.78 GB

VRAM

配置(最近一次实测)
Ubuntu 22.04 CUDA 12.4 Q5_K_S Ollama v0.54 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-12B-it · IQ1_S

L2 跨框架验证

NVIDIA RTX 3060 12GB · 12GB · Strata

其他

2026-10-19

99.13 tok/s

Decode

497.2 tok/s

Prefill

0.34 s

TTFT

11.4 GB

VRAM

配置(最近一次实测)
Windows 11 24H2 CUDA 12.8 IQ1_S Strata v0.51 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-12B-it · IQ2_M

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · llama.cpp

其他

2026-10-19

32.57 tok/s

Decode

131.77 tok/s

Prefill

2.15 s

TTFT

15.2 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.4 IQ2_M llama.cpp v0.24 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-12B-it · Q5_K_M

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · llama.cpp

其他

2026-10-19

22.71 tok/s

Decode

109.92 tok/s

Prefill

0.47 s

TTFT

25.54 GB

VRAM

配置(最近一次实测)
Windows 11 23H2 CUDA 12.8 Q5_K_M llama.cpp v0.27 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-12B-it · Q3_K_M

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · Ollama

其他

2026-10-19

26.82 tok/s

Decode

137.08 tok/s

Prefill

0.81 s

TTFT

19.24 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.4 Q3_K_M Ollama v0.54 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-12B-it · Q5_K_S

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · Ollama

其他

2026-10-19

20.2 tok/s

Decode

85.22 tok/s

Prefill

2.49 s

TTFT

24.78 GB

VRAM

配置(最近一次实测)
Ubuntu 24.04 CUDA 12.6 Q5_K_S Ollama v0.32 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-12B-it · IQ3_S

L2 跨框架验证

Apple M5 Max · 128GB · llama.cpp

其他

2026-10-19

67.49 tok/s

Decode

263.38 tok/s

Prefill

2.02 s

TTFT

18.73 GB

VRAM

配置(最近一次实测)
macOS 26.1 IQ3_S llama.cpp v0.30 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-12B-it · IQ2_M

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

2026-10-19

66.82 tok/s

Decode

219.12 tok/s

Prefill

2.3 s

TTFT

15.2 GB

VRAM

配置(最近一次实测)
macOS 26.1 IQ2_M Ollama v0.24 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-12B-it · Q5_K_M

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

2026-10-19

43.37 tok/s

Decode

143.55 tok/s

Prefill

2.23 s

TTFT

25.54 GB

VRAM

配置(最近一次实测)
macOS 26.1 Q5_K_M Ollama v0.49 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

gemma-4-12B-it · IQ3_XS

L2 跨框架验证

Apple M5 Ultra · 512GB · llama.cpp

其他

2026-10-19

105.53 tok/s

Decode

434.57 tok/s

Prefill

1.74 s

TTFT

17.72 GB

VRAM

配置(最近一次实测)
macOS 26.1 IQ3_XS llama.cpp v0.38

来源:其他 · 1 次实测 · 1 个独立来源

共 134 条结果

相关模型
相关硬件
相关框架
相关量化