Arao AI

搜索实测数据

试试这些搜索

找到 42 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型gemma-4-12B-it

gemma-4-12B-it · Q8_0

L0 自报

NVIDIA RTX 5060 SUPER · 12GB · vLLM

其他

今天

29.3 tok/s

Decode

219.8 tok/s

Prefill

0.45 s

TTFT

12 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q8_0 vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-12B-it · Q5_K_M

L0 自报

NVIDIA RTX 5060 SUPER · 12GB · vLLM

其他

今天

42.8 tok/s

Decode

321 tok/s

Prefill

0.31 s

TTFT

9.4 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-12B-it · Q4_K_M

L0 自报

NVIDIA RTX 5060 SUPER · 12GB · vLLM

其他

今天

52.2 tok/s

Decode

391.5 tok/s

Prefill

0.26 s

TTFT

7.8 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-12B-it · Q8_0

L0 自报

NVIDIA RTX 5060 SUPER · 12GB · llama.cpp

其他

今天

26.9 tok/s

Decode

201.8 tok/s

Prefill

0.5 s

TTFT

12 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q8_0 llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-12B-it · Q5_K_M

L0 自报

NVIDIA RTX 5060 SUPER · 12GB · llama.cpp

其他

今天

39.3 tok/s

Decode

294.8 tok/s

Prefill

0.34 s

TTFT

9.4 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-12B-it · Q4_K_M

L0 自报

NVIDIA RTX 5060 SUPER · 12GB · llama.cpp

其他

今天

47.9 tok/s

Decode

359.3 tok/s

Prefill

0.28 s

TTFT

7.8 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-12B-it · Q8_0

L0 自报

NVIDIA RTX 5070 SUPER · 18GB · vLLM

其他

今天

58.6 tok/s

Decode

439.5 tok/s

Prefill

0.23 s

TTFT

13.5 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q8_0 vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-12B-it · Q5_K_M

L0 自报

NVIDIA RTX 5070 SUPER · 18GB · vLLM

其他

今天

85.6 tok/s

Decode

642 tok/s

Prefill

0.16 s

TTFT

9.4 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-12B-it · Q4_K_M

L0 自报

NVIDIA RTX 5070 SUPER · 18GB · vLLM

其他

今天

104.3 tok/s

Decode

782.3 tok/s

Prefill

0.13 s

TTFT

7.8 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-12B-it · Q8_0

L0 自报

NVIDIA RTX 5070 SUPER · 18GB · llama.cpp

其他

今天

53.8 tok/s

Decode

403.5 tok/s

Prefill

0.25 s

TTFT

13.5 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q8_0 llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-12B-it · Q5_K_M

L0 自报

NVIDIA RTX 5070 SUPER · 18GB · llama.cpp

其他

今天

78.5 tok/s

Decode

588.8 tok/s

Prefill

0.17 s

TTFT

9.4 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-12B-it · Q4_K_M

L0 自报

NVIDIA RTX 5070 SUPER · 18GB · llama.cpp

其他

今天

95.7 tok/s

Decode

717.8 tok/s

Prefill

0.14 s

TTFT

7.8 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-12B-it · Q8_0

L0 自报

NVIDIA RTX 3090 · 24GB · vLLM

其他

今天

61.2 tok/s

Decode

459 tok/s

Prefill

0.22 s

TTFT

13.5 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q8_0 vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-12B-it · Q5_K_M

L0 自报

NVIDIA RTX 3090 · 24GB · vLLM

其他

今天

89.4 tok/s

Decode

670.5 tok/s

Prefill

0.15 s

TTFT

9.4 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-12B-it · Q4_K_M

L0 自报

NVIDIA RTX 3090 · 24GB · vLLM

其他

今天

109 tok/s

Decode

817.5 tok/s

Prefill

0.12 s

TTFT

7.8 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-12B-it · Q8_0

L0 自报

NVIDIA RTX 3090 · 24GB · llama.cpp

其他

今天

56.2 tok/s

Decode

421.5 tok/s

Prefill

0.24 s

TTFT

13.5 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q8_0 llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-12B-it · Q5_K_M

L0 自报

NVIDIA RTX 3090 · 24GB · llama.cpp

其他

今天

82 tok/s

Decode

615 tok/s

Prefill

0.16 s

TTFT

9.4 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-12B-it · Q4_K_M

L0 自报

NVIDIA RTX 3090 · 24GB · llama.cpp

其他

今天

100 tok/s

Decode

750 tok/s

Prefill

0.13 s

TTFT

7.8 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-12B-it · Q8_0

L0 自报

NVIDIA RTX 5070 Ti · 16GB · vLLM

其他

今天

58.6 tok/s

Decode

439.5 tok/s

Prefill

0.23 s

TTFT

13.5 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q8_0 vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-12B-it · Q5_K_M

L0 自报

NVIDIA RTX 5070 Ti · 16GB · vLLM

其他

今天

85.6 tok/s

Decode

642 tok/s

Prefill

0.16 s

TTFT

9.4 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 42 条结果

相关模型
相关硬件
相关框架
相关量化