Arao AI

搜索实测数据

试试这些搜索

找到 36 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型gemma-4-31B-it

gemma-4-31B-it · IQ2_XS

L0 自报

NVIDIA RTX 5080 SUPER · 24GB · vLLM

其他

今天

90.7 tok/s

Decode

680.3 tok/s

Prefill

0.15 s

TTFT

11 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ2_XS vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-31B-it · Q5_K_M

L0 自报

NVIDIA RTX 5080 SUPER · 24GB · vLLM

其他

今天

41.4 tok/s

Decode

310.5 tok/s

Prefill

0.32 s

TTFT

23.5 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-31B-it · Q4_K_M

L0 自报

NVIDIA RTX 5080 SUPER · 24GB · vLLM

其他

今天

50.6 tok/s

Decode

379.5 tok/s

Prefill

0.26 s

TTFT

19.3 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-31B-it · IQ2_XS

L0 自报

NVIDIA RTX 5080 SUPER · 24GB · llama.cpp

其他

今天

83.2 tok/s

Decode

624 tok/s

Prefill

0.16 s

TTFT

11 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ2_XS llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-31B-it · Q5_K_M

L0 自报

NVIDIA RTX 5080 SUPER · 24GB · llama.cpp

其他

今天

38 tok/s

Decode

285 tok/s

Prefill

0.35 s

TTFT

23.5 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-31B-it · Q4_K_M

L0 自报

NVIDIA RTX 5080 SUPER · 24GB · llama.cpp

其他

今天

46.5 tok/s

Decode

348.8 tok/s

Prefill

0.29 s

TTFT

19.3 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-31B-it · IQ2_XS

L0 自报

NVIDIA RTX 5070 SUPER · 18GB · vLLM

其他

今天

72.5 tok/s

Decode

543.8 tok/s

Prefill

0.18 s

TTFT

11 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ2_XS vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-31B-it · Q5_K_M

L0 自报

NVIDIA RTX 5070 SUPER · 18GB · vLLM

其他

今天

33.1 tok/s

Decode

248.3 tok/s

Prefill

0.4 s

TTFT

18 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-31B-it · Q4_K_M

L0 自报

NVIDIA RTX 5070 SUPER · 18GB · vLLM

其他

今天

40.5 tok/s

Decode

303.8 tok/s

Prefill

0.33 s

TTFT

18 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-31B-it · IQ2_XS

L0 自报

NVIDIA RTX 5070 SUPER · 18GB · llama.cpp

其他

今天

66.6 tok/s

Decode

499.5 tok/s

Prefill

0.2 s

TTFT

11 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ2_XS llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-31B-it · Q5_K_M

L0 自报

NVIDIA RTX 5070 SUPER · 18GB · llama.cpp

其他

今天

30.4 tok/s

Decode

228 tok/s

Prefill

0.44 s

TTFT

18 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-31B-it · Q4_K_M

L0 自报

NVIDIA RTX 5070 SUPER · 18GB · llama.cpp

其他

今天

37.2 tok/s

Decode

279 tok/s

Prefill

0.36 s

TTFT

18 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-31B-it · IQ2_XS

L0 自报

NVIDIA RTX 4080 Super · 16GB · vLLM

其他

今天

59.6 tok/s

Decode

447 tok/s

Prefill

0.22 s

TTFT

11 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ2_XS vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-31B-it · Q5_K_M

L0 自报

NVIDIA RTX 4080 Super · 16GB · vLLM

其他

今天

27.2 tok/s

Decode

204 tok/s

Prefill

0.49 s

TTFT

16 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-31B-it · Q4_K_M

L0 自报

NVIDIA RTX 4080 Super · 16GB · vLLM

其他

今天

33.3 tok/s

Decode

249.7 tok/s

Prefill

0.4 s

TTFT

16 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-31B-it · IQ2_XS

L0 自报

NVIDIA RTX 4080 Super · 16GB · llama.cpp

其他

今天

54.7 tok/s

Decode

410.3 tok/s

Prefill

0.24 s

TTFT

11 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ2_XS llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-31B-it · Q5_K_M

L0 自报

NVIDIA RTX 4080 Super · 16GB · llama.cpp

其他

今天

25 tok/s

Decode

187.5 tok/s

Prefill

0.53 s

TTFT

16 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-31B-it · Q4_K_M

L0 自报

NVIDIA RTX 4080 Super · 16GB · llama.cpp

其他

今天

30.5 tok/s

Decode

228.8 tok/s

Prefill

0.44 s

TTFT

16 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-31B-it · IQ2_XS

L0 自报

NVIDIA RTX 5070 Ti · 16GB · vLLM

其他

今天

72.5 tok/s

Decode

543.8 tok/s

Prefill

0.18 s

TTFT

11 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ2_XS vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

gemma-4-31B-it · Q5_K_M

L0 自报

NVIDIA RTX 5070 Ti · 16GB · vLLM

其他

今天

33.1 tok/s

Decode

248.3 tok/s

Prefill

0.4 s

TTFT

16 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 36 条结果

相关模型
相关硬件
相关框架
相关量化