Arao AI

搜索实测数据

试试这些搜索

找到 29 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型GLM-5.3-Flash

GLM-5.3-Flash · Q4_K_M

L0 自报

NVIDIA RTX 4080 Super · 16GB · SGLang

其他

2026-10-06

3.1 tok/s

Decode

23.3 tok/s

Prefill

4.29 s

TTFT

16 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M SGLang 0.4.4 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

GLM-5.3-Flash · IQ3_S

L0 自报

NVIDIA RTX 4080 Super · 16GB · SGLang

其他

2026-10-06

4.7 tok/s

Decode

35.3 tok/s

Prefill

2.83 s

TTFT

16 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ3_S SGLang 0.4.4 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

GLM-5.3-Flash · IQ4_XS

L0 自报

NVIDIA RTX 4080 Super · 16GB · SGLang

其他

2026-10-06

3.5 tok/s

Decode

26.3 tok/s

Prefill

3.8 s

TTFT

16 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ4_XS SGLang 0.4.4 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

GLM-5.3-Flash · Q4_K_M

L0 自报

NVIDIA RTX 4080 Super · 16GB · vLLM

其他

2026-10-06

3.2 tok/s

Decode

24 tok/s

Prefill

4.17 s

TTFT

16 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

GLM-5.3-Flash · IQ3_S

L0 自报

NVIDIA RTX 4080 Super · 16GB · vLLM

其他

2026-10-06

4.8 tok/s

Decode

36 tok/s

Prefill

2.78 s

TTFT

16 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ3_S vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

GLM-5.3-Flash · IQ4_XS

L0 自报

NVIDIA RTX 4080 Super · 16GB · vLLM

其他

2026-10-06

3.6 tok/s

Decode

27 tok/s

Prefill

3.7 s

TTFT

16 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ4_XS vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

GLM-5.3-Flash · Q4_K_M

L0 自报

NVIDIA RTX 5070 Ti · 16GB · SGLang

其他

2026-10-06

3.8 tok/s

Decode

28.5 tok/s

Prefill

3.51 s

TTFT

16 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M SGLang 0.4.4 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

GLM-5.3-Flash · IQ3_S

L0 自报

NVIDIA RTX 5070 Ti · 16GB · SGLang

其他

2026-10-06

5.7 tok/s

Decode

42.8 tok/s

Prefill

2.34 s

TTFT

16 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ3_S SGLang 0.4.4 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

GLM-5.3-Flash · IQ4_XS

L0 自报

NVIDIA RTX 5070 Ti · 16GB · SGLang

其他

2026-10-06

4.3 tok/s

Decode

32.3 tok/s

Prefill

3.1 s

TTFT

16 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ4_XS SGLang 0.4.4 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

GLM-5.3-Flash · Q4_K_M

L0 自报

NVIDIA RTX 5070 Ti · 16GB · vLLM

其他

2026-10-06

3.9 tok/s

Decode

29.3 tok/s

Prefill

3.41 s

TTFT

16 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

GLM-5.3-Flash · IQ3_S

L0 自报

NVIDIA RTX 5070 Ti · 16GB · vLLM

其他

2026-10-06

5.9 tok/s

Decode

44.3 tok/s

Prefill

2.26 s

TTFT

16 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ3_S vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

GLM-5.3-Flash · IQ4_XS

L0 自报

NVIDIA RTX 5070 Ti · 16GB · vLLM

其他

2026-10-06

4.4 tok/s

Decode

33 tok/s

Prefill

3.03 s

TTFT

16 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ4_XS vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

GLM-5.3-Flash · Q4_K_M

L0 自报

NVIDIA RTX 5090 · 32GB · SGLang

其他

2026-10-06

7.6 tok/s

Decode

57 tok/s

Prefill

1.75 s

TTFT

32 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M SGLang 0.4.4 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

GLM-5.3-Flash · IQ4_XS

L0 自报

NVIDIA RTX 5090 · 32GB · SGLang

其他

2026-10-06

8.5 tok/s

Decode

63.8 tok/s

Prefill

1.57 s

TTFT

32 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ4_XS SGLang 0.4.4 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

GLM-5.3-Flash · Q4_K_M

L0 自报

NVIDIA RTX 5090 · 32GB · vLLM

其他

2026-10-06

7.8 tok/s

Decode

58.5 tok/s

Prefill

1.71 s

TTFT

32 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

GLM-5.3-Flash · IQ3_S

L0 自报

NVIDIA RTX 5090 · 32GB · vLLM

其他

2026-10-06

11.8 tok/s

Decode

88.5 tok/s

Prefill

1.13 s

TTFT

32 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ3_S vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

GLM-5.3-Flash · IQ4_XS

L0 自报

NVIDIA RTX 5090 · 32GB · vLLM

其他

2026-10-06

8.8 tok/s

Decode

66 tok/s

Prefill

1.52 s

TTFT

32 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ4_XS vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

GLM-5.3-Flash · Q4_K_M

L0 自报

NVIDIA RTX 4090 · 24GB · SGLang

其他

2026-10-06

4.3 tok/s

Decode

32.3 tok/s

Prefill

3.1 s

TTFT

24 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M SGLang 0.4.4 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

GLM-5.3-Flash · IQ3_S

L0 自报

NVIDIA RTX 4090 · 24GB · SGLang

其他

2026-10-06

6.4 tok/s

Decode

48 tok/s

Prefill

2.08 s

TTFT

24 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ3_S SGLang 0.4.4 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

GLM-5.3-Flash · IQ4_XS

L0 自报

NVIDIA RTX 4090 · 24GB · SGLang

其他

2026-10-06

4.8 tok/s

Decode

36 tok/s

Prefill

2.78 s

TTFT

24 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 IQ4_XS SGLang 0.4.4 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 29 条结果

相关模型
相关硬件
相关框架
相关量化