搜索实测数据

试试这些搜索

找到 26 个运行配置组合

计数为运行配置组合(模型 + 硬件 + 框架 + 量化的聚合),同一组合的多次实测已合并;原始次数见各结果的来源行。

模型GLM-5.3

GLM-5.3 · IQ2_XS

L0 自报

NVIDIA RTX PRO 5000 Blackwell · 48GB · SGLang

其他

2026-10-06

4.3 tok/s

Decode

32.3 tok/s

Prefill

3.1 s

TTFT

48 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ2_XS SGLang 0.4.4 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

GLM-5.3 · IQ3_S

L0 自报

NVIDIA RTX PRO 5000 Blackwell · 48GB · SGLang

其他

2026-10-06

3.6 tok/s

Decode

27 tok/s

Prefill

3.7 s

TTFT

48 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ3_S SGLang 0.4.4 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

GLM-5.3 · IQ2_XS

L0 自报

NVIDIA RTX PRO 5000 Blackwell · 48GB · vLLM

其他

2026-10-06

4.5 tok/s

Decode

33.8 tok/s

Prefill

2.96 s

TTFT

48 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ2_XS vLLM 0.7.3 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

GLM-5.3 · IQ3_S

L0 自报

NVIDIA RTX PRO 5000 Blackwell · 48GB · vLLM

其他

2026-10-06

3.7 tok/s

Decode

27.8 tok/s

Prefill

3.6 s

TTFT

48 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ3_S vLLM 0.7.3 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

GLM-5.3 · IQ2_XS

L0 自报

NVIDIA DGX Spark · 128GB · SGLang

其他

2026-10-06

0.9 tok/s

Decode

6.8 tok/s

Prefill

14.71 s

TTFT

128 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ2_XS SGLang 0.4.4 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

GLM-5.3 · IQ3_S

L0 自报

NVIDIA DGX Spark · 128GB · SGLang

其他

2026-10-06

0.7 tok/s

Decode

5.3 tok/s

Prefill

18.87 s

TTFT

128 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ3_S SGLang 0.4.4 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

GLM-5.3 · IQ2_XS

L0 自报

NVIDIA DGX Spark · 128GB · vLLM

其他

2026-10-06

0.9 tok/s

Decode

6.8 tok/s

Prefill

14.71 s

TTFT

128 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ2_XS vLLM 0.7.3 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

GLM-5.3 · IQ3_S

L0 自报

NVIDIA DGX Spark · 128GB · vLLM

其他

2026-10-06

0.8 tok/s

Decode

6 tok/s

Prefill

16.67 s

TTFT

128 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ3_S vLLM 0.7.3 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

GLM-5.3 · IQ2_XS

L0 自报

2x NVIDIA RTX 5070 Ti · 32GB · SGLang

其他

2026-10-06

— tok/s

Decode

— tok/s

Prefill

— s

TTFT

32 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ2_XS SGLang 0.4.4 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

GLM-5.3 · IQ3_S

L0 自报

2x NVIDIA RTX 5070 Ti · 32GB · SGLang

其他

2026-10-06

— tok/s

Decode

— tok/s

Prefill

— s

TTFT

32 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ3_S SGLang 0.4.4 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

GLM-5.3 · IQ2_XS

L0 自报

2x NVIDIA RTX 5070 Ti · 32GB · vLLM

其他

2026-10-06

— tok/s

Decode

— tok/s

Prefill

— s

TTFT

32 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ2_XS vLLM 0.7.3 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

GLM-5.3 · IQ3_S

L0 自报

2x NVIDIA RTX 5070 Ti · 32GB · vLLM

其他

2026-10-06

— tok/s

Decode

— tok/s

Prefill

— s

TTFT

32 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ3_S vLLM 0.7.3 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

GLM-5.3 · IQ2_XS

L0 自报

Apple M5 Ultra · 512GB · llama.cpp

其他

2026-10-06

3.7 tok/s

Decode

27.8 tok/s

Prefill

3.6 s

TTFT

254.7 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ2_XS llama.cpp b4200 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

GLM-5.3 · IQ3_S

L0 自报

Apple M5 Ultra · 512GB · llama.cpp

其他

2026-10-06

3.1 tok/s

Decode

23.3 tok/s

Prefill

4.29 s

TTFT

305.6 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ3_S llama.cpp b4200 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

GLM-5.3 · IQ2_XS

L0 自报

Apple M5 Pro · 64GB · llama.cpp

其他

2026-10-06

0.9 tok/s

Decode

6.8 tok/s

Prefill

14.71 s

TTFT

64 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ2_XS llama.cpp b4200 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

GLM-5.3 · IQ3_S

L0 自报

Apple M5 Pro · 64GB · llama.cpp

其他

2026-10-06

0.8 tok/s

Decode

6 tok/s

Prefill

16.67 s

TTFT

64 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ3_S llama.cpp b4200 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

GLM-5.3 · IQ2_XS

L0 自报

Apple M4 Pro · 64GB · llama.cpp

其他

2026-10-06

0.8 tok/s

Decode

6 tok/s

Prefill

16.67 s

TTFT

64 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ2_XS llama.cpp b4200 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

GLM-5.3 · IQ3_S

L0 自报

Apple M4 Pro · 64GB · llama.cpp

其他

2026-10-06

0.7 tok/s

Decode

5.3 tok/s

Prefill

18.87 s

TTFT

64 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ3_S llama.cpp b4200 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

GLM-5.3 · IQ2_XS

L0 自报

Apple M3 Max · 36GB · llama.cpp

其他

2026-10-06

0.9 tok/s

Decode

6.8 tok/s

Prefill

14.71 s

TTFT

36 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ2_XS llama.cpp b4200 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

GLM-5.3 · IQ3_S

L0 自报

Apple M3 Max · 36GB · llama.cpp

其他

2026-10-06

0.8 tok/s

Decode

6 tok/s

Prefill

16.67 s

TTFT

36 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ3_S llama.cpp b4200 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

共 26 条结果

相关模型
相关硬件
相关框架
相关量化