搜索实测数据

试试这些搜索

找到 12 个运行配置组合

计数为运行配置组合(模型 + 硬件 + 框架 + 量化的聚合),同一组合的多次实测已合并;原始次数见各结果的来源行。

模型Muse-Glimmer-30B

Muse-Glimmer-30B · IQ2_XS

L0 自报

NVIDIA RTX 5070 Ti · 16GB · vLLM

其他

2026-10-06

75.4 tok/s

Decode

565.5 tok/s

Prefill

0.18 s

TTFT

10.6 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ2_XS vLLM 0.7.3 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Muse-Glimmer-30B · Q4_K_M

L0 自报

NVIDIA RTX 5070 Ti · 16GB · vLLM

其他

2026-10-06

41.8 tok/s

Decode

313.5 tok/s

Prefill

0.32 s

TTFT

16 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 Q4_K_M vLLM 0.7.3 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Muse-Glimmer-30B · IQ2_XS

L0 自报

NVIDIA RTX 5070 Ti · 16GB · llama.cpp

其他

2026-10-06

69.2 tok/s

Decode

519 tok/s

Prefill

0.19 s

TTFT

10.6 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ2_XS llama.cpp b4200 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Muse-Glimmer-30B · Q4_K_M

L0 自报

NVIDIA RTX 5070 Ti · 16GB · llama.cpp

其他

2026-10-06

38.4 tok/s

Decode

288 tok/s

Prefill

0.35 s

TTFT

16 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Muse-Glimmer-30B · IQ2_XS

L0 自报

NVIDIA RTX 5090 · 32GB · vLLM

其他

2026-10-06

150.8 tok/s

Decode

1,131 tok/s

Prefill

0.09 s

TTFT

10.6 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ2_XS vLLM 0.7.3 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Muse-Glimmer-30B · Q4_K_M

L0 自报

NVIDIA RTX 5090 · 32GB · vLLM

其他

2026-10-06

83.7 tok/s

Decode

627.8 tok/s

Prefill

0.16 s

TTFT

18.7 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 Q4_K_M vLLM 0.7.3 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Muse-Glimmer-30B · IQ2_XS

L0 自报

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

2026-10-06

138.4 tok/s

Decode

1,038 tok/s

Prefill

0.1 s

TTFT

10.6 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ2_XS llama.cpp b4200 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Muse-Glimmer-30B · Q4_K_M

L0 自报

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

2026-10-06

76.8 tok/s

Decode

576 tok/s

Prefill

0.17 s

TTFT

18.7 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Muse-Glimmer-30B · IQ2_XS

L0 自报

NVIDIA RTX 4090 · 24GB · vLLM

其他

2026-10-06

84.8 tok/s

Decode

636 tok/s

Prefill

0.16 s

TTFT

10.6 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ2_XS vLLM 0.7.3 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Muse-Glimmer-30B · Q4_K_M

L0 自报

NVIDIA RTX 4090 · 24GB · vLLM

其他

2026-10-06

47.1 tok/s

Decode

353.3 tok/s

Prefill

0.28 s

TTFT

18.7 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 Q4_K_M vLLM 0.7.3 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Muse-Glimmer-30B · IQ2_XS

L0 自报

NVIDIA RTX 4090 · 24GB · llama.cpp

其他

2026-10-06

77.8 tok/s

Decode

583.5 tok/s

Prefill

0.17 s

TTFT

10.6 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 IQ2_XS llama.cpp b4200 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

Muse-Glimmer-30B · Q4_K_M

L0 自报

NVIDIA RTX 4090 · 24GB · llama.cpp

其他

2026-10-06

43.2 tok/s

Decode

324 tok/s

Prefill

0.31 s

TTFT

18.7 GB

VRAM

配置(最近一次实测)
Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源:其他 · 1 次实测 · 1 个独立来源

共 12 条结果

相关模型
相关硬件
相关框架
相关量化