搜索实测数据

试试这些搜索

找到 18 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型Qwen3-8B

Qwen3-8B · Q8_0

L0 自报

NVIDIA RTX 5060 SUPER · 12GB · llama.cpp

其他

今天

40.6 tok/s

Decode

304.5 tok/s

Prefill

0.33 s

TTFT

9.1 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q8_0 llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Qwen3-8B · Q5_K_M

L0 自报

NVIDIA RTX 5060 SUPER · 12GB · llama.cpp

其他

今天

59.2 tok/s

Decode

444 tok/s

Prefill

0.23 s

TTFT

6.4 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q5_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Qwen3-8B · Q4_K_M

L0 自报

NVIDIA RTX 5060 SUPER · 12GB · llama.cpp

其他

今天

71.3 tok/s

Decode

534.8 tok/s

Prefill

0.19 s

TTFT

5.4 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Qwen3-8B · Q8_0

L0 自报

NVIDIA RTX 5070 SUPER · 18GB · llama.cpp

其他

今天

81.3 tok/s

Decode

609.8 tok/s

Prefill

0.16 s

TTFT

9.1 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q8_0 llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Qwen3-8B · Q5_K_M

L0 自报

NVIDIA RTX 5070 SUPER · 18GB · llama.cpp

其他

今天

118.5 tok/s

Decode

888.8 tok/s

Prefill

0.11 s

TTFT

6.4 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q5_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Qwen3-8B · Q4_K_M

L0 自报

NVIDIA RTX 5070 SUPER · 18GB · llama.cpp

其他

今天

142.6 tok/s

Decode

1,069.5 tok/s

Prefill

0.09 s

TTFT

5.4 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Qwen3-8B · Q8_0

L0 自报

NVIDIA RTX 3090 · 24GB · llama.cpp

其他

今天

84.9 tok/s

Decode

636.8 tok/s

Prefill

0.16 s

TTFT

9.1 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q8_0 llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Qwen3-8B · Q5_K_M

L0 自报

NVIDIA RTX 3090 · 24GB · llama.cpp

其他

今天

123.7 tok/s

Decode

927.8 tok/s

Prefill

0.11 s

TTFT

6.4 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q5_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Qwen3-8B · Q4_K_M

L0 自报

NVIDIA RTX 3090 · 24GB · llama.cpp

其他

今天

149 tok/s

Decode

1,117.5 tok/s

Prefill

0.09 s

TTFT

5.4 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Qwen3-8B · Q8_0

L0 自报

NVIDIA RTX 5070 · 12GB · llama.cpp

其他

今天

60.9 tok/s

Decode

456.8 tok/s

Prefill

0.22 s

TTFT

9.1 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q8_0 llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Qwen3-8B · Q5_K_M

L0 自报

NVIDIA RTX 5070 · 12GB · llama.cpp

其他

今天

88.8 tok/s

Decode

666 tok/s

Prefill

0.15 s

TTFT

6.4 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q5_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Qwen3-8B · Q4_K_M

L0 自报

NVIDIA RTX 5070 · 12GB · llama.cpp

其他

今天

107 tok/s

Decode

802.5 tok/s

Prefill

0.12 s

TTFT

5.4 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Qwen3-8B · Q8_0

L0 自报

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

今天

162.5 tok/s

Decode

1,218.8 tok/s

Prefill

0.08 s

TTFT

9.1 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q8_0 llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Qwen3-8B · Q5_K_M

L0 自报

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

今天

236.9 tok/s

Decode

1,776.8 tok/s

Prefill

0.06 s

TTFT

6.4 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q5_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Qwen3-8B · Q4_K_M

L0 自报

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

今天

285.3 tok/s

Decode

2,139.8 tok/s

Prefill

0.05 s

TTFT

5.4 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Qwen3-8B · Q8_0

L0 自报

NVIDIA RTX 4090 · 24GB · llama.cpp

其他

今天

91.4 tok/s

Decode

685.5 tok/s

Prefill

0.15 s

TTFT

9.1 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q8_0 llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Qwen3-8B · Q5_K_M

L0 自报

NVIDIA RTX 4090 · 24GB · llama.cpp

其他

今天

133.3 tok/s

Decode

999.8 tok/s

Prefill

0.1 s

TTFT

6.4 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q5_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

Qwen3-8B · Q4_K_M

L0 自报

NVIDIA RTX 4090 · 24GB · llama.cpp

其他

今天

160.5 tok/s

Decode

1,203.8 tok/s

Prefill

0.08 s

TTFT

5.4 GB

VRAM

配置（最近一次实测）

Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

对比查看详情

共 18 条结果