Arao AI

搜索实测数据

试试这些搜索

找到 20 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型Qwen-AgentWorld-35B-A3B

Qwen-AgentWorld-35B-A3B · Q5_K_M

L0 自报

NVIDIA RTX 5080 SUPER · 24GB · vLLM

其他

今天

36.6 tok/s

Decode

274.5 tok/s

Prefill

0.36 s

TTFT

24 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen-AgentWorld-35B-A3B · Q4_K_M

L0 自报

NVIDIA RTX 5080 SUPER · 24GB · vLLM

其他

今天

44.7 tok/s

Decode

335.3 tok/s

Prefill

0.3 s

TTFT

21.8 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen-AgentWorld-35B-A3B · Q5_K_M

L0 自报

NVIDIA RTX 5080 SUPER · 24GB · llama.cpp

其他

今天

33.6 tok/s

Decode

252 tok/s

Prefill

0.4 s

TTFT

24 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen-AgentWorld-35B-A3B · Q4_K_M

L0 自报

NVIDIA RTX 5080 SUPER · 24GB · llama.cpp

其他

今天

41 tok/s

Decode

307.5 tok/s

Prefill

0.33 s

TTFT

21.8 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen-AgentWorld-35B-A3B · Q5_K_M

L0 自报

NVIDIA RTX 5070 SUPER · 18GB · vLLM

其他

今天

29.3 tok/s

Decode

219.8 tok/s

Prefill

0.45 s

TTFT

18 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen-AgentWorld-35B-A3B · Q4_K_M

L0 自报

NVIDIA RTX 5070 SUPER · 18GB · vLLM

其他

今天

35.8 tok/s

Decode

268.5 tok/s

Prefill

0.37 s

TTFT

18 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen-AgentWorld-35B-A3B · Q5_K_M

L0 自报

NVIDIA RTX 5070 SUPER · 18GB · llama.cpp

其他

今天

26.9 tok/s

Decode

201.8 tok/s

Prefill

0.5 s

TTFT

18 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen-AgentWorld-35B-A3B · Q4_K_M

L0 自报

NVIDIA RTX 5070 SUPER · 18GB · llama.cpp

其他

今天

32.8 tok/s

Decode

246 tok/s

Prefill

0.41 s

TTFT

18 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen-AgentWorld-35B-A3B · Q5_K_M

L0 自报

NVIDIA RTX 5070 Ti · 16GB · vLLM

其他

今天

29.3 tok/s

Decode

219.8 tok/s

Prefill

0.45 s

TTFT

16 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen-AgentWorld-35B-A3B · Q4_K_M

L0 自报

NVIDIA RTX 5070 Ti · 16GB · vLLM

其他

今天

35.8 tok/s

Decode

268.5 tok/s

Prefill

0.37 s

TTFT

16 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen-AgentWorld-35B-A3B · Q5_K_M

L0 自报

NVIDIA RTX 5070 Ti · 16GB · llama.cpp

其他

今天

26.9 tok/s

Decode

201.8 tok/s

Prefill

0.5 s

TTFT

16 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen-AgentWorld-35B-A3B · Q4_K_M

L0 自报

NVIDIA RTX 5070 Ti · 16GB · llama.cpp

其他

今天

32.8 tok/s

Decode

246 tok/s

Prefill

0.41 s

TTFT

16 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen-AgentWorld-35B-A3B · Q5_K_M

L0 自报

NVIDIA RTX 5090 · 32GB · vLLM

其他

今天

58.6 tok/s

Decode

439.5 tok/s

Prefill

0.23 s

TTFT

26.5 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen-AgentWorld-35B-A3B · Q4_K_M

L0 自报

NVIDIA RTX 5090 · 32GB · vLLM

其他

今天

71.5 tok/s

Decode

536.3 tok/s

Prefill

0.19 s

TTFT

21.8 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen-AgentWorld-35B-A3B · Q5_K_M

L0 自报

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

今天

53.8 tok/s

Decode

403.5 tok/s

Prefill

0.25 s

TTFT

26.5 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen-AgentWorld-35B-A3B · Q4_K_M

L0 自报

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

今天

65.6 tok/s

Decode

492 tok/s

Prefill

0.2 s

TTFT

21.8 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen-AgentWorld-35B-A3B · Q5_K_M

L0 自报

NVIDIA RTX 4090 · 24GB · vLLM

其他

今天

33 tok/s

Decode

247.5 tok/s

Prefill

0.4 s

TTFT

24 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen-AgentWorld-35B-A3B · Q4_K_M

L0 自报

NVIDIA RTX 4090 · 24GB · vLLM

其他

今天

40.2 tok/s

Decode

301.5 tok/s

Prefill

0.33 s

TTFT

21.8 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M vLLM 0.7.3 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen-AgentWorld-35B-A3B · Q5_K_M

L0 自报

NVIDIA RTX 4090 · 24GB · llama.cpp

其他

今天

30.2 tok/s

Decode

226.5 tok/s

Prefill

0.44 s

TTFT

24 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q5_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen-AgentWorld-35B-A3B · Q4_K_M

L0 自报

NVIDIA RTX 4090 · 24GB · llama.cpp

其他

今天

36.9 tok/s

Decode

276.8 tok/s

Prefill

0.36 s

TTFT

21.8 GB

VRAM

配置（最近一次实测）
Linux CUDA 12.6 Q4_K_M llama.cpp b4200 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 20 条结果

相关模型
相关硬件
相关框架
相关量化