Arao AI
返回搜索结果

Qwen3.6-27B · Q5_K_S

NVIDIA RTX 309024GBllama.cpp v0.3.0-e0663be2713cL0 自报

本页汇总 Qwen3.6-27B（Q5_K_S）在 NVIDIA RTX 3090 上以 llama.cpp 运行的 1 次实测数据，来自 1 个独立来源平台；指标为已上架实测的均值。

46.57 tok/s

Decode

解码速度

1,201.22 tok/s

Prefill

预填充速度

0.1 s

TTFT

首 token 延迟

21.53 GB

VRAM

显存占用

L0 自报

1

实测次数

1

独立来源

GitHub

来源平台

今天

最后验证

性能表现

  1. llama.cpp · Q5_K_S （当前）Decode 46.57 · Prefill 1201.22 ·

核心数据

Decode（平均）
46.57 tok/s
Prefill（平均）
1,201.22 tok/s
TTFT（平均）
0.1 s
VRAM（平均）
21.53 GB
MTP 接受率
—
TTFB
— GB
功耗
— W

基础配置

成员级字段取自最近一次实测

模型
Qwen3.6-27B
量化方式
Q5_K_S
框架
llama.cpp
版本
v0.3.0-e0663be2713c
上下文长度
102400 tokens

硬件信息

标称与实测并排陈列，能否运行由读者自判

GPU
NVIDIA RTX 3090
标称显存
24 GB
实测显存（均值）
21.53 GB
系统
Debian GNU/Linux 13 (trixie)
驱动
610.43.02
CUDA
13.3

获取与上手

部署教程

https://github.com/Anbeeld/beellama.cpp

来源与证据

共 1 条实测记录，逐条可回溯到原始出处

  1. L0 自报GitHub原始链接 验证于 2026-09-20

    v0.3.0-e0663be2713c · Debian GNU/Linux 13 (trixie) · CUDA 13.3 · 102400 ctx

    46.57 tok/s

    Decode

    1,201.22 tok/s

    Prefill

    0.1 s

    TTFT

    21.53 GB

    VRAM

    —

    MTP

    — W

    功耗

    run-1 wall= 21.87s ttft= 98ms toks=1000 wall_TPS= 45.72 decode_TPS= 45.92 run-2 wall= 20.93s ttft= 98ms toks=1000 wall_TPS= 47.78 decode_TPS= 48.01 run-1 wall= 11.38s ttft= 10971ms prompt_toks= 13179 PP_tok/s=1201.22