Arao AI
返回搜索结果

Qwen3.6-27B · Q5_K_S

发起讨论
NVIDIA RTX 3090 Ti24GBllama.cpp beellama.cpp v0.3.0-e0663be2713cL0 自报

本页汇总 Qwen3.6-27B（Q5_K_S）在 NVIDIA RTX 3090 Ti 上以 llama.cpp 运行的 1 次实测数据，来自 1 个独立来源平台；指标为已上架实测的均值。

50.84 tok/s

Decode

解码速度

1,376.9 tok/s

Prefill

预填充速度

0.09 s

TTFT

首 token 延迟

22.47 GB

VRAM

显存占用

L0 自报

1

实测次数

1

独立来源

GitHub

来源平台

2026-09-27

最后验证

性能表现

  1. llama.cpp · Q5_K_S （当前）Decode 50.84 · Prefill 1376.9 ·

核心数据

Decode（平均）
50.84 tok/s
Prefill（平均）
1,376.9 tok/s
TTFT（平均）
0.09 s
VRAM（平均）
22.47 GB
MTP 接受率
—
TTFB
— GB
功耗
— W

基础配置

成员级字段取自最近一次实测

模型
Qwen3.6-27B
量化方式
Q5_K_S
框架
llama.cpp
版本
beellama.cpp v0.3.0-e0663be2713c
上下文长度
102400 tokens

硬件信息

标称与实测并排陈列，能否运行由读者自判

GPU
NVIDIA RTX 3090 Ti
标称显存
24 GB
实测显存（均值）
22.47 GB
系统
Ubuntu 24.04.4 LTS
驱动
580.159.03
CUDA
13.0

获取与上手

本次部署权重下载

原始模型资料

以下为基础模型入口，不保证与本次量化版本一致；部署请使用上方已核实权重。

来源与证据

共 1 条实测记录，逐条可回溯到原始出处

  1. L0 自报GitHub原始链接 验证于 2026-09-27

    beellama.cpp v0.3.0-e0663be2713c · Ubuntu 24.04.4 LTS · CUDA 13.0 · 102400 ctx

    50.84 tok/s

    Decode

    1,376.9 tok/s

    Prefill

    0.09 s

    TTFT

    22.47 GB

    VRAM

    —

    MTP

    — W

    功耗

    RTX3090Ti eGPU +RyzenAI9HX370/28GiB RAM，beellama.cpp DFlash fork，Q5_K_S、ctx102400。narrative均值50.84t/s、短prompt TTFT85ms；13179tok prefill1376.90t/s。22.47GiB为bench末尾23006MiB读数，非峰值；soak工具未完成。392.82W为末尾瞬时功耗，已置空。