Arao AI
返回搜索结果

Qwen3.6-27B · Q5_K_S

发起讨论
NVIDIA RTX 309024GBllama.cpp beellama.cpp v0.3.0-e0663be2713cL0 自报

本页汇总 Qwen3.6-27B（Q5_K_S）在 NVIDIA RTX 3090 上以 llama.cpp 运行的 1 次实测数据，来自 1 个独立来源平台；指标为已上架实测的均值。

46.57 tok/s

Decode

解码速度

1,201.22 tok/s

Prefill

预填充速度

0.1 s

TTFT

首 token 延迟

21.53 GB

VRAM

显存占用

L0 自报

1

实测次数

1

独立来源

GitHub

来源平台

2026-09-27

最后验证

性能表现

  1. vLLM · IQ1_S Decode 96.12 · Prefill 373.79 ·
  2. Ollama · IQ1_S Decode 76.57 · Prefill 351.59 ·
  3. llama.cpp · Q4_K_M Decode 57.02 · Prefill 1299.01 ·
  4. llama.cpp · UD-Q3_K_XL Decode 36.67 · Prefill 39.44 ·
  5. llama.cpp · Q5_K_S （当前）Decode 46.57 · Prefill 1201.22 ·

核心数据

Decode（平均）
46.57 tok/s
Prefill（平均）
1,201.22 tok/s
TTFT（平均）
0.1 s
VRAM（平均）
21.53 GB
MTP 接受率
—
TTFB
— GB
功耗
— W

基础配置

成员级字段取自最近一次实测

模型
Qwen3.6-27B
量化方式
Q5_K_S
框架
llama.cpp
版本
beellama.cpp v0.3.0-e0663be2713c
上下文长度
102400 tokens

硬件信息

标称与实测并排陈列，能否运行由读者自判

GPU
NVIDIA RTX 3090
标称显存
24 GB
实测显存（均值）
21.53 GB
系统
Debian GNU/Linux 13 (trixie)
驱动
610.43.02
CUDA
13.3

获取与上手

本次部署权重下载

原始模型资料

以下为基础模型入口，不保证与本次量化版本一致；部署请使用上方已核实权重。

部署教程

https://github.com/Anbeeld/beellama.cpp

来源与证据

共 1 条实测记录，逐条可回溯到原始出处

  1. L0 自报GitHub原始链接 验证于 2026-09-27

    beellama.cpp v0.3.0-e0663be2713c · Debian GNU/Linux 13 (trixie) · CUDA 13.3 · 102400 ctx

    46.57 tok/s

    Decode

    1,201.22 tok/s

    Prefill

    0.1 s

    TTFT

    21.53 GB

    VRAM

    —

    MTP

    — W

    功耗

    RTX3090 + i7-7800X/48GiB RAM，beellama.cpp DFlash fork、Q5_K_S，ctx102400。narrative5次均值46.57t/s，短prompt TTFT98ms；13179tok prefill1201.22t/s。21.53GiB为初始idle读数，非峰值；soak因容器探测失败未完成，不能当长期稳定性证明。