搜索实测数据

试试这些搜索

找到 2 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型Ternary Bonsai 2 27B

L1 已复现

NVIDIA RTX 5060 Ti 16GB · 16GB · llama.cpp

GitHub

昨天

8.1 tok/s

Decode

21.87 tok/s

Prefill

— s

TTFT

— GB

VRAM

配置（最近一次实测）

Windows 11 PTQ1_0 llama.cpp b11047

来源：GitHub · 1 次实测 · 1 个独立来源

L0 自报

NVIDIA RTX 3080 · 10GB · llama.cpp

GitHub

5 天前

52.18 tok/s

Decode

1,210.6 tok/s

Prefill

— s

TTFT

7.03 GB

VRAM

配置（最近一次实测）

Ubuntu 24.04 CUDA 12.8 PTQ1_0 llama.cpp prism-b10735-842b188 Flash Attention

来源：GitHub · 1 次实测 · 1 个独立来源

共 2 条结果