返回搜索结果

Raon-1-mini-preview · Q5_K_M

NVIDIA H2097GBStrata v0.50L2 跨框架验证

本页汇总 Raon-1-mini-preview（Q5_K_M）在 NVIDIA H20 上以 Strata 运行的 1 次实测数据，来自 1 个独立来源平台；指标为已上架实测的均值。

68.61 tok/s

Decode

解码速度

223.86 tok/s

Prefill

预填充速度

2.05 s

TTFT

首 token 延迟

58.35 GB

VRAM

显存占用

L2 跨框架验证

1

实测次数

1

独立来源

其他

来源平台

13 天前

最后验证

性能表现

Ollama · IQ4_XS Decode 54.63 · Prefill 291.87 ·
Ollama · Q3_K_M Decode 58.6 · Prefill 222.5 ·
Strata · Q5_K_M （当前）Decode 68.61 · Prefill 223.86 ·

核心数据

Decode（平均）: 68.61 tok/s
Prefill（平均）: 223.86 tok/s
TTFT（平均）: 2.05 s
VRAM（平均）: 58.35 GB
MTP 接受率: 0.55
TTFB: 0.55 GB
功耗: 397.5 W

基础配置

成员级字段取自最近一次实测

模型: Raon-1-mini-preview
量化方式: Q5_K_M
框架: Strata
版本: v0.50
上下文长度: 2048 tokens
批次大小: 512
GPU 层数: 15
Flash Attention: 关闭

硬件信息

标称与实测并排陈列，能否运行由读者自判

GPU: NVIDIA H20
标称显存: 97 GB
实测显存（均值）: 58.35 GB
系统: Ubuntu 24.04
驱动: 565.57
CUDA: 12.4
电源功耗: 397.5 W

获取与上手

原始模型资料

以下为基础模型入口，不保证与本次量化版本一致；部署请使用上方已核实权重。

来源与证据

共 1 条实测记录，逐条可回溯到原始出处

L2 跨框架验证其他原始链接验证于 2026-10-22
v0.50 · Ubuntu 24.04 · CUDA 12.4 · 2048 ctx
68.61 tok/s
Decode
223.86 tok/s
Prefill
2.05 s
TTFT
58.35 GB
VRAM
0.55
MTP
397.5 W
功耗
L2 batch seed 2026-10-22: Strata on hw_id=56 running model_id=93 at Q5_K_M