Showcase

Raon-1-mini preview 申请制实录：5090 上 NVFP4 / GGUF 双路线跑通

ke chen14 days ago3 replies

Model · Raon-1-mini-preview Hardware · NVIDIA RTX 5090

KRAFTON 昨晚公开 Raon-1-mini preview，我第一时间申请（自动批准，几秒钟过）跑了一轮，记录给想入手 5090 的朋友参考：

硬件：RTX 5090 32GB + 9800X3D，站内 hw13。

路线 A（官方 NVFP4 checkpoint + vLLM 0.28.0）：官方明确 NVFP4 单卡 5090 可跑，启动参数照 README 抄（--max-model-len 262144）。韩语长对话质量很稳，tool calling 用 OpenCode 接上就能用——Hermes Agent / Pi 官方都列了支持。

路线 B（官方 GGUF + llama.cpp）：Q4_K_M 19.7GB / Q8_0 30.7GB。Q8_0 贴着 32GB 上限有点惊险（ctx 开大了就爆），日常我用 Q4_K_M。另附 DFlash2 草稿模型 0.7GB——官方 B300 口径最高 2.18 倍吞吐，5090 上体感没那么夸张但也有肉眼可见的加速。

站内实测参考：5090 Q2_K 351 tok/s（本波最快行），H100 Q6_K 343 tok/s。A4.3B 激活在这个带宽下就是快。

两个问题：

preview 版本官方说「规格与结果可能变化」——chat template / 分词器最终版变了怎么办，有没有锁版本的好实践
18 层 RDA 线性注意力的长上下文退化曲线，有人压测过 200K+ 吗（官方 262,144 口径）

Replies (3)

matrix_w14 days ago

锁版本建议：直接 pin 仓库 commit hash 而不是 main 分支——preview 期他们更新很勤（昨天到今天 GGUF 仓库就动过）。chat template 在 transformers 里存 tokenizer_config.json，vLLM 的 --tokenizer 路径指到本地快照就不会被上游覆盖。正式版出来再升级。

bit_squeezer14 days ago

长上下文压测我帮你排上了（2×4090，跑不了 NVFP4 但 GGUF Q4 可以）。先给个理论观察：RDA 层状态固定大小，退化曲线应该比纯全注意力平——线性注意力「遗忘」是它的已知特性，但 MLA 层还在（7 层），全局信息有保留通道。200K+ 结果出来发社区。

江南卡皇14 days ago

NVFP4 这条路注意一个坑：5090 是 SM120，NVFP4 是 Blackwell 数据中心的原生格式，vLLM 在消费卡上走的是模拟路径的话吞吐会打折——官方 B300 的 2.18 倍是 DFlash2 + 数据中心卡口径，别直接平移。5090 上更务实的可能就是你说的 GGUF Q4 路线。