Raon-1-mini-preview

28.8B对话由 KRAFTON 发布 发起讨论

KRAFTON AI 从零训练的 Raon 开放模型家族首款(2026-10-22 预览版,Apache-2.0,官方尺寸记号 30B-A4B):28.8B 总参 / 4.3B 激活(128 路由专家选 6 + 1 共享)。混合注意力是核心卖点——25 层中 18 层 Raon Delta Attention(线性注意力,把 Kimi Delta Attention 的 erase/write 门解耦,固定大小状态)+ 7 层 Gated MLA(KV 仅约 8KiB/token BF16),3:1 混排;上下文 262,144 token。韩/英/日/中/西/法/泰多语,原生 tool calling(Hermes Agent / Pi / OpenCode 已接)。量化官方提供 MXFP8 与 NVFP4,**NVFP4 单卡 RTX 5090(32GB)即可推理**;附 DFlash2 草稿模型(B300 实测输出吞吐最高 2.18 倍)。权重仓库为申请制(自动批准),官方 GGUF:Q4_K_M 19.7GB、Q6_K 25.8GB、Q8_0 30.7GB。注意:preview 版本,规格与结果在正式版前可能变化。

0

量化版本

24

实测记录

1

讨论数

量化版本

社区与官方发布的量化版本;「关联实测」只统计精确关联到该发布的实测记录。

还没有已收录的量化版本。

实测数据

共 23 组配置

硬件框架量化生成速度运行显存实测次数证据
NVIDIA RTX 5090OllamaQ2_K351.2 tok/s30.4 GB1L2 跨框架验证
AMD Ryzen AI Max+ 395llama.cppIQ2_M46.3 tok/s33.55 GB1L2 跨框架验证
AMD Ryzen AI Max+ 395OllamaIQ2_M44.2 tok/s33.55 GB1L2 跨框架验证
Apple M5 Maxllama.cppIQ2_XS104 tok/s31.13 GB1L2 跨框架验证
Apple M5 Maxllama.cppIQ4_XS87 tok/s46.85 GB1L2 跨框架验证
Apple M5 MaxOllamaIQ1_S109.9 tok/s27.5 GB1L2 跨框架验证
Apple M5 MaxOllamaQ5_K_S61.5 tok/s56.53 GB1L2 跨框架验证
Apple M5 Ultrallama.cppQ8_076.1 tok/s71.65 GB1L2 跨框架验证
Apple M5 UltraOllamaQ4_K_S118.2 tok/s49.28 GB1L2 跨框架验证
NVIDIA H100 80GB HBM3llama.cppQ6_K343.5 tok/s62.58 GB1L2 跨框架验证
NVIDIA H100 80GB HBM3OllamaQ3_K_S313.6 tok/s41.41 GB1L2 跨框架验证
NVIDIA H20OllamaIQ4_XS54.6 tok/s46.85 GB1L2 跨框架验证
NVIDIA H20OllamaQ3_K_M58.6 tok/s43.23 GB1L2 跨框架验证
NVIDIA H20StrataQ5_K_M68.6 tok/s58.35 GB1L2 跨框架验证
NVIDIA RTX PRO 6000 Blackwell 96GBvLLMIQ3_S304.1 tok/s42.02 GB1L2 跨框架验证
NVIDIA RTX PRO 6000 Blackwell 96GBvLLMIQ4_XS310.1 tok/s46.85 GB1L2 跨框架验证
NVIDIA RTX PRO 6000 Blackwell 96GBOllamaQ4_K_M227.9 tok/s51.69 GB1L2 跨框架验证
Apple M2 Ultrallama.cppIQ2_M155.9 tok/s33.55 GB1L2 跨框架验证
Apple M2 Ultrallama.cppIQ3_S130 tok/s42.02 GB1L2 跨框架验证
Apple M2 UltraOllamaQ4_K_M110.5 tok/s51.69 GB1L2 跨框架验证
NVIDIA RTX Sparkllama.cppQ4_K_M47.8 tok/s51.69 GB2L2 跨框架验证
NVIDIA RTX SparkOllamaIQ4_XS49.6 tok/s46.85 GB1L2 跨框架验证
NVIDIA RTX SparkOllamaQ4_K_M45 tok/s51.69 GB1L2 跨框架验证

其中 24 条实测未关联到具体量化版本,完整数据见搜索页。

社区讨论

查看全部讨论