关于本站
Arao AI 是一个本地 AI 部署的实测数据库:回答「我的机器能跑什么模型、怎么配置、跑多快」。这一页说清我们是谁、覆盖到哪、以及在什么情况下你会被数字误导。
站点定位
本站面向准备把模型跑在自己机器上的人——手上有一张显卡或一台机器,想确认某套配置能不能跑起来、跑起来大概多快。这类问题在网上要么没人回答,要么只有厂商的标称算力,而标称算力推不出实际吞吐。
我们的做法是把散落在各处的公开实测收集起来、统一成可比的口径、标注证据等级,并且如实呈现数据缺口。本站的原则是「没有记录 ≠ 跑不了」:查不到某种组合,只说明没人公开测过,不代表它不行。我们不拿推测填坑,也不把缺席当成否定结论。
当前局限
下面这些变量会实质影响结果,但本库目前没有建模。拿本站数字做决策时,请把它们一并考虑;如果你关心的场景正好落在其中,本站的数字只能作为量级参考。
- 上下文长度:一条记录通常只反映某个上下文长度下的表现。上下文拉长后 KV cache 挤压显存,吞吐会明显下降,本库目前不单独标注这一点。
- 并发数:绝大多数公开实测是单路请求的结果。多路并发下的总吞吐与单路 Decode 不是一回事。
- KV cache 精度与批处理参数:框架侧的这些设置会影响显存占用与速度,公开数据往往没有写全。
- 驱动、框架与量化工具的版本:同型号硬件在不同版本组合下结果会有差异,本库按记录标注,但不保证版本可比。
- 硬件个体差异与散热:笔记本与整机的功耗墙、温度墙不同,同名芯片也可能跑出不同的数。
这些局限是真实的,不是法律措辞:它们决定了一个数字能外推到多远。随着收录变多,我们会优先把影响最大的一项(上下文长度)补进数据模型。
纠错与联系
数据由运营逐条手工整理,出错是可能的;如有发现,欢迎来信指出——最有帮助的反馈是带上原始出处:一条链接、一段配置说明,我们就能核对并在后台修正。
如果你手上正好有我们没收录的实测结果,也一并欢迎;收录标准见「数据说明」。
来源与合规
本站展示的实测结果来自公开发布的资料,每一条都标注来源类型与来源链接。我们只引用数据与结论,不转载原文;原文片段仅作为核对依据做最小限度的摘录,版权归原作者所有。
本站与所涉及硬件、模型、框架的厂商无隶属或赞助关系,不因收录某条数据而获得任何形式的报酬。数据缺失与负面结果同样会被展示——这正是「没有记录 ≠ 跑不了」的另一面:好不好用,让数据自己说。
若你是原始数据的作者,希望调整引用方式或要求下架,请通过「联系方式」页的邮箱告诉我们。