社区

提问、分享实测成果、交流部署经验——分享内容不代表本站已验证。

发起讨论

共 101 个话题

求助

四张5080的pptp对照:长提示词与decode可能朝两个方向变化

【站方话题 · AI 辅助整理】 club-3090于11月19日新增#2102:同机四张5080比较TP4与pptp,报告称后者90K prefill更快、decode更慢。两边KV均在显存,卡受功耗限制,每种模式仅启动一次;pptp还带

AraoAI 站方2 天前0 条回复
指南

同一台双3090:短提示词decode不能搭配90K的prefill

【站方话题 · AI 辅助整理】 11月19日的club-3090报告#2103把叙事、代码、10K与90K分开。短提示词PP tok/s为n/a;10K和90K各有自己同阶段的prefill与decode,测量输出预算仅128 token

AraoAI 站方2 天前0 条回复
反馈

流式响应吐了几个token后报错,这轮跑分还算成功吗?

【站方话题 · AI 辅助整理】 club-3090在11月16日合入#2071:bench脚本过去会跳过没有choices的流事件,导致引擎中途返回error时,截断回答仍可能被记成正常短输出。修复后这类运行标为失败;422也不再因错误正

AraoAI 站方5 天前0 条回复
求助

Intel软件栈升级后decode更快、长prefill更慢,该留哪个版本?

【站方话题 · AI 辅助整理】 Arc Pro B65的新报告固定源码与模型,只换Intel运行时包,长提示词吞吐下降而decode上升。这说明“升级有没有用”不能只看一个速度数,也不能把软件栈变化误记为显卡变化。 如果主要处理长文档,应

AraoAI 站方5 天前0 条回复
求助

Vulkan报共享内存溢出,为什么缩小模型不一定有用?

【站方话题 · AI 辅助整理】 llama.cpp b12443对NVIDIA FP32 Flash Attention增加了共享内存不足时关闭staging的处理。这里的共享内存不是装权重的显存,所以“模型明明放得下”与“内核仍然失败”

AraoAI 站方5 天前0 条回复
指南

TP4比TP2快,就能证明“卡越多越好”吗?

【站方话题 · AI 辅助整理】 11月15日club-3090 #2060的追测比较同机Qwen3.8-27B FP8、vLLM 0.33.0的不同分组,但作者最后也列出:双卡与四卡的KV精度、上下文上限和并发配置并不相同。 因此可把它看

AraoAI 站方6 天前0 条回复
指南

同样是5080,为什么功耗扫描必须逐卡登记?

【站方话题 · AI 辅助整理】 11月15日的club-3090 #2041经追问更正:四张5080里,GPU0下限252W,GPU3下限250W;另外两张卡的上限也不同。原文一句分组描述曾与表格冲突,后来由现场读取澄清。 分享限功耗结果

AraoAI 站方6 天前0 条回复
求助

AMD Vulkan升级后短提示正常、长提示崩溃,先比哪些条件?

【站方话题 · AI 辅助整理】 11月15日的llama.cpp #32353里,7800 XT与9070 XT用户都报告Windows专有驱动下的FA异常,但kvsep只在前者报告中绕过成功。两边模型和构建不同,不能给整个RDNA系列贴

AraoAI 站方6 天前0 条回复
反馈

同一服务两套采样默认值,评测记录该跟哪一套?

【站方话题 · AI 辅助整理】 今日合并的club-3090 #2031修正了QEngine采样标记:引擎有thinking与non-thinking两行默认值,旧匹配方式可能取到错误的一行。只修正正则,不按当前测试档选择,仍然会记错。

AraoAI 站方7 天前0 条回复
求助

整段工具回复一次到达,TTFT还代表首字等待吗?

【站方话题 · AI 辅助整理】 club-3090 #2033的12轮工具回复全部整块到达。第一块到达时,模型已经生成完回复,因此客户端TTFT同时包含提示处理与整段生成,不能拿它单独判断长上下文读取开销。 随后合并的#2035保留原始时

AraoAI 站方7 天前0 条回复
求助

量化模型能加载却乱码,先查精度还是计算图?

【站方话题 · AI 辅助整理】 llama.cpp今日窗口合并#32241,修复Qwen2-VL计算图遗漏NVFP4的FFN缩放参数。贡献者报告修复前模型可以加载,却输出异常;这不是一个速度排行榜问题。 排错可先锁权重哈希、转换命令、模板

AraoAI 站方7 天前0 条回复
反馈

作者撤回9.3%加速后,旧跑分该如何标注?

【站方话题 · AI 辅助整理】 今日窗口内,b70-lab的PR #39撤回此前Windows短上下文prefill约9.3%的提升:作者说明旧stock基线偏低,11月13日干净重测为1036.5对1037.3,轮间波动5.2 tok/

AraoAI 站方8 天前0 条回复
求助

llama.cpp到1.0了,升级验收先测哪一层?

【站方话题 · AI 辅助整理】 llama.cpp今日观察窗内发布v1.0.0,同时涉及旧公共API清理、FP8 KV缓存、MoE缓存和服务安全边界。对自建本地服务,直接换二进制再测一个速度值,容易漏掉绑定、工具调用及私网媒体访问的变化。

AraoAI 站方8 天前0 条回复
反馈

能力测试标了CONTAMINATED,还能怎么用这份报告?

【站方话题 · AI 辅助整理】 club-3090 #2009在11月12日补交DeepSeek Maya-S能力测试,但思考开启档因toolcall响应缺少reasoning,被工具标为CONTAMINATED。关闭档仍标valid,两

AraoAI 站方9 天前0 条回复
求助

7900 XTX升级后prefill回退,为什么decode可能不变?

【站方话题 · AI 辅助整理】 BeeLlama.cpp #203于11月12日提交,报告Windows 11、RX 7900 XTX和Qwen3.6-35B-A3B UD-IQ4_NL在不同构建上的prefill差异,decode则接近

AraoAI 站方9 天前0 条回复
求助

MoE缓存升级后,先验输出还是先比吞吐?

【站方话题 · AI 辅助整理】 llama.cpp #32100于11月12日合并并进入b12328,修复某些跨后端路径在专家上传前预取缓存的问题。设备不支持缓存MULMATID时,新逻辑还会跳过该缓存路径。 复测建议先留构建号、后端、缓

AraoAI 站方9 天前0 条回复
求助

128GB统一内存整机,采购前该索要哪些可复现条件?

【站方话题 · AI 辅助整理】 技嘉11月10日宣布AI TOP AERO,标称最高128GB统一内存。这个数描述配置上限,不直接回答Windows下GPU可分配多少、目标模型能留多少KV cache。 建议核对具体SKU、系统与驱动、框

AraoAI 站方11 天前0 条回复
反馈

Maya实测追更:别只读首帖,把OOM假说和后续内核证据分开

【站方话题 · AI 辅助整理】 club-3090 #1989 的11月10日首帖把 exit -9 原因列为未证实;窗口末的追更已贴出上一启动周期的内核OOM日志,并纠正PCIe流量方向。只抓首帖会保留过期判断。 但追更的pinned运

AraoAI 站方11 天前0 条回复

共 101 条