四张5080的pptp对照:长提示词与decode可能朝两个方向变化
【站方话题 · AI 辅助整理】 club-3090于11月19日新增#2102:同机四张5080比较TP4与pptp,报告称后者90K prefill更快、decode更慢。两边KV均在显存,卡受功耗限制,每种模式仅启动一次;pptp还带
提问、分享实测成果、交流部署经验——分享内容不代表本站已验证。
【站方话题 · AI 辅助整理】 club-3090于11月19日新增#2102:同机四张5080比较TP4与pptp,报告称后者90K prefill更快、decode更慢。两边KV均在显存,卡受功耗限制,每种模式仅启动一次;pptp还带
【站方话题 · AI 辅助整理】 11月19日的club-3090报告#2103把叙事、代码、10K与90K分开。短提示词PP tok/s为n/a;10K和90K各有自己同阶段的prefill与decode,测量输出预算仅128 token
【站方话题 · AI 辅助整理】 llama.cpp于11月19日合并#32602,并在b12548发行中修正NSMakeRange的长度参数。贡献者明确影响private buffers路径:Intel独显Mac,或设置GGMLMETAL
【站方话题 · AI 辅助整理】 club-3090在11月16日合入#2071:bench脚本过去会跳过没有choices的流事件,导致引擎中途返回error时,截断回答仍可能被记成正常短输出。修复后这类运行标为失败;422也不再因错误正
【站方话题 · AI 辅助整理】 Arc Pro B65的新报告固定源码与模型,只换Intel运行时包,长提示词吞吐下降而decode上升。这说明“升级有没有用”不能只看一个速度数,也不能把软件栈变化误记为显卡变化。 如果主要处理长文档,应
【站方话题 · AI 辅助整理】 llama.cpp b12443对NVIDIA FP32 Flash Attention增加了共享内存不足时关闭staging的处理。这里的共享内存不是装权重的显存,所以“模型明明放得下”与“内核仍然失败”
【站方话题 · AI 辅助整理】 11月15日club-3090 #2060的追测比较同机Qwen3.8-27B FP8、vLLM 0.33.0的不同分组,但作者最后也列出:双卡与四卡的KV精度、上下文上限和并发配置并不相同。 因此可把它看
【站方话题 · AI 辅助整理】 11月15日的club-3090 #2041经追问更正:四张5080里,GPU0下限252W,GPU3下限250W;另外两张卡的上限也不同。原文一句分组描述曾与表格冲突,后来由现场读取澄清。 分享限功耗结果
【站方话题 · AI 辅助整理】 11月15日的llama.cpp #32353里,7800 XT与9070 XT用户都报告Windows专有驱动下的FA异常,但kvsep只在前者报告中绕过成功。两边模型和构建不同,不能给整个RDNA系列贴
【站方话题 · AI 辅助整理】 今日合并的club-3090 #2031修正了QEngine采样标记:引擎有thinking与non-thinking两行默认值,旧匹配方式可能取到错误的一行。只修正正则,不按当前测试档选择,仍然会记错。
【站方话题 · AI 辅助整理】 club-3090 #2033的12轮工具回复全部整块到达。第一块到达时,模型已经生成完回复,因此客户端TTFT同时包含提示处理与整段生成,不能拿它单独判断长上下文读取开销。 随后合并的#2035保留原始时
【站方话题 · AI 辅助整理】 llama.cpp今日窗口合并#32241,修复Qwen2-VL计算图遗漏NVFP4的FFN缩放参数。贡献者报告修复前模型可以加载,却输出异常;这不是一个速度排行榜问题。 排错可先锁权重哈希、转换命令、模板
【站方话题 · AI 辅助整理】 今日窗口内,b70-lab的PR #39撤回此前Windows短上下文prefill约9.3%的提升:作者说明旧stock基线偏低,11月13日干净重测为1036.5对1037.3,轮间波动5.2 tok/
【站方话题 · AI 辅助整理】 club-3090 #2011展示了三张3090、QEngine 1.3.5.7和MTP的社区自报。原帖code decode为334.86 tok/s,附件10K阶段则是prefill 4209.96、d
【站方话题 · AI 辅助整理】 llama.cpp今日观察窗内发布v1.0.0,同时涉及旧公共API清理、FP8 KV缓存、MoE缓存和服务安全边界。对自建本地服务,直接换二进制再测一个速度值,容易漏掉绑定、工具调用及私网媒体访问的变化。
【站方话题 · AI 辅助整理】 club-3090 #2009在11月12日补交DeepSeek Maya-S能力测试,但思考开启档因toolcall响应缺少reasoning,被工具标为CONTAMINATED。关闭档仍标valid,两
【站方话题 · AI 辅助整理】 BeeLlama.cpp #203于11月12日提交,报告Windows 11、RX 7900 XTX和Qwen3.6-35B-A3B UD-IQ4_NL在不同构建上的prefill差异,decode则接近
【站方话题 · AI 辅助整理】 llama.cpp #32100于11月12日合并并进入b12328,修复某些跨后端路径在专家上传前预取缓存的问题。设备不支持缓存MULMATID时,新逻辑还会跳过该缓存路径。 复测建议先留构建号、后端、缓
【站方话题 · AI 辅助整理】 技嘉11月10日宣布AI TOP AERO,标称最高128GB统一内存。这个数描述配置上限,不直接回答Windows下GPU可分配多少、目标模型能留多少KV cache。 建议核对具体SKU、系统与驱动、框
【站方话题 · AI 辅助整理】 club-3090 #1989 的11月10日首帖把 exit -9 原因列为未证实;窗口末的追更已贴出上一启动周期的内核OOM日志,并纠正PCIe流量方向。只抓首帖会保留过期判断。 但追更的pinned运
共 101 条