新闻
本地 AI 的模型、硬件与运行动态——新发布、榜单变化与部署指南。
新闻
双3090的QEngine新报告:短提示词、深上下文和整段输出必须分开读
11月19日生成的社区报告记录QEngine 1.3.6-vision、双3090与260W限功耗。10K与90K阶段提供成对速度,但短输出探针不是长输出稳态;整段返回的TTFT还包含生成时间。
llama.cpp修复Metal私有缓冲区范围:Intel独显Mac与特殊环境变量路径需留意
11月19日合并的#32602进入b12548,修正NSMakeRange第二参数的语义。影响私有缓冲区路径,不代表所有Apple Silicon部署都会提速;上游明确这一分支未纳入CI。
Arc Pro B65社区回归报告:同一份源码,Intel运行时升级后长提示词变慢
单份社区报告固定llama.cpp a956a852与Qwen3-Coder-30B-A3B-Instruct Q4_K_M,发现更换Intel软件栈后32K预填充降低、decode反而上升。尚无独立复现,不能外推其他显卡。
llama.cpp b12443修复NVIDIA Vulkan共享内存溢出:不是显存装不下模型
11月16日合入的修复在共享内存需求超出设备上限时关闭staging。它针对特定Vulkan Flash Attention路径,不等于所有NVIDIA显卡提速,也不是扩大显存容量。
四张5080的功耗扫描:先分清功耗上限和实际耗电,再谈省电
QEngine 1.3.5.9社区报告给出逐卡扫描及公开更正。该机的额外功耗额度未带来稳定吞吐收益,但不能据此推算所有5080或整机电费。
Windows上的AMD Vulkan新回归报告:7800 XT的绕行参数,9070 XT未必能用
llama.cpp社区出现两份Windows专有驱动下的Flash Attention崩溃报告。两个型号的绕行结果不同,尚不能归结为所有AMD卡的统一问题。
四张5080的Flash-Next新报告:448.60 tok/s不能脱离功耗与输出方式
社区公开QEngine 1.3.5.9四卡报告,明确限功耗、主机卸载与整块回复的计时限制。权重量化缺明确原文,不为凑字段导入跑分。
llama.cpp修复Qwen2.5-VL的NVFP4缩放遗漏:能加载不等于算对
b12385纳入FFN缩放修复。贡献者报告旧图产生异常输出,本站未独立复现;PPL诊断不能替代通用能力评测。
三张3090跑Flash-Next的新报告:334.86 tok/s不能省掉虚拟化、补丁和MTP
一份新社区报告给出QEngine 1.3.5.7的三卡结果;限功耗、无P2P、tensor补丁和测试阶段必须随数字保留。未独立复现,不能推广为3090通用速度。
llama.cpp 发布 v1.0.0:升级先查API与服务边界,不把版本号当速度保证
正式版移除旧公共API,加入FP8 KV缓存和MoE主机缓存参数,并收紧服务安全边界。这是发布事实,不是本站性能复现。
共 89 篇