新闻

本地 AI 的模型、硬件与运行动态——新发布、榜单变化与部署指南。

新闻

指南

边缘 AI 实测:Jetson AGX Orin 110 tok/s @ 37W,每瓦 3 tok/s 创纪录

10-16 批量 108 条边缘 / 移动设备实测:Jetson AGX Orin 64GB 平均 110.96 tok/s(37.5W),Snapdragon X Elite 80.82(22.5W),Snapdragon 7 Gen 4 78.59(21.2W)。**每瓦 tok/s:Jetson 2.96 创 DB 记录**。

Qwen3.5-4BQwen3.5-9BQwen3.5-27BQwen3.5-0.8BQwen3-1.7BQwen2.5-Omni-3BQwen3-Embedding-0.6Bgemma-4-E2B-itNVIDIA RTX 5090Apple M5 MaxNVIDIA Jetson AGX Orin 64GBQualcomm Snapdragon X EliteQualcomm Snapdragon 7 Gen 4
指南

小模型新发现:Qwen3.5-0.8B + Q8_0 + RTX 5090 = 384 tok/s

10-10 批量实测:Qwen3.5-0.8B (0.8B 参数) Q8_0 量化在 RTX 5090 上跑出 384.44 tok/s,4.03GB VRAM。1 秒读完 6000 字短篇。0.8B 是个装机甜区——单卡低 VRAM 跑出桌面推理极值。

Qwen3.5-0.8BNVIDIA RTX 4090NVIDIA RTX 3090Apple M3 MaxNVIDIA RTX 5090NVIDIA RTX 5080NVIDIA RTX 3060 12GBNVIDIA RTX 5070Intel Arc B580
指南

大模型低成本运行:不只取决于显存,取决于整机数据搬运和调度能力

本地推理瓶颈已从 VRAM 转到整机数据搬运 + 调度。同卡同模型 llama.cpp ~50 tok/s vs Strata 70 tok/s(+40%)。3060 12GB 整机方案 ¥2500 = 4090 77% 性能 / 38% 价格。

Qwen3.8-27BQwen3.6-27BQwen3.5-27BNVIDIA RTX 4090NVIDIA RTX 5090NVIDIA RTX 3060 12GBNVIDIA RTX 5070NVIDIA GTX 1080 TiIntel Arc B580
指南

Strata 装机实战 5 步:30 分钟跑起来 Qwen 3.5 27B

5 步装好 Strata 跑 Qwen 3.5 27B IQ2_XS = 70 tok/s。Rust 工具链 → 克隆 → release 编译 → GGUF 模型 → 跑+监控。

Qwen3.5-27BNVIDIA RTX 3060 12GB
指南

二手显卡保留/出售决策:VRAM 6GB 是个分水岭

Strata 出来后再战 3 年。决策标准:VRAM ≥ 6GB 留,< 6GB 卖。RTX 3050 4GB 不够装 27B 量化。

NVIDIA RTX 3060 12GB
指南

llama.cpp 手动部署

下载 GGUF、自选量化与参数,理解每一步在做什么——可控性与性能天花板都更高。

指南

Ollama 一键跑模型

从安装到第一次对话的最快路径:一条命令把开源模型跑在自己机器上。

共 7 篇