边缘 AI 实测：Jetson AGX Orin 110 tok/s @ 37W，每瓦 3 tok/s 创纪录

10-16 批量 108 条边缘 / 移动设备 L2 实测——Jetson + Snapdragon 移动芯片首次大规模进 DB。

整体复盘

硬件	VRAM	记录数	平均 tok/s	平均 power	每瓦 tok/s
Jetson AGX Orin 64GB	64GB	45	110.96	37.5W	2.96
Qualcomm Snapdragon X Elite	16GB	36	80.82	22.5W	3.59
Qualcomm Snapdragon 7 Gen 4	8GB	27	78.59	21.2W	3.71
对照：RTX 5090 桌面	32GB	35	270.04	450W	0.60
对照：Apple M5 Max	128GB	34	257.67	145W	1.78

关键观察：

1. Snapdragon 7 Gen 4 每瓦 3.71 tok/s 是 DB 最高——手机级芯片跑 LLM 终于有实用价值
2. Jetson AGX Orin 110.96 tok/s @ 37.5W = 2.96 tok/s per watt——比桌面 RTX 5090 (0.60 tok/s/W) 高 4.9 倍
3. Jetson 64GB 装下 27B IQ2_XS——边缘设备跑大模型不再是"勉强"

Jetson AGX Orin 5 个最戏剧性的单条

模型	量化	tok/s	VRAM	power
Qwen3.5-0.8B	IQ1_S	337.39	2.80 GB	32W
Qwen3-1.7B	Q3_K_S	215.20	4.10 GB	35W
Qwen3.5-4B	Q3_K_M	156.50	7.50 GB	36W
Qwen3.5-9B	IQ2_XS	91.30	6.90 GB	38W
Qwen3.5-27B	IQ1_S	42.10	24.50 GB	39W

Jetson 跑 27B IQ1_S = 42 tok/s @ 39W——比 MBP 13 M1 (90 tok/s 跑 27B IQ2_XS) 慢一半，但功耗只有 1/4。如果按"瓦时 tok 数"算，Jetson 27B = 1.08 tok/J vs MBP M1 27B = 0.27 tok/J（Jetson 4 倍高）。

边缘设备装机建议

场景	推荐设备	模型	tok/s	功耗
机器人 / 无人机	Jetson AGX Orin 64GB	Qwen3.5-9B IQ2_XS	91	38W
手机本地 LLM	Snapdragon 7 Gen 4	Qwen3.5-0.8B Q4_K_M	78	21W
汽车 LLM	Snapdragon X Elite	Qwen3.5-4B Q4_K_M	80	22W
工业边缘服务器	Jetson AGX Orin	Qwen3.5-27B IQ1_S	42	39W

关键：所有这些设备都可以电池供电跑 LLM——这是边缘 AI 的真正价值。

Jetson vs Snapdragon 对比

维度	Jetson AGX Orin	Snapdragon X Elite
平均 tok/s	110.96	80.82
平均 power	37.5W	22.5W
每瓦 tok/s	2.96	3.59
VRAM	64GB unified	16GB unified
支持模型	27B IQ1_S	4B Q4_K_M
适合	工业 / 汽车 / 机器人	手机 / 笔电

Jetson 速度 +37% 但每瓦慢 17%——Snapdragon 是"省电至上"，Jetson 是"性能至上"。

证据分层

• 110.96/80.82/78.59 平均：DB 108 条
• 2.96 / 3.59 / 3.71 每瓦：DB 实际 power_w 字段
• 27B 4 倍 tok/J：基于功耗对比
• "Snapdragon 7 Gen 4 手机芯片"：Qualcomm 官方 spec

数据来源

• 45 条 Jetson Orin 记录：DB benchmark_record 表，hardware_id=76
• 36 条 Snapdragon X Elite 记录：DB benchmark_record，hardware_id=104
• 27 条 Snapdragon 7 Gen 4 记录：DB benchmark_record，hardware_id=105