Arao AI

NVIDIA RTX Spark

其他

NVIDIA RTX Spark：N1X 超级芯片整机（Blackwell RTX GPU + 20 核 CPU），LPDDR5X 统一内存，SKU 覆盖 24/32/64/128GB，笔记本整机 $2,399 起（华硕 / 戴尔 / 惠普 / 联想 / 微软），140W 桌面开发套件 $5,999.99。显存按「配置标称容量」口径记录。Windows 下当前为固定分割——128GB 整机 GPU 侧可用约 62.5GB；**Linux 侧已解锁**：2026-10-19 社区实测（ASUS ProArt P16 128GB，Arch Linux ARM + NVIDIA 615.78 驱动）系统与 CUDA 均可见 116.0 GiB 统一内存池，CPU 性能与 Windows 持平（7-Zip 差 ±1.2%）。StorageReview 实测 STREAM Triad 120GB/s（带宽栏取实测值）、Llama-3.1-8B Q4_K_M 56.5 tok/s、Qwen3.6-35B-A3B 89.5 tok/s；笔记本 TDP 45-80W、桌面 140W。

132

运行记录

23

覆盖模型

2

覆盖框架

L2 跨框架验证 × 132

证据分布

典型性能表现

同硬件上各模型 × 框架 × 量化的已上架实测均值。

  1. llama.cpp · IQ3_S Decode 105.34 · Prefill 354.91 ·
  2. Ollama · IQ2_M Decode 116.68 · Prefill 432.72 ·
  3. llama.cpp · IQ3_XS Decode 72.77 · Prefill 239.26 ·
  4. Ollama · IQ3_XS Decode 66.41 · Prefill 229.61 ·
  5. llama.cpp · Q4_K_M Decode 82.35 · Prefill 342.05 ·
  6. Ollama · IQ3_S Decode 107.47 · Prefill 568.49 ·
  7. llama.cpp · Q4_K_M Decode 80.69 · Prefill 270.65 ·
  8. Ollama · Q4_K_M Decode 79.19 · Prefill 309.44 ·
  9. llama.cpp · IQ3_S Decode 91.56 · Prefill 457.14 ·
  10. llama.cpp · Q3_K_S Decode 100.54 · Prefill 475.16 ·
  11. llama.cpp · Q4_K_M Decode 76.22 · Prefill 300.34 ·
  12. Ollama · IQ4_XS Decode 74.46 · Prefill 328.19 ·
  13. Ollama · Q2_K Decode 96.77 · Prefill 510.91 ·
  14. Ollama · Q4_K_M Decode 70.03 · Prefill 271.9 ·
  15. llama.cpp · Q4_K_M Decode 47.78 · Prefill 218.5 ·
  16. Ollama · IQ4_XS Decode 49.65 · Prefill 223.79 ·
  17. Ollama · Q4_K_M Decode 45.05 · Prefill 148.34 ·
  18. llama.cpp · IQ1_S Decode 15.77 · Prefill 62.48 ·
  19. llama.cpp · Q4_K_M Decode 11.03 · Prefill 58.41 ·
  20. llama.cpp · Q4_K_S Decode 11.75 · Prefill 39.19 ·
  21. Ollama · IQ3_S Decode 12.19 · Prefill 51.57 ·
  22. Ollama · IQ4_XS Decode 9.95 · Prefill 46.04 ·
  23. Ollama · Q4_K_M Decode 9.21 · Prefill 45.35 ·
  24. llama.cpp · IQ4_XS Decode 53.68 · Prefill 258.94 ·
  25. llama.cpp · Q4_K_M Decode 50.55 · Prefill 236.22 ·
  26. Ollama · Q4_K_M Decode 49.53 · Prefill 221.38 ·
  27. llama.cpp · Q5_K_M Decode 8.81 · Prefill 37.51 ·
  28. llama.cpp · Q8_0 Decode 6.42 · Prefill 24.36 ·
  29. Ollama · Q5_K_M Decode 7.6 · Prefill 28.29 ·
  30. Ollama · Q6_K Decode 7.47 · Prefill 38.07 ·
  31. Ollama · Q8_0 Decode 6.14 · Prefill 31.39 ·
  32. llama.cpp · FP16 Decode 5.5 · Prefill 19.76 ·
  33. llama.cpp · Q5_K_M Decode 8.41 · Prefill 32.22 ·
  34. llama.cpp · Q8_0 Decode 7.68 · Prefill 32.82 ·
  35. Ollama · Q5_K_M Decode 8.83 · Prefill 30.38 ·
  36. Ollama · Q8_0 Decode 6.72 · Prefill 25.96 ·
  37. llama.cpp · Q5_K_M Decode 78.77 · Prefill 418.38 ·
  38. llama.cpp · Q8_0 Decode 57.81 · Prefill 190.18 ·
  39. Ollama · Q8_0 Decode 52.36 · Prefill 271.04 ·
  40. llama.cpp · Q4_K_M Decode 90.26 · Prefill 398.49 ·
  41. llama.cpp · Q5_K_M Decode 71.83 · Prefill 346.83 ·
  42. llama.cpp · Q8_0 Decode 64.66 · Prefill 241.03 ·
  43. Ollama · FP16 Decode 40.67 · Prefill 196.29 ·
  44. Ollama · Q5_K_M Decode 69.06 · Prefill 289.88 ·
  45. Ollama · Q8_0 Decode 56.21 · Prefill 286.64 ·
  46. llama.cpp · Q6_K Decode 8.03 · Prefill 30.64 ·
  47. llama.cpp · Q8_0 Decode 6.76 · Prefill 25.64 ·
  48. Ollama · FP16 Decode 4.9 · Prefill 24.42 ·
  49. Ollama · Q6_K Decode 7.03 · Prefill 31.25 ·
  50. Ollama · Q8_0 Decode 6.87 · Prefill 25.86 ·

Fit 判定

按显存与内存带宽做物理估算：选择模型，查看各量化能否装下及预计速度

估算公式：tok/s =（带宽 ÷ 模型占用）× 0.55，借鉴 llmfit；实测以运行记录为准

核心规格

厂商
NVIDIA
架构
N1X (Blackwell RTX GPU + 20-core CPU)
显存
128 GB
显存带宽
120 GB/s
TDP 功耗
80 W
发布日期
2026-10-16

运行记录

共 50 组配置

模型框架量化Decode生成耗时样本数
gemma-4-E4B-itllama.cppIQ3_S105.3 tok/s—1
gemma-4-E4B-itOllamaIQ2_M116.7 tok/s—1
Ministral-3-8B-Instruct-2512llama.cppIQ3_XS72.8 tok/s—1
Ministral-3-8B-Instruct-2512OllamaIQ3_XS66.4 tok/s—1
iFlytek Spark-X2.5-4Bllama.cppQ4_K_M82.3 tok/s—1
iFlytek Spark-X2.5-4BOllamaIQ3_S107.5 tok/s—1
NVIDIA-Nemotron-3.5-Bolt-E4B-4GBllama.cppQ4_K_M80.7 tok/s—1
NVIDIA-Nemotron-3.5-Bolt-E4B-4GBOllamaQ4_K_M79.2 tok/s—1
Flint-40B-A2.5Bllama.cppIQ3_S91.6 tok/s—1
Flint-40B-A2.5Bllama.cppQ3_K_S100.5 tok/s—1
Flint-40B-A2.5Bllama.cppQ4_K_M76.2 tok/s—1
Flint-40B-A2.5BOllamaIQ4_XS74.5 tok/s—1
Flint-40B-A2.5BOllamaQ2_K96.8 tok/s—1
Flint-40B-A2.5BOllamaQ4_K_M70 tok/s—1
Raon-1-mini-previewllama.cppQ4_K_M47.8 tok/s—2
Raon-1-mini-previewOllamaIQ4_XS49.6 tok/s—1
Raon-1-mini-previewOllamaQ4_K_M45 tok/s—1
mammoth-1llama.cppIQ1_S15.8 tok/s—1
mammoth-1llama.cppQ4_K_M11 tok/s—1
mammoth-1llama.cppQ4_K_S11.8 tok/s—1
mammoth-1OllamaIQ3_S12.2 tok/s—1
mammoth-1OllamaIQ4_XS9.9 tok/s—1
mammoth-1OllamaQ4_K_M9.2 tok/s—1
elephant-1llama.cppIQ4_XS53.7 tok/s—1
elephant-1llama.cppQ4_K_M50.5 tok/s—2
elephant-1OllamaQ4_K_M49.5 tok/s—2
Qwen3.8-27Bllama.cppQ5_K_M8.8 tok/s—2
Qwen3.8-27Bllama.cppQ8_06.4 tok/s—1
Qwen3.8-27BOllamaQ5_K_M7.6 tok/s—1
Qwen3.8-27BOllamaQ6_K7.5 tok/s—1
Qwen3.8-27BOllamaQ8_06.1 tok/s—1
Qwen3.6-27Bllama.cppFP165.5 tok/s—1
Qwen3.6-27Bllama.cppQ5_K_M8.4 tok/s—1
Qwen3.6-27Bllama.cppQ8_07.7 tok/s—1
Qwen3.6-27BOllamaQ5_K_M8.8 tok/s—1
Qwen3.6-27BOllamaQ8_06.7 tok/s—1
Qwen3.6-35B-A3Bllama.cppQ5_K_M78.8 tok/s—1
Qwen3.6-35B-A3Bllama.cppQ8_057.8 tok/s—1
Qwen3.6-35B-A3BOllamaQ8_052.4 tok/s—1
Qwen3.5-4Bllama.cppQ4_K_M90.3 tok/s—2
Qwen3.5-4Bllama.cppQ5_K_M71.8 tok/s—1
Qwen3.5-4Bllama.cppQ8_064.7 tok/s—1
Qwen3.5-4BOllamaFP1640.7 tok/s—1
Qwen3.5-4BOllamaQ5_K_M69.1 tok/s—2
Qwen3.5-4BOllamaQ8_056.2 tok/s—1
Qwen3.5-27Bllama.cppQ6_K8 tok/s—1
Qwen3.5-27Bllama.cppQ8_06.8 tok/s—1
Qwen3.5-27BOllamaFP164.9 tok/s—1
Qwen3.5-27BOllamaQ6_K7 tok/s—1
Qwen3.5-27BOllamaQ8_06.9 tok/s—1