Arao AI

搜索实测数据

试试这些搜索

找到 26 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型NVIDIA-Nemotron-3.5-Bolt-E4B-4GB

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Q4_K_M

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · llama.cpp

其他

12 天前

160.59 tok/s

Decode

829.66 tok/s

Prefill

2.32 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.6 Q4_K_M llama.cpp v0.36

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Q4_K_M

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · Strata

其他

12 天前

225.92 tok/s

Decode

741.96 tok/s

Prefill

1.96 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.6 Q4_K_M Strata v0.44 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Q4_K_M

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · llama.cpp

其他

12 天前

94.58 tok/s

Decode

353.95 tok/s

Prefill

1 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 Q4_K_M llama.cpp v0.30

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Q4_K_M

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · Strata

其他

12 天前

125.83 tok/s

Decode

630.14 tok/s

Prefill

2.19 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.4 Q4_K_M Strata v0.28

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Q4_K_M

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · llama.cpp

其他

12 天前

102.56 tok/s

Decode

353.32 tok/s

Prefill

2.42 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.4 Q4_K_M llama.cpp v0.35 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Q4_K_M

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · Ollama

其他

12 天前

86.87 tok/s

Decode

421.48 tok/s

Prefill

1.94 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.6 Q4_K_M Ollama v0.24 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · BF16

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · vLLM

其他

12 天前

171.53 tok/s

Decode

804.96 tok/s

Prefill

0.25 s

TTFT

30.4 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.8 BF16 vLLM v0.50 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Q4_K_M

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Ollama

其他

12 天前

279.75 tok/s

Decode

1,289.8 tok/s

Prefill

1.24 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 Q4_K_M Ollama v0.32 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Q4_K_M

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · Ollama

其他

12 天前

181.19 tok/s

Decode

808.04 tok/s

Prefill

1.57 s

TTFT

15.2 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 Q4_K_M Ollama v0.47 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Q4_K_M

L2 跨框架验证

NVIDIA RTX 4080 Super · 16GB · llama.cpp

其他

12 天前

162.68 tok/s

Decode

521.64 tok/s

Prefill

1.22 s

TTFT

15.2 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.8 Q4_K_M llama.cpp v0.28

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Q4_K_M

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · llama.cpp

其他

12 天前

35.76 tok/s

Decode

167.23 tok/s

Prefill

0.59 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 Q4_K_M llama.cpp v0.31 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Q4_K_M

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · Ollama

其他

12 天前

33.77 tok/s

Decode

108.98 tok/s

Prefill

1.79 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.4 Q4_K_M Ollama v0.20 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Q4_K_M

L2 跨框架验证

Apple M5 Max · 128GB · llama.cpp

其他

12 天前

76.62 tok/s

Decode

265.83 tok/s

Prefill

1.74 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q4_K_M llama.cpp v0.25

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Q4_K_M

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

12 天前

69.91 tok/s

Decode

321.78 tok/s

Prefill

1.46 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q4_K_M Ollama v0.21 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Q4_K_M

L2 跨框架验证

Apple M5 Ultra · 512GB · llama.cpp

其他

12 天前

130.96 tok/s

Decode

547.83 tok/s

Prefill

1.48 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q4_K_M llama.cpp v0.45 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Q4_K_M

L2 跨框架验证

Apple M5 Ultra · 512GB · Ollama

其他

12 天前

106.35 tok/s

Decode

353.45 tok/s

Prefill

0.54 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q4_K_M Ollama v0.43 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Q4_K_M

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · Ollama

其他

12 天前

345.26 tok/s

Decode

1,726.58 tok/s

Prefill

1.8 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 13.0 Q4_K_M Ollama v0.45

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Q4_K_M

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · Strata

其他

12 天前

317.23 tok/s

Decode

1,729.64 tok/s

Prefill

1.22 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.8 Q4_K_M Strata v0.41 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Q4_K_M

L2 跨框架验证

NVIDIA H20 · 97GB · llama.cpp

其他

12 天前

61.75 tok/s

Decode

319.38 tok/s

Prefill

1.57 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.4 Q4_K_M llama.cpp v0.44 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

NVIDIA-Nemotron-3.5-Bolt-E4B-4GB · Q4_K_M

L2 跨框架验证

NVIDIA H20 · 97GB · Strata

其他

12 天前

91.09 tok/s

Decode

326.32 tok/s

Prefill

0.1 s

TTFT

15.88 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.8 Q4_K_M Strata v0.40 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 26 条结果

相关模型
相关硬件
相关框架
相关量化