Arao AI

搜索实测数据

试试这些搜索

找到 26 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型mammoth-1

mammoth-1 · IQ1_S

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · Ollama

其他

14 天前

130.35 tok/s

Decode

593.51 tok/s

Prefill

0.84 s

TTFT

22.8 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.6 IQ1_S Ollama v0.27

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

mammoth-1 · Q4_K_S

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · llama.cpp

其他

14 天前

26.2 tok/s

Decode

94.34 tok/s

Prefill

0.65 s

TTFT

46.33 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 Q4_K_S llama.cpp v0.51 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

mammoth-1 · Q4_K_S

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · vLLM

其他

14 天前

27.6 tok/s

Decode

131.32 tok/s

Prefill

1.78 s

TTFT

46.33 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 Q4_K_S vLLM v0.21

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

mammoth-1 · IQ4_XS

L2 跨框架验证

Apple M5 Max · 128GB · llama.cpp

其他

14 天前

59.77 tok/s

Decode

305.47 tok/s

Prefill

0.51 s

TTFT

44.06 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ4_XS llama.cpp v0.25 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

mammoth-1 · Q3_K_M

L2 跨框架验证

Apple M5 Max · 128GB · llama.cpp

其他

14 天前

63.7 tok/s

Decode

294.17 tok/s

Prefill

1.57 s

TTFT

40.66 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q3_K_M llama.cpp v0.41 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

mammoth-1 · FP16

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

14 天前

25.66 tok/s

Decode

97.32 tok/s

Prefill

0.16 s

TTFT

107 GB

VRAM

配置（最近一次实测）
macOS 26.1 FP16 Ollama v0.33 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

mammoth-1 · Q3_K_M

L2 跨框架验证

Apple M5 Ultra · 512GB · llama.cpp

其他

14 天前

90.54 tok/s

Decode

497.72 tok/s

Prefill

0.45 s

TTFT

40.66 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q3_K_M llama.cpp v0.44 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

mammoth-1 · Q5_K_S

L2 跨框架验证

Apple M5 Ultra · 512GB · llama.cpp

其他

14 天前

71.27 tok/s

Decode

325.67 tok/s

Prefill

0.71 s

TTFT

53.13 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q5_K_S llama.cpp v0.35 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

mammoth-1 · IQ4_XS

L2 跨框架验证

Apple M5 Ultra · 512GB · Ollama

其他

14 天前

81.44 tok/s

Decode

327.07 tok/s

Prefill

1.59 s

TTFT

44.06 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ4_XS Ollama v0.37 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

mammoth-1 · Q4_K_S

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · llama.cpp

其他

14 天前

342.54 tok/s

Decode

1,113.53 tok/s

Prefill

2.31 s

TTFT

46.33 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 13.0 Q4_K_S llama.cpp v0.28

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

mammoth-1 · Q3_K_S

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · Strata

其他

14 天前

345.96 tok/s

Decode

1,251.15 tok/s

Prefill

1.63 s

TTFT

38.96 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 13.0 Q3_K_S Strata v0.28 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

mammoth-1 · FP16

L2 跨框架验证

NVIDIA H20 · 97GB · llama.cpp

其他

14 天前

18.55 tok/s

Decode

67.93 tok/s

Prefill

0.56 s

TTFT

92.15 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.4 FP16 llama.cpp v0.49

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

mammoth-1 · IQ4_XS

L2 跨框架验证

NVIDIA H20 · 97GB · vLLM

其他

14 天前

45.95 tok/s

Decode

201.36 tok/s

Prefill

0.65 s

TTFT

44.06 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.8 IQ4_XS vLLM v0.36

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

mammoth-1 · IQ3_XS

L2 跨框架验证

NVIDIA RTX PRO 6000 Blackwell 96GB · 96GB · vLLM

其他

14 天前

228.17 tok/s

Decode

758.2 tok/s

Prefill

1.08 s

TTFT

37.25 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.4 IQ3_XS vLLM v0.51

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

mammoth-1 · Q5_K_M

L2 跨框架验证

NVIDIA RTX PRO 6000 Blackwell 96GB · 96GB · vLLM

其他

14 天前

145.66 tok/s

Decode

731.49 tok/s

Prefill

1.37 s

TTFT

54.83 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.8 Q5_K_M vLLM v0.32

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

mammoth-1 · IQ3_XS

L2 跨框架验证

NVIDIA RTX PRO 6000 Blackwell 96GB · 96GB · Ollama

其他

14 天前

214.08 tok/s

Decode

806.7 tok/s

Prefill

0.3 s

TTFT

37.25 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.4 IQ3_XS Ollama v0.44

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

mammoth-1 · Q5_K_S

L2 跨框架验证

NVIDIA RTX PRO 6000 Blackwell 96GB · 96GB · Ollama

其他

14 天前

135.94 tok/s

Decode

501.24 tok/s

Prefill

1.93 s

TTFT

53.13 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.4 Q5_K_S Ollama v0.37 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

mammoth-1 · IQ2_M

L2 跨框架验证

Apple M2 Ultra · llama.cpp

其他

14 天前

102.29 tok/s

Decode

417.96 tok/s

Prefill

1.66 s

TTFT

31.58 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ2_M llama.cpp v0.38

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

mammoth-1 · Q5_K_M

L2 跨框架验证

Apple M2 Ultra · llama.cpp

其他

14 天前

67.37 tok/s

Decode

314.26 tok/s

Prefill

2.02 s

TTFT

54.83 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q5_K_M llama.cpp v0.39

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

mammoth-1 · IQ1_S

L2 跨框架验证

Apple M2 Ultra · Ollama

其他

14 天前

100.6 tok/s

Decode

448.02 tok/s

Prefill

2.5 s

TTFT

25.91 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ1_S Ollama v0.52

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 26 条结果

相关模型
相关硬件
相关框架
相关量化