Arao AI

搜索实测数据

试试这些搜索

找到 22 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型Flint-40B-A2.5B

Flint-40B-A2.5B · IQ3_XS

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · llama.cpp

其他

14 天前

77.09 tok/s

Decode

382.38 tok/s

Prefill

0.6 s

TTFT

53.92 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.4 IQ3_XS llama.cpp v0.30 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Flint-40B-A2.5B · Q4_K_S

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · vLLM

其他

14 天前

63.8 tok/s

Decode

213.74 tok/s

Prefill

2.31 s

TTFT

67.29 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.8 Q4_K_S vLLM v0.47

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Flint-40B-A2.5B · Q3_K_M

L2 跨框架验证

Apple M5 Max · 128GB · llama.cpp

其他

14 天前

152.51 tok/s

Decode

687.68 tok/s

Prefill

2.15 s

TTFT

58.94 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q3_K_M llama.cpp v0.21 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Flint-40B-A2.5B · IQ4_XS

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

14 天前

123.41 tok/s

Decode

650.98 tok/s

Prefill

1.96 s

TTFT

63.95 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ4_XS Ollama v0.30 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Flint-40B-A2.5B · Q2_K

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

14 天前

153.39 tok/s

Decode

803.06 tok/s

Prefill

2.16 s

TTFT

48.07 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q2_K Ollama v0.50 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Flint-40B-A2.5B · IQ1_S

L2 跨框架验证

Apple M5 Ultra · 512GB · llama.cpp

其他

14 天前

324.79 tok/s

Decode

1,453.99 tok/s

Prefill

1.3 s

TTFT

37.2 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ1_S llama.cpp v0.30

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Flint-40B-A2.5B · Q5_K_S

L2 跨框架验证

Apple M5 Ultra · 512GB · llama.cpp

其他

14 天前

181.42 tok/s

Decode

831.96 tok/s

Prefill

2.15 s

TTFT

77.32 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q5_K_S llama.cpp v0.53 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Flint-40B-A2.5B · Q2_K

L2 跨框架验证

Apple M5 Ultra · 512GB · Ollama

其他

14 天前

230.73 tok/s

Decode

1,077.9 tok/s

Prefill

0.4 s

TTFT

48.07 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q2_K Ollama v0.53 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Flint-40B-A2.5B · IQ2_M

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · vLLM

其他

14 天前

325.98 tok/s

Decode

1,095.54 tok/s

Prefill

2.24 s

TTFT

45.56 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 13.0 IQ2_M vLLM v0.21 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Flint-40B-A2.5B · Q4_K_M

L2 跨框架验证

NVIDIA H20 · 97GB · vLLM

其他

14 天前

94.37 tok/s

Decode

330.77 tok/s

Prefill

1.13 s

TTFT

70.63 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.6 Q4_K_M vLLM v0.27 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Flint-40B-A2.5B · Q6_K

L2 跨框架验证

NVIDIA H20 · 97GB · vLLM

其他

14 天前

79.46 tok/s

Decode

372.23 tok/s

Prefill

1.4 s

TTFT

85.68 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.6 Q6_K vLLM v0.32

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Flint-40B-A2.5B · Q3_K_S

L2 跨框架验证

NVIDIA H20 · 97GB · Ollama

其他

14 天前

104.76 tok/s

Decode

539.82 tok/s

Prefill

0.94 s

TTFT

56.43 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 Q3_K_S Ollama v0.37 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Flint-40B-A2.5B · Q3_K_L

L2 跨框架验证

NVIDIA RTX PRO 6000 Blackwell 96GB · 96GB · vLLM

其他

14 天前

327.3 tok/s

Decode

1,746.79 tok/s

Prefill

0.99 s

TTFT

62.28 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.8 Q3_K_L vLLM v0.55 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Flint-40B-A2.5B · Q3_K_S

L2 跨框架验证

NVIDIA RTX PRO 6000 Blackwell 96GB · 96GB · Strata

其他

14 天前

343.48 tok/s

Decode

1,507.36 tok/s

Prefill

0.53 s

TTFT

56.43 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.4 Q3_K_S Strata v0.41

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Flint-40B-A2.5B · Q5_K_S

L2 跨框架验证

Apple M2 Ultra · llama.cpp

其他

14 天前

159.13 tok/s

Decode

607.98 tok/s

Prefill

1.56 s

TTFT

76 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q5_K_S llama.cpp v0.37

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Flint-40B-A2.5B · IQ4_XS

L2 跨框架验证

Apple M2 Ultra · Ollama

其他

14 天前

184.42 tok/s

Decode

830.52 tok/s

Prefill

1.07 s

TTFT

63.95 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ4_XS Ollama v0.31

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Flint-40B-A2.5B · IQ3_S

L2 跨框架验证

NVIDIA RTX Spark · 128GB · llama.cpp

其他

14 天前

91.56 tok/s

Decode

457.14 tok/s

Prefill

0.25 s

TTFT

57.27 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 IQ3_S llama.cpp v0.26 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Flint-40B-A2.5B · Q3_K_S

L2 跨框架验证

NVIDIA RTX Spark · 128GB · llama.cpp

其他

14 天前

100.54 tok/s

Decode

475.16 tok/s

Prefill

0.19 s

TTFT

56.43 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q3_K_S llama.cpp v0.30 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Flint-40B-A2.5B · Q4_K_M

L2 跨框架验证

NVIDIA RTX Spark · 128GB · llama.cpp

其他

14 天前

76.22 tok/s

Decode

300.34 tok/s

Prefill

2.21 s

TTFT

70.63 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q4_K_M llama.cpp v0.32 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Flint-40B-A2.5B · IQ4_XS

L2 跨框架验证

NVIDIA RTX Spark · 128GB · Ollama

其他

14 天前

74.46 tok/s

Decode

328.19 tok/s

Prefill

0.25 s

TTFT

63.95 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 IQ4_XS Ollama v0.24

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 22 条结果

相关模型
相关硬件
相关框架
相关量化