Arao AI

搜索实测数据

试试这些搜索

找到 23 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型Raon-1-mini-preview

Raon-1-mini-preview · Q2_K

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Ollama

其他

14 天前

351.2 tok/s

Decode

1,172.76 tok/s

Prefill

1.63 s

TTFT

30.4 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.6 Q2_K Ollama v0.41 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Raon-1-mini-preview · IQ2_M

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · llama.cpp

其他

14 天前

46.26 tok/s

Decode

241.55 tok/s

Prefill

2.49 s

TTFT

33.55 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.4 IQ2_M llama.cpp v0.21 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Raon-1-mini-preview · IQ2_M

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · Ollama

其他

14 天前

44.23 tok/s

Decode

204.06 tok/s

Prefill

0.43 s

TTFT

33.55 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.8 IQ2_M Ollama v0.51 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Raon-1-mini-preview · IQ2_XS

L2 跨框架验证

Apple M5 Max · 128GB · llama.cpp

其他

14 天前

103.96 tok/s

Decode

353.6 tok/s

Prefill

1.49 s

TTFT

31.13 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ2_XS llama.cpp v0.28

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Raon-1-mini-preview · IQ4_XS

L2 跨框架验证

Apple M5 Max · 128GB · llama.cpp

其他

14 天前

86.99 tok/s

Decode

341.88 tok/s

Prefill

1.42 s

TTFT

46.85 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ4_XS llama.cpp v0.35

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Raon-1-mini-preview · IQ1_S

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

14 天前

109.91 tok/s

Decode

383.57 tok/s

Prefill

2.4 s

TTFT

27.5 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ1_S Ollama v0.45

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Raon-1-mini-preview · Q5_K_S

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

14 天前

61.49 tok/s

Decode

244.43 tok/s

Prefill

0.72 s

TTFT

56.53 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q5_K_S Ollama v0.42 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Raon-1-mini-preview · Q8_0

L2 跨框架验证

Apple M5 Ultra · 512GB · llama.cpp

其他

14 天前

76.11 tok/s

Decode

389.07 tok/s

Prefill

1.36 s

TTFT

71.65 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q8_0 llama.cpp v0.47 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Raon-1-mini-preview · Q4_K_S

L2 跨框架验证

Apple M5 Ultra · 512GB · Ollama

其他

14 天前

118.22 tok/s

Decode

450.95 tok/s

Prefill

1.07 s

TTFT

49.28 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q4_K_S Ollama v0.47 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Raon-1-mini-preview · Q6_K

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · llama.cpp

其他

14 天前

343.53 tok/s

Decode

1,745.18 tok/s

Prefill

0.71 s

TTFT

62.58 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 13.0 Q6_K llama.cpp v0.24 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Raon-1-mini-preview · Q3_K_S

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · Ollama

其他

14 天前

313.56 tok/s

Decode

1,182.08 tok/s

Prefill

0.81 s

TTFT

41.41 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.8 Q3_K_S Ollama v0.52 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Raon-1-mini-preview · IQ4_XS

L2 跨框架验证

NVIDIA H20 · 97GB · Ollama

其他

14 天前

54.63 tok/s

Decode

291.87 tok/s

Prefill

2.29 s

TTFT

46.85 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 IQ4_XS Ollama v0.21 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Raon-1-mini-preview · Q3_K_M

L2 跨框架验证

NVIDIA H20 · 97GB · Ollama

其他

14 天前

58.6 tok/s

Decode

222.5 tok/s

Prefill

0.94 s

TTFT

43.23 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.6 Q3_K_M Ollama v0.54

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Raon-1-mini-preview · Q5_K_M

L2 跨框架验证

NVIDIA H20 · 97GB · Strata

其他

14 天前

68.61 tok/s

Decode

223.86 tok/s

Prefill

2.05 s

TTFT

58.35 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.4 Q5_K_M Strata v0.50

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Raon-1-mini-preview · IQ3_S

L2 跨框架验证

NVIDIA RTX PRO 6000 Blackwell 96GB · 96GB · vLLM

其他

14 天前

304.11 tok/s

Decode

1,069.77 tok/s

Prefill

2.36 s

TTFT

42.02 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 IQ3_S vLLM v0.25 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Raon-1-mini-preview · IQ4_XS

L2 跨框架验证

NVIDIA RTX PRO 6000 Blackwell 96GB · 96GB · vLLM

其他

14 天前

310.08 tok/s

Decode

1,540.64 tok/s

Prefill

2.13 s

TTFT

46.85 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.8 IQ4_XS vLLM v0.50 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Raon-1-mini-preview · Q4_K_M

L2 跨框架验证

NVIDIA RTX PRO 6000 Blackwell 96GB · 96GB · Ollama

其他

14 天前

227.94 tok/s

Decode

779.84 tok/s

Prefill

1.38 s

TTFT

51.69 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.4 Q4_K_M Ollama v0.40 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Raon-1-mini-preview · IQ2_M

L2 跨框架验证

Apple M2 Ultra · llama.cpp

其他

14 天前

155.94 tok/s

Decode

578.17 tok/s

Prefill

2.11 s

TTFT

33.55 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ2_M llama.cpp v0.22

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Raon-1-mini-preview · IQ3_S

L2 跨框架验证

Apple M2 Ultra · llama.cpp

其他

14 天前

130 tok/s

Decode

684.42 tok/s

Prefill

1.54 s

TTFT

42.02 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ3_S llama.cpp v0.39 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Raon-1-mini-preview · Q4_K_M

L2 跨框架验证

Apple M2 Ultra · Ollama

其他

14 天前

110.45 tok/s

Decode

501.39 tok/s

Prefill

0.35 s

TTFT

51.69 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q4_K_M Ollama v0.38 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 23 条结果

相关模型
相关硬件
相关框架
相关量化