Arao AI

搜索实测数据

试试这些搜索

找到 31 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型Hy-Memory-30B-A3B

Hy-Memory-30B-A3B · FP16

L2 跨框架验证

NVIDIA RTX Spark · 128GB · llama.cpp

其他

16 天前

42.81 tok/s

Decode

164.71 tok/s

Prefill

2.94 s

TTFT

110.2 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 FP16 llama.cpp v0.28 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Hy-Memory-30B-A3B · Q5_K_M

L2 跨框架验证

NVIDIA RTX Spark · 128GB · llama.cpp

其他

16 天前

67.28 tok/s

Decode

348.21 tok/s

Prefill

2.42 s

TTFT

60.69 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q5_K_M llama.cpp v0.34 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Hy-Memory-30B-A3B · Q8_0

L2 跨框架验证

NVIDIA RTX Spark · 128GB · llama.cpp

其他

16 天前

58.7 tok/s

Decode

210.79 tok/s

Prefill

1.41 s

TTFT

74.55 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q8_0 llama.cpp v0.55 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Hy-Memory-30B-A3B · Q5_K_M

L2 跨框架验证

NVIDIA RTX Spark · 128GB · Ollama

其他

16 天前

64.27 tok/s

Decode

274.24 tok/s

Prefill

2.89 s

TTFT

60.69 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q5_K_M Ollama v0.44

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Hy-Memory-30B-A3B · Q8_0

L2 跨框架验证

NVIDIA RTX Spark · 128GB · Ollama

其他

16 天前

46.83 tok/s

Decode

233.52 tok/s

Prefill

0.58 s

TTFT

74.55 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q8_0 Ollama v0.52

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Hy-Memory-30B-A3B · IQ1_S

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · llama.cpp

其他

17 天前

83.71 tok/s

Decode

315.21 tok/s

Prefill

1.37 s

TTFT

28.56 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 IQ1_S llama.cpp v0.23 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Hy-Memory-30B-A3B · Q5_K_S

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · vLLM

其他

17 天前

50.65 tok/s

Decode

184.14 tok/s

Prefill

0.35 s

TTFT

58.8 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 Q5_K_S vLLM v0.44 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Hy-Memory-30B-A3B · IQ3_XS

L2 跨框架验证

Apple M5 Max · 128GB · llama.cpp

其他

17 天前

147.71 tok/s

Decode

746.12 tok/s

Prefill

0.53 s

TTFT

41.16 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ3_XS llama.cpp v0.26 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Hy-Memory-30B-A3B · Q3_K_M

L2 跨框架验证

Apple M5 Max · 128GB · llama.cpp

其他

17 天前

134.94 tok/s

Decode

533.49 tok/s

Prefill

2.19 s

TTFT

44.94 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q3_K_M llama.cpp v0.52 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Hy-Memory-30B-A3B · IQ2_XS

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

17 天前

139.95 tok/s

Decode

497.06 tok/s

Prefill

2.04 s

TTFT

32.34 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ2_XS Ollama v0.45

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Hy-Memory-30B-A3B · Q8_0

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

17 天前

63.92 tok/s

Decode

252.01 tok/s

Prefill

2.38 s

TTFT

74.55 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q8_0 Ollama v0.55 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Hy-Memory-30B-A3B · IQ2_M

L2 跨框架验证

Apple M5 Ultra · 512GB · llama.cpp

其他

17 天前

216.9 tok/s

Decode

866.69 tok/s

Prefill

1.81 s

TTFT

34.86 GB

VRAM

配置（最近一次实测）
macOS 26.1 IQ2_M llama.cpp v0.36 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Hy-Memory-30B-A3B · Q3_K_S

L2 跨框架验证

Apple M5 Ultra · 512GB · llama.cpp

其他

17 天前

189.37 tok/s

Decode

679.35 tok/s

Prefill

0.33 s

TTFT

43.05 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q3_K_S llama.cpp v0.46 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Hy-Memory-30B-A3B · Q5_K_S

L2 跨框架验证

Apple M5 Ultra · 512GB · Ollama

其他

17 天前

139.67 tok/s

Decode

562.73 tok/s

Prefill

1.7 s

TTFT

58.8 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q5_K_S Ollama v0.20 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Hy-Memory-30B-A3B · Q6_K

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · llama.cpp

其他

17 天前

289.84 tok/s

Decode

1,568.48 tok/s

Prefill

1.64 s

TTFT

65.1 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 13.0 Q6_K llama.cpp v0.25 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Hy-Memory-30B-A3B · IQ2_XS

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · vLLM

其他

17 天前

346.16 tok/s

Decode

1,601.93 tok/s

Prefill

2.02 s

TTFT

32.34 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 IQ2_XS vLLM v0.24

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Hy-Memory-30B-A3B · Q5_K_M

L2 跨框架验证

NVIDIA H100 80GB HBM3 · 80GB · vLLM

其他

17 天前

299.81 tok/s

Decode

1,193.35 tok/s

Prefill

1.68 s

TTFT

60.69 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 13.0 Q5_K_M vLLM v0.27

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Hy-Memory-30B-A3B · Q6_K

L2 跨框架验证

NVIDIA H20 · 97GB · llama.cpp

其他

17 天前

57.59 tok/s

Decode

253.97 tok/s

Prefill

1.63 s

TTFT

65.1 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.4 Q6_K llama.cpp v0.44 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Hy-Memory-30B-A3B · IQ1_S

L2 跨框架验证

NVIDIA H20 · 97GB · Strata

其他

17 天前

178.17 tok/s

Decode

571.19 tok/s

Prefill

2.45 s

TTFT

28.56 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.6 IQ1_S Strata v0.30 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Hy-Memory-30B-A3B · IQ3_XS

L2 跨框架验证

NVIDIA H20 · 97GB · Strata

其他

17 天前

139.08 tok/s

Decode

595.25 tok/s

Prefill

1.43 s

TTFT

41.16 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 IQ3_XS Strata v0.42 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 31 条结果

相关模型
相关硬件
相关框架
相关量化