Arao AI

搜索实测数据

试试这些搜索

找到 37 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型elephant-1

elephant-1 · IQ1_S

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · llama.cpp

其他

14 天前

180.81 tok/s

Decode

654.72 tok/s

Prefill

0.19 s

TTFT

10.04 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 IQ1_S llama.cpp v0.46 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

elephant-1 · IQ3_XS

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · llama.cpp

其他

14 天前

136.35 tok/s

Decode

504.8 tok/s

Prefill

0.59 s

TTFT

13.82 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.4 IQ3_XS llama.cpp v0.29 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

elephant-1 · IQ2_XS

L2 跨框架验证

NVIDIA RTX 4090 · 24GB · vLLM

其他

14 天前

179.71 tok/s

Decode

772.31 tok/s

Prefill

1.05 s

TTFT

11.17 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.4 IQ2_XS vLLM v0.37 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

elephant-1 · Q4_K_S

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · Ollama

其他

14 天前

69.84 tok/s

Decode

337.36 tok/s

Prefill

0.56 s

TTFT

16.84 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 Q4_K_S Ollama v0.44 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

elephant-1 · IQ1_S

L2 跨框架验证

NVIDIA RTX 3090 · 24GB · Strata

其他

14 天前

163.87 tok/s

Decode

748 tok/s

Prefill

1.44 s

TTFT

10.04 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 IQ1_S Strata v0.26

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

elephant-1 · Q3_K_M

L2 跨框架验证

AMD Radeon RX 7900 XTX · 24GB · vLLM

其他

14 天前

94.98 tok/s

Decode

305.39 tok/s

Prefill

2.11 s

TTFT

14.95 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 Q3_K_M vLLM v0.32 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

elephant-1 · Q4_K_S

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · llama.cpp

其他

14 天前

219.01 tok/s

Decode

766.77 tok/s

Prefill

0.6 s

TTFT

16.84 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 Q4_K_S llama.cpp v0.54 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

elephant-1 · Q5_K_S

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Ollama

其他

14 天前

174.79 tok/s

Decode

860.94 tok/s

Prefill

0.23 s

TTFT

19.11 GB

VRAM

配置（最近一次实测）
Windows 11 24H2 CUDA 12.6 Q5_K_S Ollama v0.27 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

elephant-1 · Q8_0

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Ollama

其他

14 天前

138.97 tok/s

Decode

570.96 tok/s

Prefill

0.28 s

TTFT

23.84 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 Q8_0 Ollama v0.54 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

elephant-1 · IQ3_XS

L2 跨框架验证

NVIDIA RTX 5080 · 16GB · llama.cpp

其他

14 天前

196.47 tok/s

Decode

707.56 tok/s

Prefill

2.07 s

TTFT

13.82 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.6 IQ3_XS llama.cpp v0.31 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

elephant-1 · Q2_K

L2 跨框架验证

NVIDIA RTX 3060 12GB · 12GB · vLLM

其他

14 天前

70.07 tok/s

Decode

259.24 tok/s

Prefill

0.62 s

TTFT

11.4 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.6 Q2_K vLLM v0.42 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

elephant-1 · Q3_K_L

L2 跨框架验证

NVIDIA RTX 4080 Super · 16GB · Ollama

其他

14 天前

145.8 tok/s

Decode

516.93 tok/s

Prefill

1.05 s

TTFT

15.2 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.4 Q3_K_L Ollama v0.44 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

elephant-1 · IQ3_XS

L2 跨框架验证

NVIDIA RTX 4080 Super · 16GB · Strata

其他

14 天前

244.72 tok/s

Decode

1,076.88 tok/s

Prefill

1.66 s

TTFT

13.82 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.8 IQ3_XS Strata v0.30

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

elephant-1 · Q3_K_L

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · llama.cpp

其他

14 天前

32.72 tok/s

Decode

137.17 tok/s

Prefill

2.45 s

TTFT

15.71 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.4 Q3_K_L llama.cpp v0.51 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

elephant-1 · Q6_K

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · vLLM

其他

14 天前

22.65 tok/s

Decode

118.27 tok/s

Prefill

1.87 s

TTFT

21 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.6 Q6_K vLLM v0.25

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

elephant-1 · Q8_0

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · vLLM

其他

14 天前

19.62 tok/s

Decode

103.78 tok/s

Prefill

2.34 s

TTFT

23.84 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.8 Q8_0 vLLM v0.30 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

elephant-1 · Q5_K_S

L2 跨框架验证

Apple M5 Max · 128GB · llama.cpp

其他

14 天前

59.51 tok/s

Decode

259.7 tok/s

Prefill

1.23 s

TTFT

19.11 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q5_K_S llama.cpp v0.40 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

elephant-1 · FP16

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

14 天前

30.75 tok/s

Decode

124.45 tok/s

Prefill

0.39 s

TTFT

37.06 GB

VRAM

配置（最近一次实测）
macOS 26.1 FP16 Ollama v0.44 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

elephant-1 · Q5_K_S

L2 跨框架验证

Apple M5 Max · 128GB · Ollama

其他

14 天前

53.6 tok/s

Decode

253.24 tok/s

Prefill

1.28 s

TTFT

19.11 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q5_K_S Ollama v0.39

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

elephant-1 · Q3_K_S

L2 跨框架验证

Apple M5 Ultra · 512GB · llama.cpp

其他

14 天前

117.38 tok/s

Decode

386.02 tok/s

Prefill

2.43 s

TTFT

14.38 GB

VRAM

配置（最近一次实测）
macOS 26.1 Q3_K_S llama.cpp v0.34 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 37 条结果

相关模型
相关硬件
相关框架
相关量化