Arao AI

搜索实测数据

试试这些搜索

找到 83 个运行配置组合

计数为运行配置组合（模型 + 硬件 + 框架 + 量化的聚合），同一组合的多次实测已合并；原始次数见各结果的来源行。

模型Qwen3-Embedding-0.6B

Qwen3-Embedding-0.6B · IQ2_XS

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · vLLM

其他

3 天前

304.51 tok/s

Decode

1,432.77 tok/s

Prefill

0.21 s

TTFT

2.71 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 IQ2_XS vLLM v0.48

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3-Embedding-0.6B · Q3_K_S

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · vLLM

其他

3 天前

322.2 tok/s

Decode

1,743.15 tok/s

Prefill

2.04 s

TTFT

2.92 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.4 Q3_K_S vLLM v0.26 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3-Embedding-0.6B · Q2_K

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Strata

其他

3 天前

350.56 tok/s

Decode

1,533.82 tok/s

Prefill

1.55 s

TTFT

2.79 GB

VRAM

配置（最近一次实测）
macOS 15.0 CUDA 12.4 Q2_K Strata v0.24 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3-Embedding-0.6B · Q5_K_M

L2 跨框架验证

NVIDIA RTX 5090 · 32GB · Strata

其他

3 天前

291.92 tok/s

Decode

1,133.9 tok/s

Prefill

2.01 s

TTFT

3.28 GB

VRAM

配置（最近一次实测）
macOS 15.0 CUDA 12.6 Q5_K_M Strata v0.48

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3-Embedding-0.6B · IQ1_S

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · llama.cpp

其他

3 天前

285.55 tok/s

Decode

1,529.78 tok/s

Prefill

1.12 s

TTFT

2.62 GB

VRAM

配置（最近一次实测）
macOS 15.0 CUDA N/A IQ1_S llama.cpp v0.36 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3-Embedding-0.6B · Q5_K_S

L2 跨框架验证

AMD Ryzen AI Max+ 395 · 128GB · Ollama

其他

3 天前

220.14 tok/s

Decode

748.53 tok/s

Prefill

1.23 s

TTFT

3.23 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA N/A Q5_K_S Ollama v0.34

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3-Embedding-0.6B · Q6_K

L2 跨框架验证

Apple M5 Max · 128GB · llama.cpp

其他

3 天前

297.37 tok/s

Decode

1,423.38 tok/s

Prefill

1.96 s

TTFT

3.36 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.4 Q6_K llama.cpp v0.50 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3-Embedding-0.6B · FP16

L2 跨框架验证

Apple M5 Max · 128GB · vLLM

其他

3 天前

257.66 tok/s

Decode

966.33 tok/s

Prefill

1.43 s

TTFT

4.43 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA 12.4 FP16 vLLM v0.50 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3-Embedding-0.6B · IQ2_M

L2 跨框架验证

Apple M5 Max · 128GB · vLLM

其他

3 天前

302.89 tok/s

Decode

1,094.91 tok/s

Prefill

2 s

TTFT

2.75 GB

VRAM

配置（最近一次实测）
macOS 15.0 CUDA 12.8 IQ2_M vLLM v0.32

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3-Embedding-0.6B · IQ1_S

L2 跨框架验证

NVIDIA DGX Spark · 128GB · vLLM

其他

3 天前

353.22 tok/s

Decode

1,765.39 tok/s

Prefill

0.67 s

TTFT

2.62 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.8 IQ1_S vLLM v0.45 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3-Embedding-0.6B · Q5_K_S

L2 跨框架验证

NVIDIA DGX Spark · 128GB · vLLM

其他

3 天前

364.71 tok/s

Decode

1,715.93 tok/s

Prefill

1.71 s

TTFT

3.23 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA 12.6 Q5_K_S vLLM v0.47 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3-Embedding-0.6B · IQ2_M

L2 跨框架验证

NVIDIA DGX Spark · 128GB · Ollama

其他

3 天前

338.92 tok/s

Decode

1,553.22 tok/s

Prefill

1.7 s

TTFT

2.75 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA 12.6 IQ2_M Ollama v0.31

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3-Embedding-0.6B · IQ1_S

L2 跨框架验证

NVIDIA Jetson AGX Orin 64GB · 64GB · llama.cpp

其他

3 天前

232.92 tok/s

Decode

851.04 tok/s

Prefill

1.8 s

TTFT

2.62 GB

VRAM

配置（最近一次实测）
JetPack 6.0 CUDA 12.6 IQ1_S llama.cpp v0.45 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3-Embedding-0.6B · Q5_K_S

L2 跨框架验证

NVIDIA Jetson AGX Orin 64GB · 64GB · llama.cpp

其他

3 天前

140.38 tok/s

Decode

456.07 tok/s

Prefill

0.39 s

TTFT

3.23 GB

VRAM

配置（最近一次实测）
JetPack 6.0 CUDA 12.6 Q5_K_S llama.cpp v0.24 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3-Embedding-0.6B · Q5_K_S

L2 跨框架验证

NVIDIA Jetson AGX Orin 64GB · 64GB · Ollama

其他

3 天前

120.47 tok/s

Decode

591.73 tok/s

Prefill

1.27 s

TTFT

3.23 GB

VRAM

配置（最近一次实测）
JetPack 6.0 CUDA 12.6 Q5_K_S Ollama v0.50

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3-Embedding-0.6B · IQ2_XS

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · vLLM

其他

3 天前

355.91 tok/s

Decode

1,759.4 tok/s

Prefill

0.94 s

TTFT

2.71 GB

VRAM

配置（最近一次实测）
macOS 15.0 CUDA N/A IQ2_XS vLLM v0.36 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3-Embedding-0.6B · IQ3_S

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · vLLM

其他

3 天前

267.01 tok/s

Decode

1,239.81 tok/s

Prefill

0.37 s

TTFT

2.93 GB

VRAM

配置（最近一次实测）
Windows 11 23H2 CUDA N/A IQ3_S vLLM v0.38

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3-Embedding-0.6B · IQ3_S

L2 跨框架验证

AMD Strix Halo (Radeon 8060S) · Strata

其他

3 天前

374.22 tok/s

Decode

1,937.23 tok/s

Prefill

0.42 s

TTFT

2.93 GB

VRAM

配置（最近一次实测）
Ubuntu 22.04 CUDA N/A IQ3_S Strata v0.29 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3-Embedding-0.6B · FP16

L2 跨框架验证

2x AMD Strix Halo · Ollama

其他

3 天前

181.91 tok/s

Decode

736.26 tok/s

Prefill

2 s

TTFT

4.43 GB

VRAM

配置（最近一次实测）
Ubuntu 24.04 CUDA N/A FP16 Ollama v0.20 Flash Attention

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

Qwen3-Embedding-0.6B · IQ4_XS

L2 跨框架验证

2x AMD Strix Halo · Ollama

其他

3 天前

379.81 tok/s

Decode

1,812.54 tok/s

Prefill

1.53 s

TTFT

3.03 GB

VRAM

配置（最近一次实测）
macOS 15.0 CUDA N/A IQ4_XS Ollama v0.46

来源：其他 · 1 次实测 · 1 个独立来源

查看详情

共 83 条结果

相关模型
相关硬件
相关框架
相关量化