Ministral-3-8B-Instruct-2512

8B对话由 Mistral 发布 发起讨论

0

量化版本

30

实测记录

量化版本

社区与官方发布的量化版本;「关联实测」只统计精确关联到该发布的实测记录。

还没有已收录的量化版本。

实测数据

共 30 组配置

硬件框架量化生成速度运行显存实测次数证据
NVIDIA RTX 4090OllamaQ3_K_S142.1 tok/s13.02 GB1L2 跨框架验证
NVIDIA RTX 4090StrataIQ2_M230.9 tok/s10.84 GB1L2 跨框架验证
NVIDIA RTX 3090vLLMQ4_K_S94.2 tok/s15.2 GB1L2 跨框架验证
NVIDIA RTX 3090StrataQ3_K_S133.3 tok/s13.02 GB1L2 跨框架验证
AMD Radeon RX 7900 XTXvLLMQ5_K_M70.4 tok/s17.72 GB1L2 跨框架验证
AMD Radeon RX 7900 XTXOllamaIQ3_S86.7 tok/s13.19 GB1L2 跨框架验证
NVIDIA RTX 5090llama.cppIQ1_S381.9 tok/s9.16 GB1L2 跨框架验证
NVIDIA RTX 5090vLLMQ3_K_S337.4 tok/s13.02 GB1L2 跨框架验证
NVIDIA RTX 5080llama.cppQ4_K_S176.1 tok/s15.2 GB1L2 跨框架验证
NVIDIA RTX 4080 SupervLLMIQ3_XS194.2 tok/s12.52 GB1L2 跨框架验证
NVIDIA RTX 4080 SuperOllamaQ3_K_S155.2 tok/s13.02 GB1L2 跨框架验证
AMD Ryzen AI Max+ 395llama.cppQ2_K42.1 tok/s11.34 GB1L2 跨框架验证
AMD Ryzen AI Max+ 395OllamaQ3_K_L32.5 tok/s14.2 GB1L2 跨框架验证
Apple M5 Maxllama.cppIQ4_XS75.7 tok/s14.53 GB1L2 跨框架验证
Apple M5 MaxOllamaIQ4_XS67.2 tok/s14.53 GB1L2 跨框架验证
Apple M5 Ultrallama.cppQ5_K_M84.6 tok/s17.72 GB1L2 跨框架验证
Apple M5 UltraOllamaQ3_K_S125.1 tok/s13.02 GB1L2 跨框架验证
NVIDIA H100 80GB HBM3llama.cppQ8_0271.7 tok/s21.42 GB1L2 跨框架验证
NVIDIA H100 80GB HBM3vLLMQ3_K_M321.7 tok/s13.52 GB1L2 跨框架验证
NVIDIA H20vLLMQ5_K_S49.6 tok/s17.22 GB1L2 跨框架验证
NVIDIA H20StrataQ4_K_M73.5 tok/s15.88 GB1L2 跨框架验证
NVIDIA RTX PRO 6000 Blackwell 96GBvLLMQ2_K326.5 tok/s11.34 GB1L2 跨框架验证
NVIDIA RTX PRO 6000 Blackwell 96GBStrataQ5_K_M252.2 tok/s17.72 GB1L2 跨框架验证
Intel Arc B580OllamaQ2_K60.7 tok/s11.34 GB1L2 跨框架验证
Apple M2 Ultrallama.cppQ3_K_M119.5 tok/s13.52 GB1L2 跨框架验证
Apple M2 UltraOllamaIQ3_S108.3 tok/s13.19 GB1L2 跨框架验证
NVIDIA RTX Sparkllama.cppIQ3_XS72.8 tok/s12.52 GB1L2 跨框架验证
NVIDIA RTX SparkOllamaIQ3_XS66.4 tok/s12.52 GB1L2 跨框架验证
NVIDIA RTX 5070StrataIQ4_XS156.3 tok/s4.8 GB1L0 自报
NVIDIA RTX 3060 12GBllama.cppQ4_K_M57.3 tok/s5.4 GB1L0 自报

其中 30 条实测未关联到具体量化版本,完整数据见搜索页。

社区讨论

还没有讨论——发起第一个话题吧。

发起讨论