Mistral Large 3 70B

Name: Mistral Large 3 70B
Author: Mistral AI

70B对话由 Mistral AI 发布发起讨论

Mistral Large 系列第三代；多语言、长上下文、工具调用增强。

量化版本

实测记录

量化版本

社区与官方发布的量化版本；「关联实测」只统计精确关联到该发布的实测记录。

还没有已收录的量化版本。

共 6 组配置

硬件	框架	量化	生成速度	运行显存	实测次数	证据
Apple M5 Max	llama.cpp	Q4_K_M	11.3 tok/s	43 GB	1	L0 自报
Apple M4 Max	llama.cpp	IQ2_XS	18 tok/s	24.1 GB	1	L0 自报
NVIDIA RTX 5070 SUPER	Strata	IQ2_XS	38 tok/s	18 GB	1	L0 自报
NVIDIA RTX 5080 SUPER	llama.cpp	Q4_K_M	20.6 tok/s	24 GB	1	L0 自报
NVIDIA RTX 5090	vLLM	Q4_K_M	35.8 tok/s	32 GB	1	L0 自报
NVIDIA RTX 4090	llama.cpp	Q4_K_M	18.5 tok/s	24 GB	1	L0 自报

其中 6 条实测未关联到具体量化版本，完整数据见搜索页。

还没有讨论——发起第一个话题吧。