腾讯混元的长期记忆写入器（10 月 15 日，Apache 2.0），30B 总参 / ~3B 激活。不是通用对话模型，而是嵌入 Mem0 / MemOS / Hy-Memory 等记忆框架，在对话流上抽取、合并、更新长期记忆条目；OPD + RL 训练，附 arXiv 2610.22196。FP8 官方权重与社区 GGUF 转换已放出。
0
量化版本
31
实测记录
1
讨论数
量化版本
社区与官方发布的量化版本；「关联实测」只统计精确关联到该发布的实测记录。
还没有已收录的量化版本。
实测数据
共 31 组配置
| 硬件 | 框架 | 量化 | 生成速度 | 运行显存 | 实测次数 | 证据 |
|---|---|---|---|---|---|---|
| NVIDIA RTX Spark | llama.cpp | FP16 | 42.8 tok/s | 110.2 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | llama.cpp | Q5_K_M | 67.3 tok/s | 60.69 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | llama.cpp | Q8_0 | 58.7 tok/s | 74.55 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | Q5_K_M | 64.3 tok/s | 60.69 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | Q8_0 | 46.8 tok/s | 74.55 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | llama.cpp | IQ1_S | 83.7 tok/s | 28.56 GB | 1 | L2 跨框架验证 |
| AMD Ryzen AI Max+ 395 | vLLM | Q5_K_S | 50.6 tok/s | 58.8 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | llama.cpp | IQ3_XS | 147.7 tok/s | 41.16 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | llama.cpp | Q3_K_M | 134.9 tok/s | 44.94 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | Ollama | IQ2_XS | 139.9 tok/s | 32.34 GB | 1 | L2 跨框架验证 |
| Apple M5 Max | Ollama | Q8_0 | 63.9 tok/s | 74.55 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | llama.cpp | IQ2_M | 216.9 tok/s | 34.86 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | llama.cpp | Q3_K_S | 189.4 tok/s | 43.05 GB | 1 | L2 跨框架验证 |
| Apple M5 Ultra | Ollama | Q5_K_S | 139.7 tok/s | 58.8 GB | 1 | L2 跨框架验证 |
| NVIDIA H100 80GB HBM3 | llama.cpp | Q6_K | 289.8 tok/s | 65.1 GB | 1 | L2 跨框架验证 |
| NVIDIA H100 80GB HBM3 | vLLM | IQ2_XS | 346.2 tok/s | 32.34 GB | 1 | L2 跨框架验证 |
| NVIDIA H100 80GB HBM3 | vLLM | Q5_K_M | 299.8 tok/s | 60.69 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | llama.cpp | Q6_K | 57.6 tok/s | 65.1 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | Strata | IQ1_S | 178.2 tok/s | 28.56 GB | 1 | L2 跨框架验证 |
| NVIDIA H20 | Strata | IQ3_XS | 139.1 tok/s | 41.16 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | llama.cpp | IQ2_M | 366.3 tok/s | 34.86 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | llama.cpp | IQ3_XS | 355.2 tok/s | 41.16 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX PRO 6000 Blackwell 96GB | Strata | IQ2_XS | 349.8 tok/s | 32.34 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | llama.cpp | IQ2_XS | 240.8 tok/s | 32.34 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | llama.cpp | Q2_K | 207.8 tok/s | 36.75 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | Ollama | Q2_K | 187.1 tok/s | 36.75 GB | 1 | L2 跨框架验证 |
| Apple M2 Ultra | Ollama | Q4_K_M | 134.5 tok/s | 53.76 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | llama.cpp | IQ4_XS | 93.7 tok/s | 48.72 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | llama.cpp | Q4_K_M | 85.8 tok/s | 53.76 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | IQ4_XS | 76.2 tok/s | 48.72 GB | 1 | L2 跨框架验证 |
| NVIDIA RTX Spark | Ollama | Q4_K_M | 69.5 tok/s | 53.76 GB | 1 | L2 跨框架验证 |
其中 31 条实测未关联到具体量化版本，完整数据见搜索页。