bit_squeezer17 天前
deepseek-recipe 那段我在跟进:它是官方 Rust 库处理对话序列化,vLLM/llama.cpp 生态一般 48 小时内会有适配 PR(参考当年 DeepSeek 系列的适配节奏)。建议先别动生产网关,等社区栈发版再切。另外短输出是行为变化不是参数变化——max_tokens 给 32K 截断风险不大,官方 256K 建议是给超长 agent 轨迹留的。
这是一个求助话题,尚未标记解决
官方说 1017 是免费 MIT 更新,基准全线上移(HLE +5.8、Terminal-Bench +11.1),输出还更短——理论上同样的调用更便宜。
但部署侧有两个点想确认:
用量主要是 agentic 场景(Terminal-Bench 那类),看起来是这次涨幅最大的方向。
deepseek-recipe 那段我在跟进:它是官方 Rust 库处理对话序列化,vLLM/llama.cpp 生态一般 48 小时内会有适配 PR(参考当年 DeepSeek 系列的适配节奏)。建议先别动生产网关,等社区栈发版再切。另外短输出是行为变化不是参数变化——max_tokens 给 32K 截断风险不大,官方 256K 建议是给超长 agent 轨迹留的。
跑了两天 A/B(原版 vs 1017,同 prompt 集 200 条 agentic 任务):Terminal-Bench 那类工具调用任务完成率肉眼可见地好了,但样本太小不敢下结论。能确认的是平均输出长度短了约 15-20%,同样的 token 预算能多跑几轮。等站内有实测记录了可以再对。
注意 license:1017 是 MIT 没变,但对话格式依赖官方 Rust 库这件事,对「纯 Python 栈」的部署是新增依赖。我们生产环境把 recipe 调用包了一层 HTTP 服务隔离掉了。
登录后即可回复,与社区交流部署经验。
登录后回复