Modal 分享为编码 Agent 提供万亿参数模型 Kimi K2.6 推理服务的优化实践，优化后单副本每用户性能提升 2.8x、副本整体吞吐提升 5.6x，单个服务日处理数千亿 token。
查看原文：https://modal.com/blog/trillion-tokens-trillion-parameters
来源：Modal 官方工程博客（RSS）
相关推荐
- Artificial Analysis 实测 GPT Image 2.6 图像生成与编辑表现
Artificial Analysis 对 OpenAI 于 11 月 4 日发布的 GPT Image 2.6 进行了基准测试，两款模型在 AA-Image-T2I v2.1 和 AA-Image-Editing v2.1 上分列第一、二...
- Bloomberg：OpenAI 完成 110 亿美元融资首批到账，估值达 1.25 万亿美元
据 Bloomberg，OpenAI 完成 110 亿美元新融资，这是估值 1.25 万亿美元一轮的首笔资金。投资者当日已打款，剩余部分总额最高 200 亿美元，预计数周内到账。 查看原文：https://x.com/rohanpaul_a...
- Anthropic 拆解 Claude 智能体记忆的组成：笔记、显著性判断与 dreaming
Anthropic 发布研究文章，介绍其设计 Claude 智能体记忆的思路与多组评测，包括会话内写记忆笔记、离线 dreaming 整理记忆和 wiki 表示。 查看原文：https://www.anthropic.com/researc...
- Amp 发布 spaces：由单个 Agent 自动生成和协调多线程的协作空间
Amp 今日推出 spaces，一种与 Agent 和团队协作的新方式。每个 space 是与单个 Agent 的对话，由它负责为用户生成和协调其他 Agent 线程，无需自己创建和组织线程。 查看原文：https://ampcode.co...
- Meta 将基于 Muse Wonder 训练的专用模型上线 Muse 与 Meta AI
Meta 宣布把基于 Muse Wonder 训练的专用模型推向 Muse 和 Meta AI 用户，Personal Superintelligence Index 得分从 38% 提升到 47%。 查看原文：https://resear...
- Cursor 推出与智能体的实时语音聊天
Cursor 推出与智能体的实时语音聊天功能，可用语音提出更改、询问进展并听取智能体播报的简短进度。语音聊天支持智能体窗口、IDE、Web 端和 iOS，可搜索历史消息和通话、在多个 worker 间切换，iOS 上还支持“Hey Siri...
- OpenClaw 无需更新即可使用新模型：改为三个模型列表来源
OpenClaw 重构模型列表获取方式，约五周、80 个 PR，新模型不再等客户端发版。现在从三处取模型列表：每 4 小时重建的 catalog.openclaw.ai 目录（约 1000 个模型）、账号可用的模型列表，以及 PATH 上已...
- OpenRouter 发布新一代 Auto Router 与 Auto Code 路由器
OpenRouter 发布新一代 Auto Router，并推出专为编码场景的 Auto Code（openrouter/auto-code），替换 openrouter/auto 即可使用。 查看原文：https://openrouter...
微信扫码分享