模型还没发，论文先摊开了。小米 MiMo 大模型负责人罗福莉宣布，下一代 MiMo-V3 将采用全新自研架构，核心组件 HySparse2 已对外公开。这大概是大模型圈少见的一种操作：把底牌提前亮出来。和 MiMo-V2.6 采用的 Hybrid SWA 架构相比，HySparse2 的成绩单很直白：在 100 万 token 上下文下，预填充计算量（FLOPs）降低 5.02 倍；KV 缓存从 12.09GB 降到 2.69GB，缩小约 4.5 倍。也就是说，同样读入一份超长的材料，新架构要花的算力只有原来的五分之一，占的内存不到四分之一。更关键的是，它不是靠「省」换来变笨——长上下文评测 MRCR-v2 和 RULER-v2 得分更高，衡量智能体推理流畅度的 AgentPPL、长文本生成稳定性的 LongPPL 也都有下降。罗福莉把动机归结为：智能体推理是「截然不同的一种工作负载」。传统对话是你问我答；而智能体干活时，每一轮它可能只生成很短的指令，但工具返回的搜索结果、网页、代码、日志却可能是几万字。这些新内容每一轮都要重新走一遍「预填充」，历史上下文还在不断累加。于是三个问题同时压上来：预填充成本、KV 缓存容量、以及从超长历史里精准找回线索的能力。过去人们习惯拆开解决，HySparse2 想做的是一次性把三者兼顾。核心思路是两级 KV 共享。第一级叫 KV Bridging，沿用 YOCO 的设计：模型分成前后两段，前段是 self-decoder，后段是 cross-decoder；后段的全注意力层，直接从前段对应层的隐藏状态来构建自己的 K 和 V，省掉重复计算。第二级叫 KV Reuse：在每个混合块内部，稀疏层直接复用前一个全注意力层生成的 KV 缓存和 token 选择结果。这样一来，后段所需的缓存全部能在前段备好——预填充走到 self-decoder 结束，就能停下来，不必再让整段长输入逐层跑完后段。落到部署上，论文里那个 49 层的模型，如果采用预填充与生成分开部署，预填充节点只需要放前 25 层，所需内存接近减半。省下算力之后，能不能把长历史里的线索找回来，取决于稀疏层怎么「挑内容」。上一代按块选：一个 64-token 的块里哪怕只有一点相关，整块都会占用选择预算。HySparse2 改成按单个 token 选，把有限的注意力名额更精确地分给散落在不同轮次对话、工具结果和代码片段里的线索。论文配置是挑 1024 个全局 token，再强制保留最近 128 个 token——既去早前历史里找，也不漏掉眼前刚返回的结果。消融实验显示，在相同注意力预算下，token 级选择在 32k 及以下的长文测试中，把 RULER-v2 提高了 6.57 个百分点、双线索 MRCR-v2 提高 8.14 个百分点。到 256k 上下文，HySparse2 在 RULER-v2 拿到 58.45，而上一代 HySparse 是 32.61、Hybrid SWA 是 35.74。有一个细节要拎清楚：5.02 倍比的是「预填充计算量」，不是实际响应速度；论文的长上下文能力测试评估到 256k，100 万 token 对应的是计算量与缓存分析。而且 MiMo-V3 本身还没发布，最终产品里的延迟和任务表现，得等模型落地才知道。但方向已经清楚：当智能体成为主流用法，「怎么把昂贵的输入处理压下来」就成了绕不过的一课。小米这次把架构论文先放出来，某种程度上也是在给这条路线找同行者。
