小米MiMo;模型推理系统;全链路优化;技术细节

小米MiMo首次公开模型推理系统全链路优化技术细节

5月30日,小米正式公开MiMo-V2.5系列模型的推理系统全链路优化方案。据小米方面介绍,团队围绕Hybrid SWA+MoE+多模态的复合架构,系统性重构了从KVCache管理、分级缓存、前缀缓存到调度策略与Prefill/Decode链路的完整推理栈,KVCache存储压缩至同级方案的约1/7,在长序列场景下推理成本大幅下降——这是本次降价的核心技术基础。MiMo-V2.5系列API于5月27日完成永久降价,最高降幅达99%,不区分输入长度。

    广告等商务合作,请点击这里

    未经正式授权严禁转载本文,侵权必究。

    打开界面新闻APP,查看原文
    界面新闻
    打开界面新闻,查看更多专业报道

    热门评论

    打开APP,查看全部评论,抢神评席位

    热门推荐

      下载界面APP 订阅更多品牌栏目
        界面新闻
        界面新闻
        只服务于独立思考的人群
        打开