小米MiMo-V3全新架构核心技术HySparse2正式发布,百万Token下预填充算力降低5倍

钛媒体App 9月24日,小米MiMo大模型负责人罗福莉宣布,MiMo大模型下一代版本MiMo-V3将搭载全新自研架构,其核心技术HySparse2同步对外公开。据技术披露信息,HySparse2是小米在大模型混合稀疏注意力领域的迭代,对比此前MiMo-V2.6搭载的混合SWA架构,在100万Token长度的测试场景下,实现了预填充计算量(FLOPs)降低5.02倍,KV缓存占用直接缩小4.5倍。同时在长上下文权威评测MRCRv2和RULER-v2中获得更高得分,代表智能体推理流畅度的AgentPPL和长文本生成稳定性的LongPPL指标也实现显著下降,在大幅降低资源消耗的同时,模型的长文本处理与智能推理性能同步提升。(广角观察)

本文内容仅供参考,不构成投资建议,请谨慎对待。

评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容
投资日历
更多