面壁智能;稀疏-线性混合架构SALA;训练9B模型

面壁智能发布基于稀疏-线性混合架构SALA训练9B模型

2月12日,面壁智能正式发布稀疏-线性注意力混合架构SALA,以及基于该架构的文本模型MiniCPM-SALA,模型仅有9B参数。据介绍,MiniCPM-SALA不使用投机采样等加速算法,在云端推理芯片上,当序列长度为256K词元时推理速度高达Qwen3-8B的3.5倍,并支持在云端芯片和消费级端侧GPU上进行高达一百万词元上下文长度的推理。

    广告等商务合作,请点击这里

    未经正式授权严禁转载本文,侵权必究。

    打开界面新闻APP,查看原文
    界面新闻
    打开界面新闻,查看更多专业报道

    热门评论

    打开APP,查看全部评论,抢神评席位

    热门推荐

      下载界面APP 订阅更多品牌栏目
        界面新闻
        界面新闻
        只服务于独立思考的人群
        打开