腾讯混元;Stem稀疏注意力算法;首字延迟降低3.6倍

腾讯混元提出Stem稀疏注意力算法,首字延迟降低3.6倍

6月5日,腾讯混元宣布提出Stem稀疏注意力算法,已被机器学习顶会ICML-26收录。根据Stem算法×HPC算子的全栈加速方案,算法层面,Stem通过Token位置衰减(TPD)和输出感知度量(OAM)实现25%预算下的近无损精度;算子层面,HPC开源的Stem+BSA算子将稀疏收益转化为真实硬件加速,128K上下文下首字延迟降低3.7倍。

    广告等商务合作,请点击这里

    未经正式授权严禁转载本文,侵权必究。

    打开界面新闻APP,查看原文
    界面新闻
    打开界面新闻,查看更多专业报道

    热门评论

    打开APP,查看全部评论,抢神评席位

    热门推荐

      下载界面APP 订阅更多品牌栏目
        界面新闻
        界面新闻
        只服务于独立思考的人群
        打开