11月5日,百度正式开源最新基座模型文心5.5 Flash Base。据介绍,ERNIE 5.5 Flash Base采用MoE架构,总参数量2800亿,每个Token激活140亿参数,使用33.5万亿个Token完成预训练,预训练上下文长度最高达128K,微调与推理阶段支持最长100万Token上下文。
界面新闻
只服务于独立思考的人群
11月5日,百度正式开源最新基座模型文心5.5 Flash Base。据介绍,ERNIE 5.5 Flash Base采用MoE架构,总参数量2800亿,每个Token激活140亿参数,使用33.5万亿个Token完成预训练,预训练上下文长度最高达128K,微调与推理阶段支持最长100万Token上下文。
广告等商务合作,请点击这里
