AI 前沿
百度开源ERNIE-5.5-Flash-Base基座模型
百度发布ERNIE-5.5-Flash-Base,一个稀疏混合专家语言模型,总参数280B、每token激活14B。模型完成33.5T tokens预训练,提供未经过中期或后期训练的基座权重,便于开发者做领域适配、指令微调与智能体研究。
百度发布ERNIE-5.5-Flash-Base。该模型是稀疏混合专家语言模型,总参数280B,每个token激活14B参数;它从零开始在33.5T tokens上完成预训练,训练上下文最高128K,并支持在微调和推理中使用1M token上下文。
此次发布的权重是预训练结束时的检查点,尚未进行中期训练或后期训练,因此可作为领域适配、指令微调和强化学习研究的共同起点。百度称,基座模型既保留预训练形成的通用能力,也允许开发者自行决定后续训练方向。
效率是该模型的核心设计目标。面对后续训练中的反复采样,以及智能体应用中的多轮交互和长上下文,百度在注意力、残差连接、MoE层和输出头等部分综合权衡激活计算、KV缓存和长上下文成本。
模型包含43层Transformer,隐藏层维度为4096,拥有64个注意力头,并采用混合MLA与HCA稀疏注意力:每七层中只有一层保留对完整上下文的token级访问,其余层将每128个token压缩为一个缓存条目,再结合近期未压缩窗口进行注意。百度表示,预训练语料也重视仓库级代码和长上下文理解等难以在后期补足的能力,并与训练系统协同设计以提高大规模训练效率。