知Yizhi Daily
← Volver a esta edición

IA

Baidu abre el código del modelo base ERNIE-5.5-Flash-Base

Edición 2026-11-06 · 08:00 Hora de Pekín

Baidu publicó ERNIE-5.5-Flash-Base, un modelo de lenguaje disperso de mezcla de expertos con 280B de parámetros totales y 14B activados por token. El modelo completó un preentrenamiento de 33,5T de tokens y ofrece pesos base sin entrenamiento intermedio ni posterior, facilitando a los desarrolladores la adaptación de dominio, el ajuste fino por instrucciones y la investigación de agentes.

Baidu publicó ERNIE-5.5-Flash-Base. El modelo es un modelo de lenguaje disperso de mezcla de expertos con 280B de parámetros totales y 14B de parámetros activados por token; se preentrenó desde cero con 33,5T de tokens, con un contexto de entrenamiento de hasta 128K, y admite el uso de un contexto de 1M de tokens en el ajuste fino y la inferencia.

Los pesos publicados en esta ocasión corresponden al punto de control al finalizar el preentrenamiento y aún no han recibido entrenamiento intermedio ni entrenamiento posterior, por lo que pueden servir como punto de partida común para la adaptación de dominio, el ajuste fino por instrucciones y la investigación en aprendizaje por refuerzo. Baidu afirmó que el modelo base conserva tanto la capacidad general formada durante el preentrenamiento como permite a los desarrolladores decidir por sí mismos la dirección del entrenamiento posterior.

La eficiencia es un objetivo central del diseño de este modelo. Ante el muestreo repetido durante el entrenamiento posterior, así como las interacciones multiturno y los contextos largos en aplicaciones de agentes, Baidu equilibró de forma integral el coste de cálculo de activaciones, la caché KV y los contextos largos en partes como la atención, las conexiones residuales, las capas MoE y las cabeceras de salida.

El modelo contiene 43 capas Transformer, con una dimensión de capa oculta de 4096 y 64 cabezas de atención, y utiliza una atención dispersa que combina MLA y HCA: de cada siete capas, solo una conserva el acceso a nivel de token al contexto completo, mientras que las demás capas comprimen cada 128 tokens en una entrada de caché y luego combinan una ventana reciente sin comprimir para la atención. Baidu indicó que el corpus de preentrenamiento también concede importancia a capacidades difíciles de compensar en fases posteriores, como el código a nivel de repositorio y la comprensión de contextos largos, y se diseñó de forma coordinada con el sistema de entrenamiento para mejorar la eficiencia del entrenamiento a gran escala.

Fuentes originales

Hacker News ↗
Volver a esta ediciónAbrir lector interactivo