IA
Un extenso artículo técnico explica el mecanismo moderno de codificación de posición en los grandes modelos de lenguaje
Un tutorial técnico discutido en Hacker News explica sistemáticamente cómo los grandes modelos de lenguaje codifican y procesan la posición de los tokens, abarcando las incrustaciones clásicas de posición absoluta, los métodos de posición relativa, el mecanismo RoPE y las opciones de codificación de posición en los modelos de pesos abiertos de 2026. El artículo incluye visualizaciones, una pequeña cantidad de deducciones matemáticas y una implementación en PyTorch, dirigido a lectores que ya conocen los fundamentos de Transformer.
El artículo pretende explicar cómo los grandes modelos de lenguaje obtienen y procesan la información de posición de los tokens. El autor afirma que, a medida que la arquitectura de los grandes modelos sigue evolucionando, al preparar un artículo sobre tendencias arquitectónicas para 2026 descubrió que anteriormente no se había presentado específicamente los métodos de información de posición, por lo que organizó esta parte en un tutorial básico independiente. El contenido incluye distintas formas de codificación de posición, el funcionamiento de RoPE y los esquemas adoptados recientemente por los grandes modelos abiertos.
El tutorial comienza con el flujo básico de los grandes modelos de lenguaje: el tokenizador convierte primero el texto de entrada en IDs de token, la capa de incrustación de entrada asigna después esos IDs a vectores numéricos, y a continuación los bloques Transformer modifican los vectores mediante la atención y las capas feed-forward, mientras que la capa de salida genera las puntuaciones logit del siguiente token. El artículo utiliza GPT-2 y el más reciente MiniMax-M3 como ejemplos arquitectónicos para mostrar dónde se sitúa la información de posición en la ruta general.
El artículo afirma que explicará métodos clásicos y contemporáneos mediante ejemplos visuales, explicaciones matemáticas y una pequeña implementación en PyTorch, incluidas las incrustaciones de posición absoluta aprendidas, las incrustaciones de posición relativa y RoPE, y analizará además cómo las arquitecturas modernas ajustan u omiten la codificación explícita de posición. El autor también adelanta las opciones de incrustación de posición en los modelos de pesos abiertos de 2026.
El texto asume que el lector está familiarizado con la arquitectura básica de los grandes modelos de lenguaje y, en particular, necesita conocer los vectores de consulta, clave y valor en la autoatención. El autor advierte de que, si ya se entienden las incrustaciones de posición, se puede saltar directamente al capítulo sobre opciones de posición en arquitecturas modernas; el artículo se lee mejor en un navegador, para poder navegar mediante la tabla de contenidos.