IA
smolmaxxing hace funcionar modelos de 8B y 16B en dispositivos con aproximadamente 1 GB de memoria
El proyecto smolmaxxing publicado en Hacker News explora la ejecución de grandes modelos de lenguaje en dispositivos con especificaciones bajas, como televisores tipo caja, tabletas antiguas, placas de computadora de placa única y routers. Mediante núcleos personalizados, vocabularios reducidos y carga de expertos paginada desde la memoria flash, el proyecto logra que modelos de expertos mixtos de 8B y 16B funcionen con aproximadamente 1 GB de RAM.
El proyecto propone ejecutar el modelo de lenguaje más grande posible en el hardware más mínimo. Los televisores tipo caja, las tabletas antiguas, las computadoras de placa única y los routers suelen contar con CPU, memoria y almacenamiento flash, pero permanecen inactivos la mayor parte del tiempo. smolmaxxing determina qué tamaño de modelo puede ejecutar realmente un dispositivo y después amplía aún más los límites mediante núcleos personalizados, una gestión cuidadosa de la memoria y la lectura de pesos en flujo desde la memoria flash; todas las cifras del repositorio se midieron localmente en los dispositivos.
El proyecto se basa en un parche para llama.cpp. Los métodos principales incluyen la escritura de núcleos orientados a chips concretos, como un núcleo de tabla de búsqueda de 1 bit para Cortex-A55, formatos de 2 bits y ternarios reempaquetados, y una versión correspondiente para A7, que carece de instrucciones de producto punto.
Los métodos para reducir el consumo de memoria también incluyen eliminar filas de salida del vocabulario que rara vez se utilizan en modelos pequeños; en dispositivos de televisión, el modo “headless” detiene el lanzador y los servicios de Google mientras el modelo está en ejecución. En los modelos de expertos mixtos, el sistema solo mantiene en memoria a los expertos de uso frecuente, lee el resto desde la memoria flash bajo demanda y precarga el contenido necesario para la capa siguiente, permitiendo así que los modelos de 8B y 16B funcionen con aproximadamente 1 GB de RAM. Para modelos densos que superan la capacidad de la memoria, también admite la carga en flujo a toda velocidad desde la memoria flash.
El proyecto afirma que estas técnicas no están vinculadas a un único dispositivo: el núcleo de 1 bit solo requiere NEON básico, y el esquema de transmisión desde flash es aplicable a dispositivos Linux o Android cuyo modelo sea más grande que la memoria. Los ejemplos actuales incluyen un televisor Android con ARMv8.2 y un iPad con jailbreak que ejecuta iOS 12; en el futuro también se admitirán teléfonos, computadoras de placa única y routers. Para utilizar estos modelos se requiere la versión parcheada de llama.cpp proporcionada por el proyecto, ya que la versión original no puede cargar los archivos correspondientes.