IA
El compilador de cuantificación LookAtMyQuant reduce Inkling-2-Mini a partir de 5,38 GB
LookAtMyQuant es un compilador de cuantificación que asigna codificaciones según el daño por compresión, utilizando cuantificación posterior al entrenamiento, códigos Trellis, asignación de bits a nivel de fila basada en información de Fisher y destilación de 4000 pasos. Genera cuatro versiones MLX de Inkling-2-Mini para Apple Silicon, comprimiendo los pesos de texto de 18,89 GB a entre 5,38 GB y 12,76 GB.
Según el proyecto, el compilador mide el daño que la compresión causa a la salida en cada parte almacenada del modelo y luego elige una codificación para cada parte, minimizando la pérdida global dentro de un presupuesto de tamaño especificado. El código utiliza la licencia MIT. La página también presenta resultados para Qwen3.5-4B: 1,23 GB, un promedio de 2,3 bits por peso, capaz de responder correctamente 330 de 540 problemas matemáticos de respuesta exacta, con un coste GPU aproximado de 34 dólares para la receta completa.
En Qwen3.8-27B, el mismo método comprime el modelo de 53,7 GB a 7,2 GB y 2,1 bits, respondiendo correctamente 401 de 540 problemas matemáticos, la misma cantidad que el modelo original; un Unsloth UD-IQ2_XXS GGUF del mismo tamaño obtuvo 348. Las puntuaciones en HumanEval, MMLU y GSM8K también fueron del 73,8 %, 78,8 % y 94,5 %, respectivamente. El drafter DSpine de 4 bits adjunto ocupa 1,02 GB y, según se afirma, puede aproximadamente duplicar la velocidad de decodificación matemática y de código en Apple Silicon.
Para Inkling-2-Mini, un modelo MoE de bucle triple con 26,4 mil millones de parámetros físicos y 5,4 mil millones de parámetros activos, el compilador combinó el ajuste proximal completo de MoE para convertir los pesos de texto de 18,89 GB en cuatro versiones MLX para Apple Silicon de 5,38 GB, 8,87 GB, 11,18 GB y 12,76 GB, equivalentes aproximadamente a 1,65, 2,72, 3,43 y 3,92 bits por peso.
La evaluación utilizó salidas sin truncamiento, decodificación voraz y el ajuste reasoning_effort="none", y abarcó las primeras 200 preguntas de GSM8K, 164 problemas ejecutables de HumanEval, 4 pruebas visuales VQA y ventanas TextMix multilingües. La versión de 12,76 GB alcanzó el 100 % del profesor BF16 sin comprimir en un conjunto agregado de 349 pruebas de referencia, con una reducción del 32,5 % en la memoria de los pesos de texto; la versión de 5,38 GB obtuvo un 88,0 % en GSM8K y una aprobación estricta de 105/164 en HumanEval.