IA
Huawei lanza la herramienta de cuantificación MACaQ, compatible con inferencia local de baja precisión para modelos multimodales
Una página de Hacker News muestra que Huawei publicó su cuantificador interno MACaQ, capaz de generar formatos de pesos y activaciones de baja precisión para modelos de texto, imagen, vídeo y audio, y de adaptarse a llama.cpp, vLLM, Diffusers y PyTorch. El proyecto afirma que un modelo de 122000000000 parámetros puede cuantificarse en 64 minutos utilizando 32,5 GB de memoria de vídeo.
Según la descripción del proyecto publicada en Hacker News, MACaQ se posiciona como una herramienta de cuantificación calibrada independiente del modelo, destinada a inferencia local. Es compatible con modelos de texto, imagen, vídeo y audio, y puede utilizarse respectivamente con llama.cpp, vLLM, Diffusers y PyTorch para completar la cuantificación y la ejecución. El proyecto ofrece archivos GGUF de alta calidad y admite flujos de cuantificación que van más allá de la modalidad de texto.
La descripción de rendimiento indica que MACaQ puede cuantificar un modelo de 122000000000 parámetros en 64 minutos con solo 32,5 GB de memoria del dispositivo. Los responsables del proyecto afirman que su perplejidad puede ser inferior a la de MR-GPTQ y DuQuant++; en Llama-3-8B también puede alcanzar el mejor nivel de perplejidad de ambos con 11 veces menos tiempo de cuantificación.
En cuanto a los backends concretos, la ruta de Diffusers admite W4A4 para generación de imágenes, vídeo y audio; llama.cpp admite GGUF de 2, 3 y 4 bits para la generación de texto y puede ejecutarse en CPU; vLLM admite W4A4 o cuantificación solo de pesos para generar y desplegar modelos de texto; y la ruta de PyTorch cubre W4A4 para generación de voz. El proyecto también ofrece MACaQ-R, diseñado para optimizar los códigos de peso conservando el formato GGUF nativo y los factores de escala por bloques, y los archivos generados pueden ejecutarse con llama.cpp estándar.
La descripción también enumera la integración de kernels relacionados con Ascend CANN y advierte de que la ejecución completa del modelo requiere combinarse con el entorno de ejecución de inferencia de Ascend. El proyecto utiliza la licencia Apache 2.0, mientras que los componentes de terceros incluidos conservan sus respectivas licencias.