知一知 · 今日
← 返回本期日报

AI 前沿

华为发布MACaQ量化工具,支持多模态模型本地低精度推理

本期日期 2026-11-12 · 08:00 北京时间

Hacker News页面显示,华为发布内部量化器MACaQ,可面向文本、图像、视频和音频模型生成低精度权重与激活格式,并适配llama.cpp、vLLM、Diffusers和PyTorch。项目称122B参数模型可在64分钟内、用32.5GB显存完成量化。

据Hacker News发布的项目说明,MACaQ定位为模型无关的校准量化工具,用于本地推理。它支持文本、图像、视频和音频模型,可分别配合llama.cpp、vLLM、Diffusers和PyTorch完成量化与运行。项目提供高质量GGUF,并支持超越文本模态的量化流程。

性能说明称,MACaQ可在64分钟内量化一个1220亿参数模型,仅需32.5GB设备内存。项目方称,其困惑度可低于MR-GPTQ和DuQuant++;在Llama-3-8B上,也可用11倍更少的量化时间达到二者最佳困惑度水平。

具体后端方面,Diffusers路径支持图像、视频和音频生成的W4A4;llama.cpp支持文本生成所需的2、3、4位GGUF,并可在CPU执行;vLLM支持W4A4或仅权重量化以生成和部署文本模型;PyTorch路径则覆盖语音生成的W4A4。项目还提供MACaQ-R,用于在保留原生GGUF格式和块缩放因子的情况下优化权重码,生成的文件可由标准llama.cpp运行。

说明同时列出Ascend CANN相关内核集成,并提示完整模型执行需要与Ascend推理运行时结合。项目采用Apache 2.0许可证,随附第三方组件仍保留各自许可证。

原文来源

Hacker News ↗
返回本期日报打开交互阅读页