知一知 · 今日
← 返回本期日报

AI 前沿

LookAtMyQuant量化编译器将Inkling-2-Mini压至5.38GB起

本期日期 2026-11-22 · 08:00 北京时间

LookAtMyQuant是按压缩伤害分配编码的量化编译器,使用训练后量化、Trellis码、Fisher信息行级配比特和4000步蒸馏。其为Apple Silicon生成四个Inkling-2-Mini MLX版本,文本权重从18.89GB压缩到5.38GB至12.76GB。

项目称,编译器会测量模型中每个存储部分被压缩后对输出造成的损害,再为各部分选择编码,使整体在指定体积预算内损失最小。代码采用MIT许可证。页面还给出Qwen3.5-4B结果:1.23GB、平均每权重2.3位,可答对540道精确答案数学题中的330道,完整配方GPU成本约34美元。

在Qwen3.8-27B上,同一方法把53.7GB模型压至7.2GB、2.1位,540道数学题答对401道,与原始模型数量相同;同尺寸Unsloth UD-IQ2_XXS GGUF为348道。HumanEval、MMLU和GSM8K分数也分别为73.8%、78.8%和94.5%。旁边的4位DSpine drafter为1.02GB,据称可让Apple Silicon上数学和代码解码速度约提高一倍。

针对26.4B物理参数、5.4B活跃参数的3倍循环MoE模型Inkling-2-Mini,编译器结合全MoE近端微调,把18.89GB文本权重做成5.38GB、8.87GB、11.18GB和12.76GB四个Apple Silicon MLX版本,分别约为1.65、2.72、3.43和3.92位每权重。

评估采用不截断输出、贪心、reasoning_effort="none"设置,覆盖GSM8K前200题、164个可执行HumanEval题、4项视觉VQA测试和多语言TextMix窗口。12.76GB版本在349项汇总基准上达到未压缩BF16教师的100%,文本权重内存减少32.5%;5.38GB版本GSM8K为88.0%,HumanEval严格通过105/164。

原文来源

Hacker News ↗
返回本期日报打开交互阅读页