知一知 · 今日
← 返回本期日报

AI 前沿

smolmaxxing让8B和16B模型在约1GB内存设备运行

本期日期 2026-11-13 · 08:00 北京时间

Hacker News发布的smolmaxxing项目探索在电视盒子、旧平板、单板机和路由器等低配置设备上运行大语言模型。项目通过定制内核、精简词表、从闪存分页加载专家等方式,让8B和16B混合专家模型在约1GB RAM中运行。

项目主张在最小硬件上运行尽可能大的语言模型。电视盒子、旧平板、单板计算机和路由器通常具备CPU、内存和闪存,但大部分时间处于闲置状态。smolmaxxing会测定设备实际可运行的模型规模,再通过定制内核、谨慎的内存管理和从闪存流式读取权重进一步突破限制;仓库中的数字均在设备本机测得。

项目基于llama.cpp补丁。核心方法包括面向芯片编写内核,例如面向Cortex-A55的1比特查找表内核、重打包的2比特和三进制格式,并为缺少点积指令的A7提供对应版本。

降低内存占用的方法还包括删除小模型中很少使用的词表输出行;在电视设备上,“headless”模式会在模型运行时停止启动器和谷歌服务。对于混合专家模型,系统只把常用专家保留在内存中,其他专家按需从闪存读取,并预取下一层所需内容,从而让8B和16B模型在约1GB RAM中运行。对于超过内存容量的稠密模型,也支持以闪存满速流式加载。

项目称这些技术并不绑定单一设备:1比特内核只需基础NEON,闪存流式方案适用于模型大于内存的Linux或Android设备。当前示例包括ARMv8.2 Android电视盒子和运行iOS 12的越狱iPad,未来还将支持手机、单板机和路由器。使用这些模型需要项目提供的补丁版llama.cpp,原版无法加载相应文件。

原文来源

Hacker News ↗
返回本期日报打开交互阅读页