AI 前沿
开源 Janas 尝试用 SSD 运行超过内存容量的大模型
Janas 按需从 SSD 读取混合专家模型权重。作者报告在 32GB 笔记本上运行约 48GB 的 Qwen3-Next-80B;项目仍为早期实验,性能结论来自作者单机测试。
Janas 是一个用 C 语言编写的开源 AI 工具项目,其推理组件尝试在普通电脑上运行大于物理内存的混合专家模型。相关仓库在北京时间 10 月 13 日进入 Hacker News 热榜。作者展示的设备只有 32GB 内存,却运行了文件规模约 48GB 的 Qwen3-Next-80B。
方法是把模型权重保留在固态硬盘上,每生成一步时读取需要用到的专家权重,并把经常使用的部分缓存到内存。混合专家模型不会每一步都动用所有专家,因此可以按需调入部分数据。这里节省的是同时常驻内存的空间,模型文件仍然需要存储在磁盘上。
作者在一台搭载 Intel Core Ultra 9 185H、集成显卡和 NVMe 固态硬盘的笔记本上,报告该模型不使用草稿推测时约每秒生成 24 个 token。仓库也列出与 llama.cpp 的对比,但明确指出测试主要来自这一台机器;这些结果不能保证在其他 CPU、硬盘或模型上复现。
截至本版,仓库提供 Linux 与 Windows 的下载和使用说明,模型需要采用项目支持的文件格式。作者将它标为早期实验,接口和命令可能变化,稳定性尚未验证;高强度内存缓存与磁盘读取也可能拖慢桌面。可以将它视为本地推理的一种公开实验方案,现有材料不足以证明它已适合长期、无人值守的生产服务。