知一知 · 今日
← 返回本期日报

社媒话题

RunAnywhere开源面向AWS Trainium的LLM推理引擎TrnRT

本期日期 2026-11-18 · 08:00 北京时间

RunAnywhere在Hacker News发布开源项目TrnRT,即Trainium RunTime,一个面向AWS Trainium的大模型推理引擎。项目启动三周,目前可在trn2.48xlarge上运行FP8版本GLM-5.3 flash,并欢迎社区贡献。

发布者Sanchit称,单台设备可通过缓存感知路由器服务两个GLM-5.3 flash实例,使用8个trn2;在SemiAnalysis AgentX基准上可处理357万TPM。AgentX会重放真实编程代理会话,成绩包括batch 12、32个代理时28.9 RPM;16个代理且提示缓存时,P50 TTFT约1.24秒,解码速度35.9 TPS。

团队选择Trn2,是希望探索其相对H100/H200的成本效率。发布者称,GLM-5.3 flash这类具备约100万上下文窗口的大型MoE模型需要大量内存,而trn2.48xlarge每TB内存成本不到AWS上8张H200的一半。由于现有vLLM Neuron未注册GLM模型、NxDI不再活跃开发,SGLang Neuron对Trn2支持也不足,团队自行编写NKI内核:每层半侧解码使用一个内核,11个稀疏注意力层将两个块融合;mega内核让整层只需两次调度,batch 8解码提速25%。发布者同时说明,稀疏注意力prefill存在近似,约影响1.2%的块选择。

原文来源

Hacker News ↗
返回本期日报打开交互阅读页