AI 前沿
AWS发布TorchNeuron降低PyTorch应用迁移Trainium门槛
亚马逊云科技推出TorchNeuron,使基于PyTorch构建的AI应用据称只需修改一行配置即可在自研Trainium芯片上运行。AWS还计划向PyTorch上游贡献代码,削弱框架对特定芯片的绑定。
AWS称TorchNeuron适配开发者用于构建、训练和运行模型的开源工具PyTorch,应用无需重写代码,只需更改一行配置即可运行于Trainium。公司援引数据称,约85%的AI应用使用PyTorch;该框架最初由Facebook开发,2022年起归属Linux Foundation。英伟达多年来让CUDA软件生态顺畅支持PyTorch应用,因此其GPU在开发流程中形成强默认地位。
TorchNeuron沿用PyTorch使用方式,熟悉该框架的开发者可直接使用。AWS Annapurna Labs技术软件副总裁Colin Brace认为,在AWS上构建不是押注单一算力供应商,从原型到生产所需的云基础设施已经具备。AWS还强调Trainium同一芯片可承担训练和推理,并与云服务紧密集成,即便不是每token价格最低,也可改善完整工作负载的经济性。Brace举例称,语音AI公司Deepgram迁移后,在生产级准确率下每美元可多处理70%的音频。
亚马逊还试图推动PyTorch减少自动以英伟达为中心。公司在发布文章中表示,将把相关改动贡献给PyTorch主项目,与社区共同移除把框架绑定到特定芯片的代码,让整个开发者社区而非仅Trainium用户受益。报道提到,AMD和Apple芯片此前也已支持通过较简单配置迁移PyTorch应用,亚马逊并非首个尝试降低自有芯片接入门槛的公司。