AI 前沿
TorchTPU项目公开TPU后端、编译缓存与分布式训练示例
TorchTPU开源项目提供PyTorch在谷歌TPU上运行的后端,包含ATen算子、XLA编译缓存、分布式训练和多模型推理示例,并支持torch.compile。项目当前公开版本为0.2.0,要求Python 3.11以上。
项目说明显示,TorchTPU为PyTorch模型和算子提供TPU设备后端,核心包括面向多种PyTorch操作的自定义ATen内核,以及用于优化XLA计算执行的编译缓存。它还提供数据并行、张量并行等分布式训练支持,并覆盖Llama、Qwen、ResNet、DLRM、minGPT、UNet等模型示例。
该后端可与torch.compile集成以执行图模式,也附带调试和基准测试工具。文档以Marimo笔记本形式提供,适合在TPU虚拟机中运行,材料指出v6e GCE实例最便于使用;Python版本支持策略与PyTorch发布兼容矩阵一致,目前支持Python 3.11及以上版本。
安装说明显示,PyPI上的最新公开版本为0.2.0,安装时需使用CPU版PyTorch的额外索引,否则可能默认安装CUDA版本。项目也支持通过Bazel构建wheel包,并说明wheel_common配置、远程构建执行缓存以及无RBE凭证时的构建参数顺序。