谷歌开源TorchTPU！TPU成PyTorch原生设备，CUDA最深的护城河开始松动(谷歌开源之夏)

一些细节差异同样需要迁移者留意：TorchTPU 默认采用 BF16 乘法加 FP32 累加，而 PyTorch 在 CUDA 上默认是完整FP32；默认的集合通信编译方式会带来 30% 到 40% 的端…...