近日，谷歌宣布云端加速器TPU開始進一步支持深度學(xué)習(xí)函式庫PyTorch，僅需使用Python套件PyTorch/XLA，進行最小程度的修改，就能夠使用TPU來加速機器學(xué)習(xí)工作負載，且在TPU還不支援的操作，自動退回到以CPU運算，同時PyTorch/XLA也會生成詳細的報告，幫助使用者發(fā)現(xiàn)應(yīng)用程序瓶頸，高效執(zhí)行機器學(xué)習(xí)工作負載。

XLA是Google在2018年推出的最佳化編譯器，通過最佳化算法運算，可以提升機器學(xué)習(xí)模型的執(zhí)行速度，XLA支援處理器以及繪圖卡，也能夠在Google?TPU上執(zhí)行，并可以讓Cloud?TPU更容易支持PyTorch。

在最新的PyTorch/XLA上，使Cloud?TPU正式支援PyTorch?1.6，在基礎(chǔ)設(shè)施層提供模型平行運算能力，允許開發(fā)者可以在多個TPU核心上，分散大規(guī)模嵌入表，因此有能力創(chuàng)建許多過去無法實現(xiàn)的應(yīng)用。

另外，谷歌還在云端上發(fā)布的深度學(xué)習(xí)虛擬機器（DLVM）映像檔，其中包括PyTorch等各種深度學(xué)習(xí)框架，而?PyTorch/XLA?1.6現(xiàn)在預(yù)裝在DLVM中，并且已經(jīng)對Cloud?TPU進行最佳化。

為了讓開發(fā)者更好上手PyTorch/XLA，Google云端還提供一組常用深度學(xué)習(xí)模型開源實作，以及相關(guān)的教程，這些模型包括使用ImageNet資料集的圖像分類任務(wù)ResNet-50，還有Transformer、RoBERTa以及BERT等知名模型，也能使用PyTorch?1.6才加入，由臉書開發(fā)的深度學(xué)習(xí)推薦模型（DLRM）。官方提到，在Cloud?TPU訓(xùn)練這些模型，大部分的情況僅需修改少量代碼即可實現(xiàn)。
責(zé)任編輯:pj