很多讀者可能分不清楚 CPU、GPU 和 TPU 之間的區(qū)別，因此 Google Cloud 將在這篇博客中簡(jiǎn)要介紹它們之間的區(qū)別，并討論為什么 TPU 能加速深度學(xué)習(xí)。

TPU

張量處理單元（TPU）是一種定制化的 ASIC 芯片，它由谷歌從頭設(shè)計(jì)，并專(zhuān)門(mén)用于機(jī)器學(xué)習(xí)工作負(fù)載。TPU 為谷歌的主要產(chǎn)品提供了計(jì)算支持，包括翻譯、照片、搜索助理和 Gmail 等。Cloud TPU 將 TPU 作為可擴(kuò)展的云計(jì)算資源，并為所有在 Google Cloud 上運(yùn)行尖端 ML 模型的開(kāi)發(fā)者與數(shù)據(jù)科學(xué)家提供計(jì)算資源。在 Google Next’18 中，我們宣布 TPU v2 現(xiàn)在已經(jīng)得到用戶(hù)的廣泛使用，包括那些免費(fèi)試用用戶(hù)，而 TPU v3 目前已經(jīng)發(fā)布了內(nèi)部測(cè)試版。

TPU

第三代 Cloud TPU

如上為 tpudemo.com 截圖，該網(wǎng)站 PPT 解釋了 TPU 的特性與定義。在本文中，我們將關(guān)注 TPU 某些特定的屬性。

神經(jīng)網(wǎng)絡(luò)如何運(yùn)算

在我們對(duì)比 CPU、GPU 和 TPU 之前，我們可以先了解到底機(jī)器學(xué)習(xí)或神經(jīng)網(wǎng)絡(luò)需要什么樣的計(jì)算。如下所示，假設(shè)我們使用單層神經(jīng)網(wǎng)絡(luò)識(shí)別手寫(xiě)數(shù)字。

TPU

如果圖像為 28×28 像素的灰度圖，那么它可以轉(zhuǎn)化為包含 784 個(gè)元素的向量。神經(jīng)元會(huì)接收所有 784 個(gè)值，并將它們與參數(shù)值（上圖紅線(xiàn)）相乘，因此才能識(shí)別為「8」。其中參數(shù)值的作用類(lèi)似于用「濾波器」從數(shù)據(jù)中抽取特征，因而能計(jì)算輸入圖像與「8」之間的相似性：

然后，TPU 從內(nèi)存加載數(shù)據(jù)。當(dāng)每個(gè)乘法被執(zhí)行后，其結(jié)果將被傳遞到下一個(gè)乘法器，同時(shí)執(zhí)行加法。因此結(jié)果將是所有數(shù)據(jù)和參數(shù)乘積的和。在大量計(jì)算和數(shù)據(jù)傳遞的整個(gè)過(guò)程中，不需要執(zhí)行任何的內(nèi)存訪(fǎng)問(wèn)。

這就是為什么 TPU 可以在神經(jīng)網(wǎng)絡(luò)運(yùn)算上達(dá)到高計(jì)算吞吐量，同時(shí)能耗和物理空間都很小。

好處：成本降低至 1/5

因此使用 TPU 架構(gòu)的好處就是：降低成本。以下是截至 2018 年 8 月（寫(xiě)這篇文章的時(shí)候）Cloud TPU v2 的使用價(jià)格。

在 DAWNBench 比賽于 2018 年 4 月結(jié)束的時(shí)候，非 TPU 處理器的最低訓(xùn)練成本是 72.40 美元（使用現(xiàn)場(chǎng)實(shí)例訓(xùn)練 ResNet-50 達(dá)到 93% 準(zhǔn)確率）。而使用 Cloud TPU v2 搶占式計(jì)價(jià)，你可以在 12.87 美元的價(jià)格完成相同的訓(xùn)練結(jié)果。這僅相當(dāng)于非 TPU 的不到 1/5 的成本。這正是神經(jīng)網(wǎng)絡(luò)領(lǐng)域特定架構(gòu)的威力之所在。