芯片自研的趨勢正愈演愈烈。

云服務(wù)巨頭亞馬遜最近發(fā)表聲明稱，計劃將 Alexa 語音助手的部分計算任務(wù)轉(zhuǎn)移到自主設(shè)計的定制設(shè)計芯片 Inferentia 上，以便加速任務(wù)的執(zhí)行速度，同時降低成本。

這意味著亞馬遜將減少對英偉達(dá)芯片的依賴。

當(dāng)用戶使用亞馬遜 Echo 智能音箱呼叫 Alexa 語音助手時，語音數(shù)據(jù)將發(fā)送到數(shù)據(jù)中心的服務(wù)器上，然后再由 AI 系統(tǒng)分析和處理，以文本的形式生成反饋信息，最后再轉(zhuǎn)換成 Alex 的語音，轉(zhuǎn)達(dá)給用戶。

在此之前，整套流程都是由英偉達(dá)芯片驅(qū)動的，但從今往后，亞馬遜將逐步起用自家的 Inferentia 計算芯片。該芯片發(fā)布于 2018 年，專門為執(zhí)行機(jī)器學(xué)習(xí)任務(wù)而定制設(shè)計，可以加速文本轉(zhuǎn)語音、識別圖像等任務(wù)的執(zhí)行速度。

亞馬遜官方介紹，AWS 云服務(wù)是使深度學(xué)習(xí)普及到普通開發(fā)者，并以低成本提供按需付費(fèi)服務(wù)的頂尖基礎(chǔ)架構(gòu)。作為加速機(jī)器學(xué)習(xí)任務(wù)的定制芯片，Inferentia 是實現(xiàn)這一愿景的長期戰(zhàn)略的一部分。

Inferentia 旨在在云端提供高性能推理，降低推理的總成本，配套的軟件開發(fā)套件（SDK）可以方便開發(fā)人員將機(jī)器學(xué)習(xí)集成到其業(yè)務(wù)中。它的特點主要是高性能，低延遲和高靈活性。

每個 Inferentia 芯片的運(yùn)算性能最高可達(dá) 128 TOPS，而現(xiàn)有的每個 EC2 Inf1 服務(wù)最多支持 16 個 Inferentia 芯片。芯片經(jīng)過了特殊優(yōu)化，以最大程度地提高小樣本尺寸的吞吐量，這對于語音生成和搜索等對延遲要求很高的任務(wù)特別有用。

另一方面，Inferentia 擁有大量的片上內(nèi)存，可用于緩存大型模型，而不是存儲在芯片外。由于它的處理核心（又被稱作神經(jīng)核心）可以高速訪問存儲片上內(nèi)存中的模型且不受片外存儲器帶寬限制，因此可以有效減少延遲對推理的重大影響。

亞馬遜表示，將 Alexa 相關(guān)任務(wù)轉(zhuǎn)移到 Inferentia 芯片，可以將延遲降低 25％，成本降低 30％。

亞馬遜還強(qiáng)調(diào)，開發(fā)人員可以使用 TensorFlow，PyTorch 和 MXNet 等流行框架來訓(xùn)練模型，并使用 AWS Neuron SDK 輕松地將它們部署到云服務(wù)器上。Inferentia 支持 FP16，BF16 和 INT8 數(shù)據(jù)類型，還可以采用 32 位訓(xùn)練模型并使用 BFloat16 以 16 位模型的速度自動運(yùn)行。

近年來，亞馬遜，微軟和谷歌等公司正在大力發(fā)展云計算服務(wù)，因此需要大量的數(shù)據(jù)中心和服務(wù)器西元，由此成為了最大的計算芯片客戶。這種趨勢推動了英偉達(dá)，AMD 和英特爾等公司加大了對計算芯片的研發(fā)力度，而且相關(guān)營收也不斷增長。

但最近的趨勢顯示，越來越多的技術(shù)公司正在嘗試擺脫對傳統(tǒng)芯片供應(yīng)商的依賴，轉(zhuǎn)向自主設(shè)計芯片的道路。比如蘋果最近推出了搭載自研中央處理器 M1 芯片的 Mac 電腦。

目前，亞馬遜的云端面部識別服務(wù) Rekognition 也已經(jīng)已開始使用 Inferentia 芯片，但仍有大部分服務(wù)依賴于英偉達(dá)芯片。

責(zé)任編輯：xj

原文標(biāo)題：告別英偉達(dá)，亞馬遜計劃將Alexa語音處理任務(wù)轉(zhuǎn)移至自研芯片

文章出處：【微信公眾號：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。