如果你曾經(jīng)用過(guò)，或是打算在訓(xùn)練機(jī)器學(xué)習(xí)任務(wù)時(shí)使用AWS/Azure/GCloud，你就知道昂貴的GPU價(jià)格有多高。如果經(jīng)常開關(guān)機(jī)器，會(huì)對(duì)正在進(jìn)行的任務(wù)有很大的干擾。原文作者Jeff Chen有一種更好的方法：搭建自己的深度學(xué)習(xí)計(jì)算機(jī)。它比上述方法便宜10倍，而且使用方便。下面就讓我們仔細(xì)分析一下。

這是深度學(xué)習(xí)計(jì)算機(jī)系列的第一篇（共有三篇）。第二部分將講述“如何搭建自己的計(jì)算機(jī)”，第三部分是“如何評(píng)估性能”。

自制深度學(xué)習(xí)計(jì)算機(jī)的內(nèi)部

只要3千（美元），頂級(jí)GPU可擴(kuò)展的深度學(xué)習(xí)計(jì)算機(jī)抱回家

我自己花3千美元搭建的機(jī)器配置如下所示，其中有一個(gè)1080 Ti GPU、一個(gè)12核的CPU，一個(gè)64G的RAM和1 TB M.2 SSD。除此之外你還可以再加三個(gè)GPU。

價(jià)格對(duì)比

假設(shè)這臺(tái)只有一個(gè)GPU的機(jī)器在未來(lái)三年不會(huì)折舊，下表顯示，如果你至少用了一年后，它會(huì)便宜10倍，其中包括電費(fèi)。亞馬遜的AWS會(huì)給予長(zhǎng)期使用者優(yōu)惠，如果你買了好幾年的AWS服務(wù)，也許能便宜4—6倍，但仍然是一筆不小的費(fèi)用。計(jì)算之后我們發(fā)現(xiàn)，有四個(gè)GPU的機(jī)器版本能在一年內(nèi)便宜21倍！

自己打造的計(jì)算機(jī)和AWS的費(fèi)用對(duì)比。根據(jù)不同的使用需求，一個(gè)GPU的版本可以便宜4—10倍，而四個(gè)GPU的版本可以便宜9—21倍。AWS全年訂閱可享受65折優(yōu)惠，三年可享受4折優(yōu)惠。假設(shè)電費(fèi)為0.2美元/千瓦時(shí)，一個(gè)GPU一小時(shí)消耗1kw的電，四個(gè)GPU一小時(shí)消耗2kw。額外加入的GPU按700美元算，不加折舊率。

但是這樣也有一些缺點(diǎn)，例如下載速度會(huì)變慢，因?yàn)檫@并不在主干網(wǎng)上，靜態(tài)IP需要遠(yuǎn)程接入，可能幾年之后你想更新GPU，即使這樣，省下的花費(fèi)也很值得。

如果你想在深度學(xué)習(xí)計(jì)算機(jī)上運(yùn)用2080Ti，它會(huì)貴一點(diǎn)，但仍然是劃算的。

云GPU每小時(shí)3美元，不用的時(shí)候也得交錢

亞馬遜的AWS EC2的GPU費(fèi)用為每小時(shí)3美元，或者一個(gè)月大約2100美元。在斯坦福，我用它研究我的語(yǔ)義分割項(xiàng)目，最終賬單為1000美元。我還在另一個(gè)項(xiàng)目上試過(guò)谷歌云，最終花了1800美元，這還是我非常節(jié)約地在用，每次結(jié)束時(shí)都會(huì)關(guān)掉機(jī)器。但還是肉疼?。?/p>

即使關(guān)上了機(jī)器，你仍需要每月為機(jī)器支付0.1美元/GB的存儲(chǔ)費(fèi)用，所以我每月在里面充100美元，防止數(shù)據(jù)丟失。

幾個(gè)月就回本

如果自己搭建了3千美元、含有一個(gè)GPU機(jī)器，如果經(jīng)常使用，兩個(gè)月后就會(huì)收支平衡。更不用提兩個(gè)月后它還沒(méi)有折損。所以權(quán)衡下來(lái)，還是四個(gè)GPU的版本更實(shí)惠，它不到一個(gè)月就能收回成本。

你的GPU性能和AWS不分上下

700美元的英偉達(dá)1080 Ti的速度就比英偉達(dá)的V100 云GPU（使用新一代Volta技術(shù)）少了10%，這是因?yàn)樵艷PU在實(shí)例和GPU之間的IO很慢，所以即使是這樣，V100在理論上也會(huì)比現(xiàn)實(shí)中快1.5—2倍。由于你用的是M.2 SSD，IO在自己的電腦上就會(huì)非?？?。

V100的顯存為16GB，而1080 Ti是11GB。但是如果能把batch的尺寸調(diào)小一些，模型就更高效，11GB也是可以的。

與在線租上一代英偉達(dá)K80相比，1080 Ti的訓(xùn)練速度比它快了4倍。我在基準(zhǔn)測(cè)試中驗(yàn)證了它的速度快了3—4倍。K80的顯存只有12GB，相對(duì)于1080Ti的11GB，優(yōu)勢(shì)并不大。

AWS之所以這么貴是因?yàn)閬嗰R遜強(qiáng)制使用更貴的GPU

數(shù)據(jù)中心之所以這么貴的原因：他們并不使用GeForce 1080 Ti。英偉達(dá)禁止在數(shù)據(jù)中心使用GeForce和Titan卡，所以亞馬遜和其他供應(yīng)商只能用8500美元的GPU，所以收取的租金就很貴。

自己搭建比購(gòu)買要好

同樣，你還要考慮在哪里購(gòu)買計(jì)算機(jī)或搭建自己的機(jī)器，搭建機(jī)器最難的部分就是找到適合機(jī)器學(xué)習(xí)的部分，確保能正常工作。而組裝過(guò)程就更容易了，幾個(gè)小時(shí)就能搞定。

在價(jià)格下跌時(shí)出手

每年有新產(chǎn)品發(fā)布時(shí)，上一代硬件總會(huì)降價(jià)。例如，當(dāng)AMD推出Threadripper 2 CPU時(shí)，1920X處理器的價(jià)格從800美元直接腰斬到400美元。所以，可以選擇這個(gè)時(shí)候購(gòu)買需要的硬件。

搭建能提供更多選擇，可以擴(kuò)展

我看了一些現(xiàn)成的機(jī)器，其中一些無(wú)法用四個(gè)GPU，或者不能進(jìn)行優(yōu)化。還有一些CPU沒(méi)有36+的PCle線程，或者主板不能插四個(gè)GPU，或者功率不夠1400W、CPU低于八核等等問(wèn)題。在下一篇文章中，我會(huì)討論不同部分的選擇有哪些細(xì)微差別。

設(shè)計(jì)時(shí)還可考慮一些搭配美感，我個(gè)人覺(jué)得有些機(jī)箱很丑……不僅要降低噪音，還要支持機(jī)器學(xué)習(xí)。SATA3 SSD的讀寫速度為每秒600MB，而M.2 PCIe SSD快了5倍，并達(dá)到了每秒3.4GB。

結(jié)語(yǔ)

在下一篇文章中，我會(huì)討論如何為搭建機(jī)器選擇組件，請(qǐng)繼續(xù)關(guān)注！

FAQ

為什么深度學(xué)習(xí)計(jì)算機(jī)的可擴(kuò)展性很重要？

如果你不知道需要多少計(jì)算力，最好的方法就是搭建一個(gè)只有一個(gè)GPU的機(jī)器，然后逐漸增加。

為什么選擇有四個(gè)GPU的機(jī)器？

如果你能承擔(dān)所需費(fèi)用，可以根據(jù)需要隨意增減GPU。我只是找到了合適的主板，可以支持四個(gè)GPU。

網(wǎng)友討論

自己動(dòng)手豐衣足食，還能省下一大筆錢，聽上去不錯(cuò)，不過(guò)這種方法有無(wú)劣勢(shì)呢？

網(wǎng)友_untom_表示：

“目前來(lái)說(shuō)，自己買機(jī)器確實(shí)便宜，這是毋庸置疑的。但是AWS解決的問(wèn)題是大規(guī)模的。如果你所在的領(lǐng)域需要數(shù)十個(gè)、甚至上百個(gè)機(jī)器，而不是四臺(tái)機(jī)器，那么你只能選擇AWS或其他云服務(wù)，除非你能自己買400個(gè)GPU?！?/p>

另外網(wǎng)友Spaturno說(shuō)：

“如果你現(xiàn)在每六個(gè)月就要用到100倍的計(jì)算力，持續(xù)一周，哪種更劃算？”

網(wǎng)友currentaccount123：

“兩種方法我都買不起?！保ㄊ謩?dòng)再見(jiàn)）