現(xiàn)代微處理器通常能夠通過分層緩存來隱藏計算與內(nèi)存之間的大部分差距。這是因為許多負載表現(xiàn)出相對可預(yù)測的一般內(nèi)存模式，可以通過空間局部性和時間局部性加以利用。有些負載還尷尬地并行。例如，人工智能負載往往表現(xiàn)出這種行為。只要你持續(xù)為機器提供數(shù)據(jù)，更多計算就相當于更高性能。人工智能負載往往具有非常可預(yù)測的內(nèi)存模式以及較高的數(shù)據(jù)重新利用能力，這有助于實現(xiàn)上述所有目標。

不幸的是，并非所有算法都具有這些理想的特性。圖就是這樣一個例子。企業(yè)廣泛地使用圖來處理大數(shù)據(jù)。這些數(shù)據(jù)結(jié)構(gòu)往往有上萬億個邊緣，并采用特殊的圖算法對數(shù)據(jù)進行操作。圖算法采用非常隨機的內(nèi)存訪問模式，導(dǎo)致負載受到內(nèi)存延遲的高度限制，迫使計算元素在很多時候陷入停滯。它本質(zhì)上是一個非常大的指針追逐問題，表現(xiàn)出與運行在GPU和CPU上的大多數(shù)負載相矛盾的行為。

更糟的是，圖算法往往具有非常差的次線性縮放特性。你根本無法通過投入更多處理器來解決這個問題。由于數(shù)據(jù)的稀疏性和不規(guī)則性，下一個數(shù)據(jù)訪問通常是在一個完全不同的節(jié)點上，傳輸數(shù)據(jù)最終會導(dǎo)致整個系統(tǒng)出現(xiàn)瓶頸。

美國國防部分層識別驗證及利用計劃（DARPA HIVE）

分層識別驗證及利用（HIVE）計劃是美國國防部正在開展的一項計劃，目標是解決這些缺點。HIVE采用軟硬件雙管齊下的方式。針對該計劃的硬件部分，正在開發(fā)用于圖處理的下一代ASIC。針對軟件部分，正在開發(fā)一個新的全棧圖框架。美國國防部希望通過專門的圖處理器和優(yōu)化的軟件棧，實現(xiàn)比當前同類最佳的GPU高1000倍的性能效率。

在上個月底舉行的DARPA ERI峰會上，Peter Wang介紹了該項目的最新進展。Wang是Anaconda公司的聯(lián)合創(chuàng)始人兼首席技術(shù)官。他也是HIVE軟件架構(gòu)的首席研究員。

介紹英特爾PUMA團隊

英特爾負責HIVE的硬件架構(gòu)部分，他們正在開發(fā)一個新的架構(gòu)來解決這些問題。在英特爾的數(shù)據(jù)中心事業(yè)部內(nèi)部有一個名為PUMA的秘密團隊。他們負責圖分析（GA）處理器的開發(fā)。這是他們正在秘密開發(fā)的一個完整產(chǎn)品，英特爾打算最終將其商業(yè)化。

新的圖處理器基于一種新開發(fā)的架構(gòu)，被稱為可編程統(tǒng)一內(nèi)存架構(gòu)或PUMA。這是一種新的架構(gòu)，用于整個全局統(tǒng)一內(nèi)存空間的小型不規(guī)則內(nèi)存訪問。在這種架構(gòu)下，芯片放棄了現(xiàn)代CPU和GPU所使用的許多基本假設(shè)——它并不假設(shè)自己擁有附近所有內(nèi)存，它并不假設(shè)內(nèi)存訪問會在不久的將來重復(fù)執(zhí)行，它也不假設(shè)對特定地址的內(nèi)存訪問意味著附近的內(nèi)存地址也將被訪問。Wong說：“通過拋棄這些基本假設(shè)，你可以圍繞對全局統(tǒng)一數(shù)據(jù)的小訪問而構(gòu)建一個完全不同的硬件架構(gòu)。然后，在每個階段，每當有一個有線互聯(lián)或者任何把一個計算單元連接到其它一些數(shù)據(jù)單元或其它計算單元的東西，每一個點都針對延遲進了優(yōu)化。” PUMA從根本上改變了與內(nèi)存訪問相關(guān)的行為，使內(nèi)存訪問更小、更有效，并使訪問這些內(nèi)存的延遲更長，但在整個系統(tǒng)中實現(xiàn)扁平化。

PUMA實現(xiàn)機箱級完全集成，可以跨處理元件和內(nèi)存進行良好的通信。它旨在擴展到大型系統(tǒng)，在多個機架和多個集群上使用。

Wang根據(jù)英特爾的內(nèi)部模擬結(jié)果給出了一些初步性能數(shù)據(jù)。他說：“節(jié)點縮放確實是一個關(guān)鍵問題。當我們討論上萬億個邊緣的時候，我們知道這些數(shù)字會變得更大?！睘榇?，Wang報告了超過80%的縮放效率。他補充道：“這實際上讓我們能夠并行化解決圖問題的方法。”

軟件基礎(chǔ)設(shè)施

HIVE的第二階段是構(gòu)建軟件基礎(chǔ)設(shè)施。新軟件不僅必須與新硬件兼容，而且必須與現(xiàn)有CPU和GPU兼容。此外，新軟件必須支持數(shù)據(jù)科學(xué)屆使用的大量現(xiàn)有軟件?，F(xiàn)有的大量軟件都是為了以某種方式解決特定的圖問題而開發(fā)的。該計劃的部分目標是能夠?qū)F(xiàn)有的軟件和庫連接到HIVE軟件框架中，以便使其更易于投入使用。

當前的軟件包括通過API公開的算法、數(shù)據(jù)的內(nèi)部圖表示以及硬件后端（GPU、CPU、FPGA或ASIC）。Wang解釋說，在當前平臺下，必須做出重大取舍，無論是針對某種類型的硬件進行優(yōu)化還是針對某些算法進行優(yōu)化。Wang說： “如果你專門從事圖表示，那么你就會與數(shù)據(jù)科學(xué)生態(tài)系統(tǒng)脫節(jié)，因為你被切斷了與一些重要庫的聯(lián)系。”

作為HIVE第二階段一部分，他們正在開發(fā)模塊化架構(gòu)框架?，F(xiàn)有軟件正在重新納入它們的組成部分，以便可以根據(jù)該軟件最佳功能將其插入到框架中。該結(jié)構(gòu)包括Workflow Scheduler和Dispatch Engine，用于把User API負載任務(wù)路由到后端。他們利用DASK任務(wù)調(diào)度程序來執(zhí)行此操作。這也是他們進行后端切換和調(diào)度的方式。順便說一句，值得注意的是，雖然他們正在與英特爾密切合作，共同開發(fā)這個框架，以便能夠通過PUMA架構(gòu)實現(xiàn)其性能目標，但是軟件框架并不是專門為PUMA設(shè)計的。事實上，它們完全針對廣泛的硬件，以便數(shù)據(jù)科學(xué)家立即能夠跨越CPU、GPU和FPGA，充分利用相同的軟件基礎(chǔ)設(shè)施。并最終使用相同的基礎(chǔ)架構(gòu)，利用PUMA圖處理器來加速相同的負載。

值得一提的是，如果有必要，在后端，框架可包含一組能夠轉(zhuǎn)換不同格式數(shù)據(jù)的轉(zhuǎn)換器。

這種設(shè)計有兩大好處——集成新硬件意味著設(shè)計了一個新的硬件后端，如果數(shù)據(jù)模型與現(xiàn)有模型不同，則添加對數(shù)據(jù)模型的支持，并添加一個可以從現(xiàn)有數(shù)據(jù)模型轉(zhuǎn)換到新數(shù)據(jù)模型的轉(zhuǎn)換器。同樣，集成一個新的User API只需要在其中一個硬件上添加一個接口并至少采用一種算法。

最終，HIVE的總體目標就是統(tǒng)一和簡化“讓圖軟件與硬件進行優(yōu)化通信的”流程，只需讓硬件廠商提供其硬件并為其集成一個良好的后端，同時讓數(shù)據(jù)科學(xué)家能夠通過自己的API和算法來充分利用該硬件。

Wang透露，從明年開始，用戶有望看到開源的初始源代碼。
責任編輯：tzh