關于這個計算世界的一個關鍵的未來要素是移動數據。移動數據需要功率，以至于從內存中調用數據要比實際對其進行“計算”消耗更多的功率。這就是我們有緩存的原因，但即使有緩存，也需要對CPU進行廣泛的管理。對于簡單的操作，如位轉移或和操作，目標是將計算能力轉移到主DRAM本身，這樣它就不必來回穿梭。今年在Hot Chips， UPMEM是第一批展示新技術的公司之一。

對于任何已經完成任何形式的通用計算的人來說，通過算法推送一堆輸入來獲得結果，對于編寫代碼的人來說，通常有兩個高級的心理階段需要克服：首先是讓它工作，其次是優(yōu)化它。算法需要產生正確的結果，越快越好 - 慢速正確的結果通常是無用的，而快速的錯誤的結果也是無用的。如果能夠以更低的功率完成，那么也會減少開銷。

In-Memory Processing或“Processing In-Memory”背后的想法是，當內存仍在DRAM中時，應該完成一些簡單的整數或浮點運算 - 無需將其推送到CPU操作，然后將其發(fā)回。如果數據可以保留在那里并進行更新，則可以節(jié)省時間和功耗，而不會影響結果?；蛘撸绻Y果被發(fā)送回主存儲器并且最終的XOR應用于存儲器中的數據，則可以減少CPU上的計算。這可以釋放主CPU核心來執(zhí)行其他與計算相關的事情，或者如果它是一個限制因素，則會減少有效內存帶寬。

UPMEM所做的是在DRAM工藝節(jié)點上開發(fā)內置于DRAM芯片本身的數據處理單元（DPU）。每個DPU可以訪問64 MB的DRAM，并且相當于該內存的1 GB / s帶寬。DPU構建在一個干凈的32位ISA上，具有大量優(yōu)化功能，例如0循環(huán)條件jmps，組合SHIFT + X指令（如SHIFT + ADD或SHIFT + SUB），基本邏輯指令，SHIFT和rotate指令。編程模型使得基于c語言的庫能夠處理所有常見問題，UPMEM預計大多數應用程序需要幾百行代碼，少數人組成的團隊只需2-4周就可以更新軟件。

UPMEM所報的大數字包括更好的TCO、更好的ROI，以及潛在的100億美元目標市場。我們會在適當的時候討論這些。

（我個人更喜歡PIM-DIMM這個名字）

UPMEM提出的是一種類似于DDR4 RDIMM的標準產品，每個64MB的內存都可以訪問它的一個DPU。DPU內置于DRAM本身，使用內存制造節(jié)點。例如，UPMEM正在宣傳它正在制作一個4 Gb DDR4-2400芯片，用于嵌入8個DPU 512 MB的模塊， DPU以500 MHz運行。UPMEM計劃將這4個Gb芯片中的16個放入單個DDR4 RDIMM模塊中，提供8 GB模塊，內置128個DPU。

目標是最終生產128 GB模塊，總共2048個DPU。在DPU與其64 MB內存之間的有效1 GB / s帶寬下，這意味著DPU與內存之間的有效帶寬為2 TB / s。由于DPU的工作方式，這是必需的，這將在下面解釋。 處理器和技術已獲得專利，但UPMEM表示，他們正在與內存供應商合作開發(fā)20nm級工藝。添加DPU內核可以增加非常小的裸片面積，并且可以在2-3個金屬層內啟用，因為邏輯的密度小于前沿邏輯實現的密度。與領先的CPU實現相比，我們的想法是實現10倍的總能效和可擴展性。

目前，UPMEM為客戶提供軟件模擬和硬件FPGA驗證模擬器 - 實際上，感興趣的各方可以在AWS f1.16x大型實例上模擬UPMEM平臺。實際的PIM-DRAM模塊樣品將在第三季度向高端客戶發(fā)貨，隨著更多公司對此感興趣并加入，我們計劃在明年繼續(xù)推廣。UPMEM引用性能示例表示，他們已經看到基因組模式匹配的速度提高了22x-25x，數據庫索引搜索的吞吐量提高了18倍，延遲為原來的1/100，索引搜索應用程序的TCO提高了14倍。

在成本方面，UPMEM沒有說明計劃以多少價格出售其技術，但與其他解決方案相比，UPMEM有望成為一個邊際成本。在一次演示中，該公司表示，他們的解決方案可以用一個400美元的增強內存解決方案替代一個潛在的40000美元的服務器，并指出使用PIM在軟件許可、數據中心空間和功耗/效率方面產生了連鎖反應。

UPMEM提供了一些關于電力消耗的數據。在這張幻燈片中，該公司比較了兩臺服務器，一臺帶有pimm - dram，另一臺沒有。在這種情況下，“DRAM到處理器的64位操作數”召回需要在常規(guī)服務器上運行3000個pJ，將數據從DRAM中取出，并傳遞到緩存中，而在PIM-DRAM上，只需將數據移動到DPU上，同樣的操作只需要150個pJ的能量。DPU上的操作本身實際上需要2倍的功率（20 pJ與10 pJ相比），但是總的功率效率增益是170 pJ vs 3010 pJ，或者略低于20x。

這張幻燈片指出的一件可能令人困惑的事情是服務器的功耗——常規(guī)服務器列出的功耗只有300W，但是PIM解決方案的功耗高達700W。這是因為在UPMEM的解決方案下，每個DRAM模塊的功耗將會增加。

UPMEM提出的第一個產品模塊是前面提到的8 GB DDR4-2400模塊，其中128個DPU各自覆蓋64 MB內存并以500 MHz運行。對于單個4 Gb裸片（其中16個在8 GB模塊中，18個用于RDIMM ECC），我們仍然處于1 cm2的常規(guī)裸片尺寸，但每個芯片所需的功率約為1.2瓦。

如果我們研究所有16/18芯片，我們可以看到每個8GB的模塊將是19.2-21.6瓦。對于DRAM來說，這是一個很大的功耗，而且實際上超過了DDR4插槽的額定范圍。從這個角度來看，Intel的512GB Optane模塊有一個18w的運行模式，服務器可以冷卻到18w，但是也可以低到12w。UPMEM并沒有說明它是否能夠通過降低DPU頻率來降低每個模塊的功率。

UPMEM的目標是用PIM-DRAM模塊替換服務器中的DRAM模塊。該公司表示，DDR4接口并不適合這類事情，但他們已經解決了這個問題。在一份簡報中，該公司指出，目前至少需要為一個操作系統(tǒng)安裝非PIM-DRAM。