訓練支撐許多現(xiàn)代人工智能（AI）工具的大型神經(jīng)網(wǎng)絡都需要真實強大的計算能力。例如，OpenAI最先進的語言模型GPT-3訓練就需要驚人的10億億次運算，其計算時間耗資約500萬美元。工程師們認為他們已經(jīng)找到了一種方法，通過使用不同的方式表示數(shù)字，進而減輕計算負擔。

早在2017年，當時在A*STAR計算資源中心和新加坡國立大學就職的約翰?古斯塔夫森（John Gustafson）以及在星際機器人與電腦公司任職的艾薩克?約莫托（Isaac Yonemoto）就開發(fā)了一種新的數(shù)字表示方法。這些數(shù)字稱為“posit”，他們提議將這些數(shù)字作為對目前使用的標準浮點算數(shù)處理器的改進表示。

現(xiàn)在，馬德里康普頓斯大學的一個研究團隊開發(fā)了首個可在硬件中實現(xiàn)posit標準的處理器內(nèi)核，并表明，與使用標準浮點數(shù)字計算相比，基本計算任務的位對位（bit-for-bit）精度提高了4個數(shù)量級。他們在2022年9月的IEEE計算機算數(shù)研討會上發(fā)表了其研究結果。

“如今，摩爾定律似乎已開始衰落?！笨灯疹D斯大學ArTeCS小組的研究生研究員大衛(wèi)?馬拉森?金塔納（David Mallasén Quintana）說，“所以我們需要找到其他方法來提高機器的性能。其中一種方法就是改變我們的實數(shù)編碼方式，以及如何表示實數(shù)?！?/p>

用數(shù)字表示方法來突破極限的并非只有康普頓斯團隊。早在2022年9月，Arm、英特爾和英偉達就形成了一項技術規(guī)范，在機器學習應用程序中，使用8位浮點數(shù)字替代通常的32位或16位浮點數(shù)字，即使用短小、低精度的格式，以降低計算精度為代價，提高計算效率和內(nèi)存使用率。

實數(shù)不能在硬件中完美表示，因為實數(shù)的數(shù)量是無限的。為了適應指定的位數(shù)，許多實數(shù)必須四舍五入。posit的優(yōu)勢在于，這種方法表示數(shù)字的精度是沿著數(shù)軸分布的。在數(shù)軸中間，1和-1周圍，posit表示的精度比浮點的高。在數(shù)軸兩翼會逐漸出現(xiàn)較大的負數(shù)和正數(shù)，posit精度比浮點下降得更平穩(wěn)。

古斯塔夫森說：“這與數(shù)字在計算中的自然分布相吻合。動態(tài)范圍是合適的，在需要更高精度時，它的精度可以滿足需求。浮點運算中有很多從來沒有用過的位串，這是一種浪費?！?/p>

posit之所以能實現(xiàn)1和-1周圍精度的提高，是因為該表示方法有一個額外組成部分。浮點數(shù)由3個部分組成：一個符號位（0為正，1為負），幾個“尾數(shù)”（小數(shù)）位表示二進制小數(shù)點后面的數(shù)，其余的位用來定義指數(shù)（2exp）。

posit保留了浮點數(shù)的所有組成部分，但添加了一個額外的“regime”部分，即指數(shù)的指數(shù)。regime的優(yōu)點在于它的位長度可以變化。對于較小的數(shù)字，它可以只需要2位，為尾數(shù)留下更高的精度。這樣posit可以在1和-1周圍的“甜蜜點”位置實現(xiàn)更高的精度。

深度神經(jīng)網(wǎng)絡通常使用被稱為權重的歸一化參數(shù)，因此它們是從posit獲益的完美候選者。許多神經(jīng)網(wǎng)絡計算都由乘積累加運算組成。每次執(zhí)行這種計算，每個求和都必須再次截斷，導致精度損失。采用posit，一個名為quire的專用寄存器能夠有效地執(zhí)行累加步驟，減少精度損失。但目前的硬件應用的是浮點，而且到目前為止，在軟件中使用posit帶來的計算收益在很大程度上被格式轉換的損耗掩蓋了。

使用他們用現(xiàn)場可編程門陣列（FPGA）合成的新硬件，康普頓斯團隊對32位浮點和32位posit的計算進行并列比較。

該團隊還將結果與更精確但計算成本較高的64位浮點格式的結果進行比較，對結果的精度進行評估。對于矩陣乘法（神經(jīng)網(wǎng)絡訓練中固有的一連串乘積累加）的精度，posit比浮點運算驚人地提高了4個數(shù)量級。

該團隊還發(fā)現(xiàn)，提高精度并沒有以計算時間為代價，只是芯片使用面積和功耗略有增加。

盡管提高數(shù)字精度是不可否認的，但確切地說，它對訓練GPT-3等大型AI有怎樣的影響還有待觀察。

馬拉森說：“posit可能會提高訓練速度，因為在訓練的過程中不會丟失太多信息。但這些事我們還不知道。有人已經(jīng)在軟件中試過了，現(xiàn)在也要在我們的硬件中試一下?！?/p>

其他團隊正在研究實現(xiàn)自己的硬件，促進posit的使用?！斑@正是我所希望的，它被瘋狂地接受了?！惫潘顾蛏f，“posit數(shù)字格式爆火，正在使用posit的有幾十個團隊，公司和大學的團隊都有?！?/p>

審核編輯：劉清