香港浸會大學(HKBU)的研究人員與來自騰訊機器學習的團隊合作,創(chuàng)造了一種新技術,可在保持準確性的同時以前所未有的速度訓練人工智能(AI)機器。
在實驗期間,研究小組分別在短短4分鐘和6.6分鐘內訓練了兩個流行的深度神經(jīng)網(wǎng)絡,分別稱為AlexNet和ResNet-50。以前,最快的培訓時間是AlexNet 11分鐘,ResNet-50 15分鐘。
AlexNet和ResNet-50是基于ImageNet建立的深度神經(jīng)網(wǎng)絡,ImageNet是用于視覺識別的大規(guī)模數(shù)據(jù)集。經(jīng)過訓練后,系統(tǒng)便能夠識別并標記給定照片中的物體。結果比以前的記錄快得多,并且勝過所有其他現(xiàn)有系統(tǒng)。
機器學習是一組數(shù)學方法,可使計算機從數(shù)據(jù)中學習,而無需人工進行編程。然后,可以將所得的算法應用于AI中使用的各種數(shù)據(jù)和視覺識別任務。
浸大的團隊由朱小文教授和博士組成。來自計算機科學系的學生Shi Shaohuai。儲教授說:“我們提出了一種新的優(yōu)化訓練方法,可以在不損失準確性的情況下顯著提高最佳輸出。在AI訓練中,研究人員力求更快地訓練其網(wǎng)絡,但這會導致準確性下降。結果,訓練在保持精度和精度的同時,高速進行機器學習的模型是科學家們的重要目標?!?/p>
朱教授說,訓練AI 機器所需的時間受計算時間和通信時間的影響。研究團隊在這兩個方面均取得了突破,創(chuàng)造了這一破紀錄的成就。
這包括采用一種稱為FP16的更簡單的計算方法來替代更傳統(tǒng)的FP32,從而使計算速度更快而又不損失準確性。由于通信時間受數(shù)據(jù)塊大小的影響,因此該團隊提出了一種名為“張量融合”的通信技術,該技術將較小的數(shù)據(jù)片段合并為較大的數(shù)據(jù)片段,優(yōu)化了傳輸模式,從而提高了AI訓練期間的通信效率。
這項新技術可以用于大規(guī)模圖像分類,還可以應用于其他AI應用程序,包括機器翻譯;自然語言處理(NLP),以增強人類語言與計算機之間的交互;醫(yī)學影像分析;和在線多人戰(zhàn)斗游戲。
-
神經(jīng)網(wǎng)絡
+關注
關注
42文章
4844瀏覽量
108227 -
人工智能
+關注
關注
1821文章
50396瀏覽量
267209 -
機器學習
+關注
關注
67文章
8567瀏覽量
137289
發(fā)布評論請先 登錄
MediaTek與騰訊云簽署戰(zhàn)略合作備忘錄
大沖能源團隊赴國家節(jié)能中心深化交流合作
商湯大裝置聯(lián)合大曉機器人與廣西產業(yè)技術研究院達成戰(zhàn)略合作
廣州團隊研制出機器人“觸覺皮膚”
為了方便廣大電子硬件工程師用好薩科微slkor的產品,為客戶提供配套的技術服務,讓產品更好為客戶創(chuàng)造價值
研究人員復興針孔相機技術以推動下一代紅外成像發(fā)展
利用 Banana Pi BPI-CM5 Pro(ARMSoM CM5 SoM) 加速保護科學
東風汽車與騰訊達成戰(zhàn)略合作
無刷直流電機雙閉環(huán)串級控制系統(tǒng)仿真研究
無刷直流電機電流檢測新技術
機器學習賦能的智能光子學器件系統(tǒng)研究與應用
研究人員與來自騰訊機器學習的團隊合作,創(chuàng)造了一種新技術
評論