可擴展機器學習的并行與分布式優(yōu)化算法綜述
大小：未知 人氣： 2017-12-19 需要積分：3
機器學習問題通常會轉(zhuǎn)換成一個目標函數(shù)去求解，優(yōu)化算法是求解目標函數(shù)中參數(shù)的重要工具，在大數(shù)據(jù)環(huán)境下，需要設(shè)計并行與分布式的優(yōu)化算法，通過多核計算和分布式計算技術(shù)來加速訓(xùn)練過程，近年來，該領(lǐng)域涌現(xiàn)了大量研究工作，部分算法也在各機器學習平臺得到廣泛應(yīng)用，本文針對梯度下降算法、二階優(yōu)化算法、鄰近梯度算法、坐標下降算法、交替方向乘子算法五類最常見的優(yōu)化方法展開研究，每一類算法分別從單機并行和分布式并行來分析相關(guān)研究成果，并從模型特性、輸入數(shù)據(jù)特性、算法評價、并行計算模型等角度對每個算法進行詳細對比，隨后對有代表性的可擴展機器學習平臺中優(yōu)化算法的實現(xiàn)和應(yīng)用情況進行對比分析．同時對本文中介紹的所有優(yōu)化算法進行多層次分類，方便用戶根據(jù)目標函數(shù)類型選擇合適的優(yōu)化算法，也可以通過該多層次分類圖交叉探索如何將優(yōu)化算法應(yīng)用到新的目標函數(shù)類型，最后分析了現(xiàn)有優(yōu)化算法存在的問題，提出可能的解決思路，并對未來研究方向進行展望。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%