3．機(jī)器學(xué)習(xí)

谷歌CEO桑達(dá)爾·皮查伊在一封致股東信中，把機(jī)器學(xué)習(xí)譽(yù)為人工智能和計(jì)算的真正未來，可想而知機(jī)器學(xué)習(xí)在人工智能研究領(lǐng)域的重要地位。機(jī)器學(xué)習(xí)的方式包括有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。其中的算法有回歸算法（最小二懲罰、LR等）、基于實(shí)例的算法（KNN、LVQ等）、正則化方法（LASSO等）、決策樹算法（CART、C4.5、RF等）、貝葉斯方法（樸素貝葉斯、BBN等）、基于核的算法（SVM、LDA等）、聚類算法（K-Means、DBSCAN、EM等）、關(guān)聯(lián)規(guī)則（Apriori、FP-Growth）、遺傳算法、人工神經(jīng)網(wǎng)絡(luò)（PNN、BP等）、深度學(xué)習(xí)（RBN、DBN、CNN、

DNN、LSTM、GAN等）、降維方法（PCA、PLS等）、集成方法（Boosting、Bagging、AdaBoost、RF、GBDT等）。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中人工神經(jīng)網(wǎng)絡(luò)算法的延伸和發(fā)展，近期深度學(xué)習(xí)的研究非常火熱，下面介紹一下神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)。先說兩層網(wǎng)絡(luò)，如圖3-20所示，其中，a是“單元”的值；w表示“連線”權(quán)重；g是激活函數(shù)，一般為方便求導(dǎo)，采用Sigmoid函數(shù)。采用矩陣運(yùn)算來簡化圖中公式：a(2)=g(a(1)×w(1))，z=g(a(2) ×w(2))。設(shè)訓(xùn)練樣本的真實(shí)值為y，預(yù)測值為z，定義損失函數(shù)loss＝（z-y）2，所有參數(shù)w優(yōu)化的目標(biāo)就是使對所有訓(xùn)練數(shù)據(jù)的損失和盡可能小，此時(shí)這個(gè)問題就轉(zhuǎn)化為一個(gè)優(yōu)化問題，常用梯度下降算法求解。一般使用反向傳播算法，從后往前逐層計(jì)算梯度，最終求解各參數(shù)矩陣。

圖3-20深度學(xué)習(xí)兩層神經(jīng)網(wǎng)絡(luò)算法