目錄

正則化算法（Regularization Algorithms）

集成算法（Ensemble Algorithms）

決策樹算法（Decision Tree Algorithm）

回歸（Regression）

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）

深度學(xué)習(xí)（Deep Learning）

支持向量機(jī)（Support Vector Machine）

降維算法（Dimensionality Reduction Algorithms）

聚類算法（Clustering Algorithms）

基于實(shí)例的算法（Instance-based Algorithms）

貝葉斯算法（Bayesian Algorithms）

關(guān)聯(lián)規(guī)則學(xué)習(xí)算法（Association Rule Learning Algorithms）

圖模型（Graphical Models）

正則化算法（Regularization Algorithms）

它是另一種方法（通常是回歸方法）的拓展，這種方法會基于模型復(fù)雜性對其進(jìn)行懲罰，它喜歡相對簡單能夠更好的泛化的模型。

例子：

嶺回歸（Ridge Regression）

最小絕對收縮與選擇算子（LASSO）

GLASSO

彈性網(wǎng)絡(luò)（Elastic Net）

最小角回歸（Least-Angle Regression）

優(yōu)點(diǎn)：

其懲罰會減少過擬合

總會有解決方法

缺點(diǎn)：

懲罰會造成欠擬合

很難校準(zhǔn)

集成算法（Ensemble algorithms）

集成方法是由多個(gè)較弱的模型集成模型組，其中的模型可以單獨(dú)進(jìn)行訓(xùn)練，并且它們的預(yù)測能以某種方式結(jié)合起來去做出一個(gè)總體預(yù)測。

該算法主要的問題是要找出哪些較弱的模型可以結(jié)合起來，以及結(jié)合的方法。這是一個(gè)非常強(qiáng)大的技術(shù)集，因此廣受歡迎。

Boosting

Bootstrapped Aggregation（Bagging）

AdaBoost

層疊泛化（Stacked Generalization）（blending）

梯度推進(jìn)機(jī)（Gradient Boosting Machines，GBM）

梯度提升回歸樹（Gradient Boosted Regression Trees，GBRT）

隨機(jī)森林（Random Forest）

優(yōu)點(diǎn)：

當(dāng)先最先進(jìn)的預(yù)測幾乎都使用了算法集成。它比使用單個(gè)模型預(yù)測出來的結(jié)果要精確的多

缺點(diǎn)：

需要大量的維護(hù)工作

決策樹算法（Decision Tree Algorithm）

決策樹學(xué)習(xí)使用一個(gè)決策樹作為一個(gè)預(yù)測模型，它將對一個(gè) item（表征在分支上）觀察所得映射成關(guān)于該 item 的目標(biāo)值的結(jié)論（表征在葉子中）。

樹模型中的目標(biāo)是可變的，可以采一組有限值，被稱為分類樹；在這些樹結(jié)構(gòu)中，葉子表示類標(biāo)簽，分支表示表征這些類標(biāo)簽的連接的特征。

例子：

分類和回歸樹（Classification and Regression Tree，CART）

Iterative Dichotomiser 3（ID3）

C4.5 和 C5.0（一種強(qiáng)大方法的兩個(gè)不同版本）

優(yōu)點(diǎn)：

容易解釋

非參數(shù)型

缺點(diǎn)：

趨向過擬合

可能或陷于局部最小值中

沒有在線學(xué)習(xí)

回歸（Regression）算法

回歸是用于估計(jì)兩種變量之間關(guān)系的統(tǒng)計(jì)過程。當(dāng)用于分析因變量和一個(gè) 多個(gè)自變量之間的關(guān)系時(shí)，該算法能提供很多建模和分析多個(gè)變量的技巧。具體一點(diǎn)說，回歸分析可以幫助我們理解當(dāng)任意一個(gè)自變量變化，另一個(gè)自變量不變時(shí)，因變量變化的典型值。最常見的是，回歸分析能在給定自變量的條件下估計(jì)出因變量的條件期望。

回歸算法是統(tǒng)計(jì)學(xué)中的主要算法，它已被納入統(tǒng)計(jì)機(jī)器學(xué)習(xí)。

例子：

普通最小二乘回歸（Ordinary Least Squares Regression，OLSR）

線性回歸（Linear Regression）

邏輯回歸（Logistic Regression）

逐步回歸（Stepwise Regression）

多元自適應(yīng)回歸樣條（Multivariate Adaptive Regression Splines，MARS）

本地散點(diǎn)平滑估計(jì)（Locally Estimated Scatterplot Smoothing，LOESS）

優(yōu)點(diǎn)：

直接、快速

知名度高

缺點(diǎn)：

要求嚴(yán)格的假設(shè)

需要處理異常值

人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是受生物神經(jīng)網(wǎng)絡(luò)啟發(fā)而構(gòu)建的算法模型。

它是一種模式匹配，常被用于回歸和分類問題，但擁有龐大的子域，由數(shù)百種算法和各類問題的變體組成。

例子：

感知器

反向傳播

Hopfield 網(wǎng)絡(luò)

徑向基函數(shù)網(wǎng)絡(luò)（Radial Basis Function Network，RBFN）

優(yōu)點(diǎn)：

在語音、語義、視覺、各類游戲（如圍棋）的任務(wù)中表現(xiàn)極好。

算法可以快速調(diào)整，適應(yīng)新的問題。

缺點(diǎn)：

需要大量數(shù)據(jù)進(jìn)行訓(xùn)練

訓(xùn)練要求很高的硬件配置

模型處于「黑箱狀態(tài)」，難以理解內(nèi)部機(jī)制

元參數(shù)（Metaparameter）與網(wǎng)絡(luò)拓?fù)溥x擇困難。

深度學(xué)習(xí)（Deep Learning）

深度學(xué)習(xí)是人工神經(jīng)網(wǎng)絡(luò)的最新分支，它受益于當(dāng)代硬件的快速發(fā)展。

眾多研究者目前的方向主要集中于構(gòu)建更大、更復(fù)雜的神經(jīng)網(wǎng)絡(luò)，目前有許多方法正在聚焦半監(jiān)督學(xué)習(xí)問題，其中用于訓(xùn)練的大數(shù)據(jù)集只包含很少的標(biāo)記。

例子：

深玻耳茲曼機(jī)（Deep Boltzmann Machine，DBM）

Deep Belief Networks（DBN）

卷積神經(jīng)網(wǎng)絡(luò)（CNN）

Stacked Auto-Encoders

優(yōu)點(diǎn)/缺點(diǎn)：見神經(jīng)網(wǎng)絡(luò)

支持向量機(jī)（Support Vector Machines）

給定一組訓(xùn)練事例，其中每個(gè)事例都屬于兩個(gè)類別中的一個(gè)，支持向量機(jī)（SVM）訓(xùn)練算法可以在被輸入新的事例后將其分類到兩個(gè)類別中的一個(gè)，使自身成為非概率二進(jìn)制線性分類器。

SVM 模型將訓(xùn)練事例表示為空間中的點(diǎn)，它們被映射到一幅圖中，由一條明確的、盡可能寬的間隔分開以區(qū)分兩個(gè)類別。

隨后，新的示例會被映射到同一空間中，并基于它們落在間隔的哪一側(cè)來預(yù)測它屬于的類別。

優(yōu)點(diǎn)：

在非線性可分問題上表現(xiàn)優(yōu)秀

缺點(diǎn)：

非常難以訓(xùn)練

很難解釋

降維算法（Dimensionality Reduction Algorithms）

和集簇方法類似，降維追求并利用數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，目的在于使用較少的信息總結(jié)或描述數(shù)據(jù)。

這一算法可用于可視化高維數(shù)據(jù)或簡化接下來可用于監(jiān)督學(xué)習(xí)中的數(shù)據(jù)。許多這樣的方法可針對分類和回歸的使用進(jìn)行調(diào)整。

例子：

主成分分析（Principal Component Analysis (PCA)）

主成分回歸（Principal Component Regression (PCR)）

偏最小二乘回歸（Partial Least Squares Regression (PLSR)）

Sammon 映射（Sammon Mapping）

多維尺度變換（Multidimensional Scaling (MDS)）

投影尋蹤（Projection Pursuit）

線性判別分析（Linear Discriminant Analysis (LDA)）

混合判別分析（Mixture Discriminant Analysis (MDA)）

二次判別分析（Quadratic Discriminant Analysis (QDA)）

靈活判別分析（Flexible Discriminant Analysis (FDA)）

優(yōu)點(diǎn)：

可處理大規(guī)模數(shù)據(jù)集

無需在數(shù)據(jù)上進(jìn)行假設(shè)

缺點(diǎn)：

難以搞定非線性數(shù)據(jù)

難以理解結(jié)果的意義

聚類算法（Clustering Algorithms）

聚類算法是指對一組目標(biāo)進(jìn)行分類，屬于同一組（亦即一個(gè)類，cluster）的目標(biāo)被劃分在一組中，與其他組目標(biāo)相比，同一組目標(biāo)更加彼此相似（在某種意義上）。

例子：

K-均值（k-Means）

k-Medians 算法

Expectation Maximi 封層 ation (EM)

最大期望算法（EM）

分層集群（Hierarchical Clstering）

優(yōu)點(diǎn)：

讓數(shù)據(jù)變得有意義

缺點(diǎn)：

結(jié)果難以解讀，針對不尋常的數(shù)據(jù)組，結(jié)果可能無用。

基于實(shí)例的算法（Instance-based Algorithms）

基于實(shí)例的算法（有時(shí)也稱為基于記憶的學(xué)習(xí)）是這樣學(xué) 習(xí)算法，不是明確歸納，而是將新的問題例子與訓(xùn)練過程中見過的例子進(jìn)行對比，這些見過的例子就在存儲器中。

之所以叫基于實(shí)例的算法是因?yàn)樗苯訌挠?xùn)練實(shí)例中建構(gòu)出假設(shè)。這意味這，假設(shè)的復(fù)雜度能隨著數(shù)據(jù)的增長而變化：最糟的情況是，假設(shè)是一個(gè)訓(xùn)練項(xiàng)目列表，分類一個(gè)單獨(dú)新實(shí)例計(jì)算復(fù)雜度為 O（n）

例子：

K 最近鄰（k-Nearest Neighbor (kNN)）

學(xué)習(xí)向量量化（Learning Vector Quantization (LVQ)）

自組織映射（Self-Organizing Map (SOM)）

局部加權(quán)學(xué)習(xí)（Locally Weighted Learning (LWL)）

優(yōu)點(diǎn)：

算法簡單、結(jié)果易于解讀

缺點(diǎn)：

內(nèi)存使用非常高

計(jì)算成本高

不可能用于高維特征空間

貝葉斯算法（Bayesian Algorithms）

貝葉斯方法是指明確應(yīng)用了貝葉斯定理來解決如分類和回歸等問題的方法。

例子：

樸素貝葉斯（Naive Bayes）

高斯樸素貝葉斯（Gaussian Naive Bayes）

多項(xiàng)式樸素貝葉斯（Multinomial Naive Bayes）

平均一致依賴估計(jì)器（Averaged One-Dependence Estimators (AODE)）

貝葉斯信念網(wǎng)絡(luò)（Bayesian Belief Network (BBN)）

貝葉斯網(wǎng)絡(luò)（Bayesian Network (BN)）

優(yōu)點(diǎn)：

快速、易于訓(xùn)練、給出了它們所需的資源能帶來良好的表現(xiàn)

缺點(diǎn)：

如果輸入變量是相關(guān)的，則會出現(xiàn)問題

關(guān)聯(lián)規(guī)則學(xué)習(xí)算法（Association Rule Learning Algorithms）

關(guān)聯(lián)規(guī)則學(xué)習(xí)方法能夠提取出對數(shù)據(jù)中的變量之間的關(guān)系的最佳解釋。比如說一家超市的銷售數(shù)據(jù)中存在規(guī)則 {洋蔥，土豆}=> {漢堡}，那說明當(dāng)一位客戶同時(shí)購買了洋蔥和土豆的時(shí)候，他很有可能還會購買漢堡肉。

例子：

Apriori 算法（Apriori algorithm）

Eclat 算法（Eclat algorithm）

FP-growth

圖模型（Graphical Models）

圖模型或概率圖模型（PGM/probabilistic graphical model）是一種概率模型，一個(gè)圖（graph）可以通過其表示隨機(jī)變量之間的條件依賴結(jié)構(gòu)（conditional dependence structure）。

例子：

貝葉斯網(wǎng)絡(luò)（Bayesian network）

馬爾可夫隨機(jī)域（Markov random field）

鏈圖（Chain Graphs）

祖先圖（Ancestral graph）

優(yōu)點(diǎn)：

模型清晰，能被直觀地理解

缺點(diǎn)：

確定其依賴的拓?fù)浜芾щy，有時(shí)候也很模糊