在之前的格物匯文章中，我們介紹了特征抽取的經(jīng)典算法——主成分分析（PCA），了解了PCA算法實(shí)質(zhì)上是進(jìn)行了一次坐標(biāo)軸旋轉(zhuǎn)，盡可能讓數(shù)據(jù)映射在新坐標(biāo)軸方向上的方差盡可能大，并且讓原數(shù)據(jù)與新映射的數(shù)據(jù)在距離的變化上盡可能小。方差較大的方向代表數(shù)據(jù)含有的信息量較大，建議保留。方差較小的方向代表數(shù)據(jù)含有的信息量較少，建議舍棄。今天我們就來(lái)看一下PCA的具體應(yīng)用案例和特征映射的另一種方法：線性判別分析（LDA）。

PCA案例

在機(jī)器學(xué)習(xí)中，所使用的數(shù)據(jù)往往維數(shù)很大，我們需要使用降維的方法來(lái)突顯信息含量較大的數(shù)據(jù)，PCA就是一個(gè)很好的降維方法。下面我們來(lái)看一個(gè)具體的應(yīng)用案例，為了簡(jiǎn)單起見，我們使用一個(gè)較小的數(shù)據(jù)集來(lái)展示：

顯而易見，我們數(shù)據(jù)有6維，維數(shù)雖然不是很多但不一定代表數(shù)據(jù)不可以降維。我們使用sklearn中的PCA算法擬合數(shù)據(jù)集得到如下的結(jié)果：

我們可以看到經(jīng)過(guò)PCA降維后依然生成了新的6個(gè)維度，但是數(shù)據(jù)映射在每一個(gè)維度上的方差大小不一樣。我們會(huì)對(duì)每一個(gè)維度上的方差進(jìn)行歸一化，每一個(gè)維度上的方差量我們稱為可解釋的方差量（Explained Variance）。由圖可知，每一個(gè)維度上可解釋方差占比為：0．4430，0．2638，0．1231，0．1012，0．0485，0．0204。根據(jù)經(jīng)驗(yàn)來(lái)說(shuō)我們期望可解釋的方差量累計(jì)值在80％以上較好，因此我們可以選擇降維降到3維（82．99％）或者4維（93．11％），括號(hào)中的數(shù)字為累計(jì)可解釋的方差量，最后兩維方差解釋只有7％不到，建議舍去。圖中的柱狀圖表示原維度在新坐標(biāo)軸上的映射向量大小。在前兩維度上表現(xiàn)如下圖所示：

PCA雖然能實(shí)現(xiàn)很好的降維效果，但是它卻是一種無(wú)監(jiān)督的方法。實(shí)際上我們更加希望對(duì)于有類別標(biāo)簽的數(shù)據(jù)（有監(jiān)督），也能實(shí)現(xiàn)降維，并且降維后能更好的區(qū)分每一個(gè)類。此時(shí)，特征抽取的另一種經(jīng)典算法——線性判別分析（LDA）就閃亮登場(chǎng)了。