編者按：Statsbot深度學習開發(fā)者Jay Shah帶你入門神經(jīng)網(wǎng)絡，一起了解自動編碼器、卷積神經(jīng)網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡等流行的神經(jīng)網(wǎng)絡類型及其應用。

如今，人們使用神經(jīng)網(wǎng)絡解決銷售預測、客戶調研、數(shù)據(jù)驗證、風險管理之類的眾多商業(yè)問題。例如，Statsbot中，我們將神經(jīng)網(wǎng)絡應用于時間序列預測、異常數(shù)據(jù)檢測、自然語言理解。

在這篇文章中，我們將解釋什么是神經(jīng)網(wǎng)絡，初學者使用神經(jīng)網(wǎng)絡將面臨的主要挑戰(zhàn)，流行的神經(jīng)網(wǎng)絡類型及其應用。我們還將描述神經(jīng)網(wǎng)絡如何應用于不同的行業(yè)和部門。

神經(jīng)網(wǎng)絡的想法

最近在計算機科學領域“神經(jīng)網(wǎng)絡”這個詞引起了很大的轟動，引起了很多人的關注。不過，神經(jīng)網(wǎng)絡到底是怎么一回事，它是怎么工作的，它真的有幫助嗎？

本質上，神經(jīng)網(wǎng)絡由稱為神經(jīng)元的計算單元層組成，層與層之間相互連接。神經(jīng)網(wǎng)絡轉換數(shù)據(jù)，直到網(wǎng)絡可以輸出分類。每個神經(jīng)元將一個初始值乘以一定的權重，與進入同一神經(jīng)元的其他值相加，并基于神經(jīng)元的偏置調整所得結果，接著使用激活函數(shù)歸一化輸出。

迭代學習過程

神經(jīng)網(wǎng)絡的一個關鍵特征是迭代學習過程，在該過程中記錄（行）逐一提供給網(wǎng)絡，每次與輸入值相關的權重都進行調整。在所有情況都提供之后，這一過程常常會重復開始。在這一學習階段，網(wǎng)絡通過調整權重來預測輸入樣本的正確類別標簽，以訓練自身。

神經(jīng)網(wǎng)絡的優(yōu)勢包括對噪聲數(shù)據(jù)的高耐受性，以及分類未訓練過的模式的能力。最流行的神經(jīng)網(wǎng)絡算法是反向傳播算法。

一旦為特定的應用確立了網(wǎng)絡架構之后，就可以訓練網(wǎng)絡了。剛開始，初始權重（下一節(jié)具體討論）是隨機選擇的。接著訓練（學習）開始。

網(wǎng)絡使用隱藏層中的權重和函數(shù)逐個處理“訓練集”中的記錄，接著比較實際輸出與期望輸出。誤差在系統(tǒng)中反向傳播，系統(tǒng)據(jù)此調整權重，調整后的權重將應用到下一個記錄。

這個過程隨著權重的調整而重復。在網(wǎng)絡訓練過程中，隨著連接權重的不斷改善，同一數(shù)據(jù)集會多次處理。

所以難在哪里？

初學者在學習神經(jīng)網(wǎng)絡時遇到的一個挑戰(zhàn)就是了解網(wǎng)絡的每一層到底發(fā)生了什么。我們知道，訓練之后，每個層都會提取數(shù)據(jù)集（輸入）的更高層次的特征，直到最后一層決定輸入特征指什么。這是如何做到的呢？

我們可以讓網(wǎng)絡來決策，而不是確切地規(guī)定我們希望網(wǎng)絡增強的特征。比方說，我們簡單地給網(wǎng)絡傳入一張任意圖像或照片，讓網(wǎng)絡來分析圖片。接著，我們選擇一個層，并要求網(wǎng)絡加強該層檢測到的東西。網(wǎng)絡的每一層處理不同抽象層次的特征，因此我們生成的特征的復雜性取決于我們選擇增強哪一層。

流行的神經(jīng)網(wǎng)絡類型和用途

在這篇面向初學者的神經(jīng)網(wǎng)絡文章中，我們將討論自動編碼器、卷積神經(jīng)網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡。

自動編碼器

自動編碼器基于這樣一個觀察，隨機初始化是一個壞主意，而基于無監(jiān)督學習算法預訓練每個網(wǎng)絡層可以得到更好的初始權重。這種無監(jiān)督算法的一個例子是深度性念網(wǎng)絡（Deep Belief Networks）。最近有一些研究嘗試復興這一領域，例如使用概率自動編碼器的變分方法。

實際應用很少使用它們。最近，批量歸一化允許更深的網(wǎng)絡，我們可以基于殘差學習從頭訓練來任意深度的網(wǎng)絡。通過適當?shù)木S度和稀疏性約束，自動編碼器可以學習比PCA或其他基本技術更有趣的數(shù)據(jù)投影。

我們來看看自動編碼器的兩個有趣的實際應用：

基于卷積層構建的去噪自動編碼器，可以高效地去除噪聲。

去噪自動編碼器，一些輸入設定為缺失

上圖中，隨機毀壞過程隨機地將一些輸入設定為零，強迫去噪自動編碼器為隨機選擇的缺失模式的子集預測缺失（毀壞）的值。

數(shù)據(jù)可視化的降維嘗試使用主成分分析（PCA）和t分布隨機近鄰嵌入（t-SNE）進行降維。在神經(jīng)網(wǎng)絡訓練中使用這兩種方法以增加模型預測的精確性。同時，MLP神經(jīng)網(wǎng)絡預測的精確性高度依賴于神經(jīng)網(wǎng)絡的結構，數(shù)據(jù)的預處理，以及開發(fā)網(wǎng)絡面對的問題類型。

卷積神經(jīng)網(wǎng)絡

卷積網(wǎng)絡得名于“卷積”運算，卷積的主要用途是提取輸入圖像的特征。通過基于輸入數(shù)據(jù)的小塊學習圖像的特征，卷積保留了像素間的空間關系。下面是一些成功應用卷積網(wǎng)絡的例子：

Stevens Institute of Technology和Adobe合作的人臉識別研究使用了級聯(lián)卷積神經(jīng)網(wǎng)絡高速地識別人臉。解碼器在低分辨率下評估輸入圖像以快速剔除非面部區(qū)域，然后以更高的分辨率仔細處理關鍵區(qū)域以精確地檢測人臉。

級聯(lián)結構還引入了校正網(wǎng)絡（calibration network）以加速識別并改善限界盒質量。

在自動駕駛汽車項目中，景深估計是自動駕駛需要考慮的重點，以確保乘客和其他載具的安全。這方面的CNN被應用于諸如NVIDIA的自動駕駛汽車這樣的項目中。

CNN層可以通過多參數(shù)處理輸入，因此CNN層提供了極高的靈活多變性。這些網(wǎng)絡的子類也包括深度信念網(wǎng)絡。傳統(tǒng)上，卷積神經(jīng)網(wǎng)絡用于圖像分析和對象識別。

順便提一個趣味項目，使用CNN在游戲模擬器中駕駛汽車并預測駕駛方向。

循環(huán)神經(jīng)網(wǎng)絡

用于序列生成的RNN（循環(huán)神經(jīng)網(wǎng)絡）是這樣訓練的，處理真實的數(shù)據(jù)序列的一步并預測下一步。這里有一份如何實現(xiàn)該模型的指南。

假設預測是概率性的，從網(wǎng)絡的輸出分布迭代采樣，然后將樣本傳給下一步作為輸入，訓練網(wǎng)絡可以生成新的序列。換句話說，讓網(wǎng)絡把自己發(fā)明的看成是真實的，就像一個人在做夢。

RNN可以用于語言驅動的圖像生成，基于給定的文本生成手寫。為了應對這一挑戰(zhàn)，將卷積文本字符串的軟窗口作為額外輸入傳給預測網(wǎng)絡。在網(wǎng)絡進行預測的同時輸出窗口的參數(shù)，這樣，網(wǎng)絡動態(tài)地決定文本和筆位置的對齊。簡單來說，網(wǎng)絡學習下一個要書寫的字符。

給定特定的輸入，經(jīng)訓練的神經(jīng)網(wǎng)絡可以生成預期輸出。如果我們有一個擬合良好的建模已知值序列的網(wǎng)絡，那么我們可以使用它來預測未來的結果。股票市場預測是一個明顯的例子。

神經(jīng)網(wǎng)絡在不同產(chǎn)業(yè)的應用

神經(jīng)網(wǎng)絡廣泛用于真實世界的商業(yè)問題，例如銷售預測、客戶調研、數(shù)據(jù)驗證、風險管理。

營銷

精準營銷涉及市場細分，根據(jù)客戶行為的不同將市場分為不同的客戶群。

神經(jīng)網(wǎng)絡可以根據(jù)基本特征，包括人口、經(jīng)濟狀況、位置、購買模式、對產(chǎn)品的態(tài)度，細分客戶。無監(jiān)督神經(jīng)網(wǎng)絡可以自動基于客戶屬性的相似性進行分組，而監(jiān)督神經(jīng)網(wǎng)絡可以通過訓練基于同一組客戶的特征學習客戶分區(qū)間的界限。

銷售

神經(jīng)網(wǎng)絡具備同時考慮多個變量的能力，例如市場需求、客戶收人、人口、產(chǎn)品價格。對超市而言，預測銷售很有幫助。

如果兩個產(chǎn)品在一段時期內形成關聯(lián)，比如購買了打印機的客戶會在3到4個月內返回購買一個新的墨盒，那么零售商可以利用這一信息及時聯(lián)系客戶，降低客戶從競爭者那里購買產(chǎn)品的概率。

銀行和財政

神經(jīng)網(wǎng)絡成功應用于衍生證券定價和對沖，未來價格預測，匯率預測，以及股票表現(xiàn)。傳統(tǒng)上，這樣的軟件由統(tǒng)計技術驅動。然而今天，神經(jīng)網(wǎng)絡成為驅動決策的底層技術。

醫(yī)藥

神經(jīng)網(wǎng)絡在醫(yī)藥領域的研究正成為潮流。人們相信，在接下來的幾年，神經(jīng)網(wǎng)絡將在生物醫(yī)學系統(tǒng)中得到廣泛應用。就目前而言，大部分研究建模人體的部分，通過各種掃描識別疾病。

結論

也許神經(jīng)網(wǎng)絡可以給我們一些關于認知的“簡單問題”的洞見：大腦如何處理環(huán)境模擬？大腦如何集成信息？不過，真正的問題在于，人類的這些處理為何以及如何與內在體驗的人生相伴，機器能達到這樣的自我意識嗎？

這讓我們思考神經(jīng)網(wǎng)絡是否能幫助藝術家的工作——一種新的重組視覺概念的方式——也許甚至能夠啟發(fā)我們認識到通過的創(chuàng)造性過程的根源。

總而言之，神經(jīng)網(wǎng)絡使計算機系統(tǒng)更人性化了，從而使它們更加有用。所以下一次你想你可能會喜歡讓你的大腦像電腦一樣可靠的時候，再想一想——已經(jīng)有這樣一個超級神經(jīng)網(wǎng)絡安裝在你的頭腦里了，你該為此感恩！

我希望這個面向初學者的神經(jīng)網(wǎng)絡介紹可以幫助你創(chuàng)建自己的第一個神經(jīng)網(wǎng)絡項目。