深度學習的神經(jīng)網(wǎng)絡架構解析

深度學習的神經(jīng)網(wǎng)絡（NeuralNetwork）架構

? 感知器（Perceptron）

o 感知器是所有神經(jīng)網(wǎng)絡中最基本的，也是更復雜的神經(jīng)網(wǎng)絡的基本組成部分。它只連接一個輸入神經(jīng)元和一個輸出神經(jīng)元。

? 前饋（Feed-Forward）網(wǎng)絡

o 前饋網(wǎng)絡是感知器的集合，其中有三種基本類型的層: 輸入層、隱藏層和輸出層。在每個連接過程中，來自前一層的信號被乘以一個權重，增加一個偏置，然后通過一個激活函數(shù)。前饋網(wǎng)絡使用反向傳播迭代更新參數(shù)，直到達到理想的性能。

? 循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network/RNN）

o 循環(huán)神經(jīng)網(wǎng)絡是一種特殊類型的網(wǎng)絡，它包含環(huán)和自重復，因此被稱為“循環(huán)”。由于允許信息存儲在網(wǎng)絡中，RNNs使用以前訓練中的推理來對即將到來的事件做出更好、更明智的決定。它是具有時間聯(lián)結的前饋神經(jīng)網(wǎng)絡：它們有了狀態(tài)，通道與通道之間有了時間上的聯(lián)系。神經(jīng)元的輸入信息，不僅包括前一神經(jīng)細胞層的輸出，還包括它自身在先前通道的狀態(tài)。

? 長短期記憶網(wǎng)絡(Long Short Term Memory Network/LSTM）

o 由于上下文信息的范圍在實踐中是非常有限的，所以RNNs有個大問題。給定的輸入對隱藏層(即對網(wǎng)絡的輸出）輸入的影響(反向傳播誤差），要么指數(shù)級爆炸，要么網(wǎng)絡連接循環(huán)衰減為零。解決這個梯度消失問題的方法是長短期記憶網(wǎng)絡(LSTM）。

? 自動編碼器(Auto Encoder/AE）

o 自動編碼器的基本思想是將原始的高維數(shù)據(jù)“壓縮”成高信息量的低維數(shù)據(jù)，然后將壓縮后的數(shù)據(jù)投影到一個新的空間中。自動編碼器有許多應用，包括降維、圖像壓縮、數(shù)據(jù)去噪、特征提取、圖像生成和推薦系統(tǒng)。它既可以是無監(jiān)督的方法，也可以是有監(jiān)督的，可以得到對數(shù)據(jù)本質的洞見。

? 變分自動編碼器(Variational Auto Encoder/VAE）

o 自動編碼器學習一個輸入（可以是圖像或文本序列）的壓縮表示，例如，壓縮輸入，然后解壓縮回來匹配原始輸入，而變分自動編碼器是學習基于數(shù)據(jù)的概率分布。不僅僅是學習一個代表數(shù)據(jù)的函數(shù)，它還獲得了更詳細和細致的數(shù)據(jù)視圖，從分布中抽樣并生成新的輸入數(shù)據(jù)樣本。

? 卷積神經(jīng)網(wǎng)絡（Deep Convolutional Network/DCN）

o 圖像具有非常高的維數(shù)，因此訓練一個標準的前饋網(wǎng)絡來識別圖像將需要成千上萬的輸入神經(jīng)元，除了顯而易見的高計算量，還可能導致許多與神經(jīng)網(wǎng)絡中的維數(shù)災難相關的問題。卷積神經(jīng)網(wǎng)絡提供了一個解決方案，利用卷積和池化層，來降低圖像的維度。由于卷積層是可訓練的，但參數(shù)明顯少于標準的隱藏層，它能夠突出圖像的重要部分，并向前傳播每個重要部分。傳統(tǒng)的CNNs（卷積神經(jīng)網(wǎng)絡）中，最后幾層是隱藏層，用來處理“壓縮的圖像信息”。

? 反卷積神經(jīng)網(wǎng)絡（Deconvolutional Network/DN）

o 正如它的名字所暗示的那樣，反卷積神經(jīng)網(wǎng)絡與卷積神經(jīng)網(wǎng)絡操作相反。DN不是通過卷積來降低圖像的維數(shù)，而是利用反卷積來創(chuàng)建圖像，通常是從噪聲中獲得圖像。

? 生成對抗網(wǎng)絡(Generative Adversarial Network/GAN）

o 生成對抗網(wǎng)絡是一種專門設計用于生成圖像的網(wǎng)絡，由兩個網(wǎng)絡組成: 一個鑒別器和一個生成器。鑒別器的任務是區(qū)分圖像是從數(shù)據(jù)集中提取的還是由生成器生成的，生成器的任務是生成足夠逼真的圖像，以至于鑒別器無法區(qū)分圖像是否真實。隨著時間的推移，在謹慎的監(jiān)督下，這兩個對手相互競爭，彼此都想成功地改進對方。最終的結果是一個訓練有素的生成器，可以生成逼真的圖像。鑒別器是一個卷積神經(jīng)網(wǎng)絡，其目標是最大限度地提高識別真假圖像的準確率，而生成器是一個反卷積神經(jīng)網(wǎng)絡，其目標是最小化鑒別器的性能。

? 馬爾可夫鏈（Markov Chain/MC）

o 馬爾可夫鏈（MC：Markov Chain）或離散時間馬爾可夫鏈（DTMC：MC or discrete time Markov Chain）在某種意義上是BMs和HNs的前身。

? 霍普菲爾網(wǎng)絡（Hopfield network/HN）

o 一種每一個神經(jīng)元都跟其它神經(jīng)元相互連接的網(wǎng)絡。

? 玻爾茲曼機（Boltzmann machines/BM）

o 和霍普菲爾網(wǎng)絡很接近，差別只是：一些神經(jīng)元作為輸入神經(jīng)元，剩余的則是作為隱神經(jīng)元。在整個神經(jīng)網(wǎng)絡更新過后，輸入神經(jīng)元成為輸出神經(jīng)元。剛開始神經(jīng)元的權重都是隨機的，通過反向傳播（back-propagation）算法進行學習，或是最近常用的對比散度（contrastive divergence）算法（馬爾可夫鏈用于計算兩個信息增益之間的梯度）。

? 回聲狀態(tài)網(wǎng)絡（Echo state networks/ESN）

o 回聲狀態(tài)網(wǎng)絡是另一種不同類型的（循環(huán)）網(wǎng)絡。它的不同之處在于：神經(jīng)元之間的連接是隨機的（沒有整齊劃一的神經(jīng)細胞層），其訓練過程也有所不同。不同于輸入數(shù)據(jù)后反向傳播誤差，ESN先輸入數(shù)據(jù)、前饋、而后更新神經(jīng)元狀態(tài)，最后來觀察結果。它的輸入層和輸出層在這里扮演的角色不太常規(guī)，輸入層用來主導網(wǎng)絡，輸出層作為激活模式的觀測器隨時間展開。在訓練過程中，只有觀測和隱藏單元之間連接會被改變。

? 深度殘差網(wǎng)絡（Deep residual networks/DRN）

o 是非常深的FFNN網(wǎng)絡，它有一種特殊的連接，可以把信息從某一神經(jīng)細胞層傳至后面幾層（通常是2到5層）。

? Kohonen 網(wǎng)絡（KN）

o KN利用競爭學習來對數(shù)據(jù)進行分類，不需要監(jiān)督。先給神經(jīng)網(wǎng)絡一個輸入，而后它會評估哪個神經(jīng)元最匹配該輸入。然后這個神經(jīng)元會繼續(xù)調整以更好地匹配輸入數(shù)據(jù)，同時帶動相鄰的神經(jīng)元。相鄰神經(jīng)元移動的距離，取決于它們與最佳匹配單元之間的距離。

? 神經(jīng)圖靈機（Neural Turing machines/NTM）

o 可以理解為對LSTM的抽象，它試圖把神經(jīng)網(wǎng)絡去黑箱化（以窺探其內部發(fā)生的細節(jié)）。NTM不是把記憶單元設計在神經(jīng)元內，而是分離出來。NTM試圖結合常規(guī)數(shù)字信息存儲的高效性、永久性與神經(jīng)網(wǎng)絡的效率及函數(shù)表達能力。它的想法是設計一個可作內容尋址的記憶庫，并讓神經(jīng)網(wǎng)絡對其進行讀寫操作。NTM名字中的“圖靈（Turing）”是表明，它是圖靈完備（Turing complete）的，即具備基于它所讀取的內容來讀取、寫入、修改狀態(tài)的能力，也就是能表達一個通用圖靈機所能表達的一切。