什么是學習？

機器學習和深度學習中都有“學習”兩字，我們首先要理解什么是“學習”。著名的赫伯特·西蒙教授（Herbert Simon）是1975年圖靈獎獲得者、1978年諾貝爾經(jīng)濟學獎獲得者，這位大牛曾對“學習”下過一個定義“如果一個系統(tǒng)，能夠通過執(zhí)行某個過程，就此改進了它的性能，那么這個過程就是學習”。大師永遠都是言簡意賅，一針見血，我們從西蒙教授下的定義可以看出“學習的核心目的就是改善性能”。

其實不僅僅是對于機器，對于人而言這個定義也是適用的。我們從小就被教育要“好好學習，天天向上”，我們“學習”的目標是為了“向上”，如果沒有性能上的“向上”，即使非常辛苦地“好好”，即使長時間地“天天”，都無法算作“學習”。如果我們僅僅是低層次的重復性學習，而沒有達到認知升級的目的，那么即使表面看起來非常勤奮，其實也只是一個“偽學習者”，因為我們沒有改善性能。

下面我們就一起繼續(xù)“好好學習”機器學習和深度學習的知識，我們目的就是為了提升自己在機器學習和深度學習上的認知水平。

2、人工智能、機器學習、和深度學習是什么關系？

先拋出結論，機器學習（Machine Learning，ML）是人工智能（Artificial Intelligence，AI）的一個分支，深度學習（Deep Learning，DL）是ML中的一個子集，或者說，機器學習是實現(xiàn)人工智能的一種方法，而深度學習僅僅是實現(xiàn)機器學習的一種技術。

下面我們來仔仔細細“學習”一下AI、ML、DL這三個概念

（1）人工智能：AI表示機器模仿人類通常表現(xiàn)出的智能行為的任何活動，這是一個非常大的研究領域，機器旨在復制認知能力，例如學習行為、與環(huán)境的主動交互、推理和演繹、計算機視覺、語音識別、問題求解、知識表示和感知；AI建立在計算機科學、數(shù)學和統(tǒng)計學以及心理學和其他研究人類行為的科學的基礎上。建立AI有多種策略，在20世紀70年代和20世紀80年代，“專家”系統(tǒng)變得非常流行，這些系統(tǒng)的目標是通過用大量手動定義的if-then規(guī)則表示知識來解決復雜的問題，這種方法適用于非常特定的領域中的小問題，但無法擴展到較大的問題和多領域中，后來AI也在不斷的改進，越來越關注基于統(tǒng)計的方法。

（2）機器學習：ML是AI的一個子學科，專注于教授計算機如何對特定任務進行學習而無須編程，ML背后的關鍵思想是可以創(chuàng)建從數(shù)據(jù)中學習并做出預測的算法。機器學習也分好多種，我們向大家介紹一下有監(jiān)督學習，無監(jiān)督學習，增強學習這幾種。

有監(jiān)督學習，向機器提供輸入數(shù)據(jù)及期望輸出，目的是從這些訓練實例中學習，以使機器可以對從未見過的數(shù)據(jù)做出有意義的預測。

無監(jiān)督學習，僅向機器提供輸入數(shù)據(jù)，機器隨后必須自己尋找一些有意義的結構，而無須外部監(jiān)督或輸入。

增強學習，機器充當代理，與環(huán)境交互。如果機器的行為符合要求，就會有“獎勵”；否則，就會受到“懲罰”，機器試圖通過學習相應地發(fā)展其行為來最大化獎勵。

（3）深度學習：DL也是機器學習的一個子集，深度學習與傳統(tǒng)的監(jiān)督學習和無監(jiān)督學習是有區(qū)分的，深度學習是高度數(shù)據(jù)依賴型的算法，它的性能通常是隨著數(shù)據(jù)量的增加而不斷增強的，也就是說深度學習的可擴展性顯著優(yōu)于傳統(tǒng)的機器學習算法，但前提是有足夠多、足夠好的數(shù)據(jù)。

3、機器學習和深度學習的發(fā)展經(jīng)過了哪幾個階段？ 如前文討論的，作為人工智能的重要分支，機器學習主要研究的是如何使機器通過識別和利用現(xiàn)有知識來獲取新知識和新技能。自20世紀80年代以來，機器學習已經(jīng)在算法、理論和應用等方面都取得巨大成功，而被廣泛應用于產(chǎn)業(yè)界與學術界。簡單來說，機器學習就是通過算法使得機器能從大量歷史數(shù)據(jù)中學習規(guī)律，從而對新的樣本完成智能識別或?qū)ξ磥碜鲱A測；而深度學習是機器學習的一個分支和新的研究領域。如今在大數(shù)據(jù)的背景下可用數(shù)據(jù)量的激增、計算能力的增強以及計算成本的降低為深度學習的進一步發(fā)展提供了平臺，同時也為深度學習在各大領域中的應用提供了支撐。 回顧歷史機器學習的發(fā)展歷程大致可以分為五個時期，而伴隨著機器學習的發(fā)展，深度學習共出現(xiàn)三次浪潮。我們以機器學習的發(fā)展作為主線來介紹不同時期機器學習與深度學習之間的關系。

第一個時期從20世紀50年代持續(xù)至20世紀70年代，由于在此期間研究人員致力于用數(shù)學證明機器學習的合理性，因此稱之為“推理期”。在此期間深度學習的雛形出現(xiàn)在控制論中，隨著生物學習理論的發(fā)展與第一個模型的實現(xiàn)（感知機，1958年），其能實現(xiàn)單個神經(jīng)元的訓練，這是深度學習的第一次浪潮。

第二個時期從20世紀70年代持續(xù)至20世紀80年代，由于在這個階段機器學習專家認為機器學習就是讓機器獲取知識，因此稱之為“知識期”，在此期間深度學習主要表現(xiàn)在機器學習中基于神經(jīng)網(wǎng)絡的連接主義。

第三個時期從20世紀80年代持續(xù)至20世紀90年代，這個時期的機器學習專家主張讓機器“主動”學習，即從樣例中學習知識，代表性成果包括決策樹和BP神經(jīng)網(wǎng)絡，因此稱這個時期為“學習期”。在此期間深度學習仍然表現(xiàn)為基于神經(jīng)網(wǎng)絡的連接主義，而其中BP神經(jīng)網(wǎng)絡的提出為深度學習帶來了第二次浪潮。其實在此期間就存在很好的算法，但由于數(shù)據(jù)量以及計算能力的限制致使這些算法的良好效果并沒有展現(xiàn)出來。

第四個時期從20世紀初持續(xù)至21世紀初，這時的研究者們開始嘗試用統(tǒng)計的方法分析并預測數(shù)據(jù)的分布，因此稱這個時期為“統(tǒng)計期”，這個階段提出了代表性的算法“支持向量機”，而此時的深度學習仍然停留在第二次浪潮中。

第五個時期從20世紀初持續(xù)至今，神經(jīng)網(wǎng)絡再一次被機器學習專家重視，2006年Hinton及其學生Salakhutdinov發(fā)表的論文《Reducing the Dimensionality of Data with Neural Networks》標志著深度學習的正式復興，該時期掀起深度學習的第三次浪潮，同時在機器學習的發(fā)展階段中被稱為“深度學習”時期。此時，深度神經(jīng)網(wǎng)絡已經(jīng)優(yōu)于與之競爭的基于其他機器學習的技術以及手工設計功能的AI系統(tǒng)。而在此之后，伴隨著數(shù)據(jù)量的爆炸式增長與計算能力的與日俱增，深度學習得到了進一步的發(fā)展。

機器學習和深度學習發(fā)展的漫漫長路

審核編輯：郭婷