CSDN 出品的《2018-2019 中國人工智能產(chǎn)業(yè)路線圖》V2.0 版即將重磅面世！

V1.0 版發(fā)布以來，我們有幸得到了諸多讀者朋友及行業(yè)專家的鼎力支持，在此表示由衷感謝。此次 V2.0 版路線圖將進行新一輪大升級，力求為讀者呈現(xiàn)更全面的中國人工智能產(chǎn)業(yè)發(fā)展概況和趨勢判斷。

此文為深度技術(shù)分析系列稿件第 6 篇，作者為 CSDN 特邀 AI 專家——探智立方產(chǎn)品總監(jiān)宋煜。

人工智能會影響多個領(lǐng)域，甚至是那些非常傳統(tǒng)的商業(yè)領(lǐng)域。而機器學(xué)習（這里指的是廣義的機器學(xué)習）是人工智能的一個重要組成部分，它指的是對大數(shù)據(jù)集上的算法進行訓(xùn)練，以便他們學(xué)習如何更好地識別所需的模式。

近一年來，我們會看到在芯片領(lǐng)域，網(wǎng)絡(luò)安全領(lǐng)域，語音助理領(lǐng)域，法律咨詢領(lǐng)域，醫(yī)療診斷領(lǐng)域，制藥領(lǐng)域，越來越多的AI技術(shù)在推動行業(yè)的發(fā)展和進步。同時，各種人工智能的比賽也層出不窮，而比賽的背后推動力實際上就是行業(yè)方案的落地能力。傳統(tǒng)行業(yè)正越來越急迫地希望 AI 能夠真正應(yīng)用于實際的生產(chǎn)環(huán)節(jié)之中。

機器學(xué)習算法概述

隨著對實際應(yīng)用要求的呼聲越來越大，算法層面的研究也慢慢變得清晰和細致。在今天，從技術(shù)的角度來看，人工智能的落地有四個重要的環(huán)節(jié)需要解決：數(shù)據(jù)標注問題，模型設(shè)計問題，模型訓(xùn)練性能問題和模型可解釋性問題。

在算法層面，有大量的工作圍繞這四個問題展開：

▌模型訓(xùn)練需要大量準確的標注數(shù)據(jù)

針對這種挑戰(zhàn)，業(yè)界一直試圖通過數(shù)學(xué)方法降低對大量數(shù)據(jù)的依賴。從減少標注的角度，非監(jiān)督學(xué)習提供了不同的方法如協(xié)同訓(xùn)練，半監(jiān)督字典學(xué)習，標簽傳播算法，半監(jiān)督支持向量機以及階梯（Ladder）網(wǎng)絡(luò)?？梢钥吹?，大部分半監(jiān)督學(xué)習的方法都建立在對數(shù)據(jù)分布的某種假設(shè)。如果訓(xùn)練數(shù)據(jù)的確真實反應(yīng)了現(xiàn)實世界中數(shù)據(jù)分布的情況，那么就會從中受益，否則效果會大打折扣。

在深度學(xué)習領(lǐng)域，階梯網(wǎng)絡(luò)試圖通過一個網(wǎng)絡(luò)把有標簽的監(jiān)督學(xué)習和同類但無標簽數(shù)據(jù)進行共同訓(xùn)練，實現(xiàn)一個端到端的半監(jiān)督深度模型。階梯網(wǎng)絡(luò)通過在反向傳播的同時最小化有監(jiān)督和無監(jiān)督的損失，從而避免分層預(yù)訓(xùn)練的需求。通過 SkipConnection 使編碼層的每一層都有一個到解碼層的橫向連接；同時在編碼層，每一層都引入噪聲以實現(xiàn)類似于降噪自編碼器的能力。階梯網(wǎng)絡(luò)中，隱變量是整個模型的關(guān)鍵所在。分層隱變量模型可以保留較低級別的細節(jié)表示，允許更高級別的表示可以更多的關(guān)注那些不變，抽象的特征。隨著技術(shù)的發(fā)展，階梯網(wǎng)絡(luò)也可以支持卷積神經(jīng)網(wǎng)絡(luò)。不過，技術(shù)領(lǐng)域從來沒有萬能鑰匙。

當你用一個技術(shù)解決部分問題的時候，新的問題也會隨之產(chǎn)生。在灰度和簡單圖像的情況下，階梯網(wǎng)絡(luò)效果是非常好的，但是當應(yīng)用于醫(yī)療里的細胞切片分析時，性能會下降的比較厲害。類似的一些新的研究也有很多，比如 Self-Ensembling Graph Convolutional Networks 、主動學(xué)習（Active-Learning）以及 Acluster-then-label Semi-supervised learning Approach 就能夠在部分標注的醫(yī)學(xué)切片掃描圖片上得到很好的成績。

同時，業(yè)界也在試圖利用生成對抗神經(jīng)網(wǎng)絡(luò)（GAN）生成更多的樣本從而解決數(shù)據(jù)擴增問題。在低樣本數(shù)據(jù)體系中，訓(xùn)練參數(shù)不確定，學(xué)習網(wǎng)絡(luò)概括性差，而且?guī)в泻軓姷臄?shù)據(jù)偏向性。使用數(shù)據(jù)擴充能夠有效的來緩解這種情況。然而，標準數(shù)據(jù)增加僅產(chǎn)生有限的似乎合理的替代數(shù)據(jù)，并有可能引入人為指定的擴增算法的數(shù)據(jù)分布規(guī)律。對抗神經(jīng)網(wǎng)絡(luò)生成模型能夠更加有效地做到數(shù)據(jù)擴增。從源數(shù)據(jù)獲取、學(xué)習數(shù)據(jù)特征，然后將其推廣以生成其他類內(nèi)數(shù)據(jù)項。這個生成過程不依賴于類本身，因此它可以應(yīng)用于新的、未曾見過的數(shù)據(jù)類。通常這種擴增可以使最后的訓(xùn)練結(jié)果提高10-15%。

第三個解決標注數(shù)據(jù)需求量問題的是元學(xué)習的方法。其中，One/Low-Shot Learning 變的越來越熱。元學(xué)習（MetaLearning）目的并不是收斂學(xué)習的目標，如圖像識別或者下棋，而是學(xué)習更高一層的內(nèi)容，例如，參數(shù)設(shè)置、神經(jīng)結(jié)構(gòu)、神經(jīng)元初始化、優(yōu)化器的選擇、損失函數(shù)的定義、數(shù)據(jù)空間的維度信息等。

One-Shot Learning旨在通過少數(shù)例子學(xué)習對象的概念?；谠獙W(xué)習的方法與生成數(shù)據(jù)模型結(jié)合，同時優(yōu)化兩個模型，從而提升小樣本情況下的準確性。Low-Shot Learning 由一個學(xué)習器，兩個 Learning Phase （Representation Learning Phase + Low-Shot Learning Phase）和一個 Testing Pase 構(gòu)成。其中，學(xué)習器就是特征提取與分類的結(jié)合。

LearningPhase 的第一階段是標準的訓(xùn)練過程，固定學(xué)習器的特征提取參數(shù)；去除最后的分類層，固定特征提取參數(shù)，使用少量的新類別（Noval Class）更新新類別的分類器參數(shù)；交替進行第二、三階段。看起來似乎與遷移學(xué)習很像，但這里的關(guān)鍵是如何讓第二階段的表示層學(xué)習地更普適。其最大的改變是損失函數(shù)的設(shè)計，也就是讓基于第二階段的 RepresentationLearning 學(xué)到的權(quán)重使全局損失最小。那么，在原損失基礎(chǔ)上加入梯度；梯度越小，說明 W（權(quán)重）的改變越小而得到的 W 也就越接近“普適”。從實際效果而言，第三種方法效果目前還不如前兩種，但可以看到，第三種方法更接近人類的學(xué)習方式。

▌模型設(shè)計和調(diào)參的難度

今天，除了數(shù)據(jù)標注的難度，在實際落地的項目中，會大量使用遷移學(xué)習方法加速模型與生產(chǎn)系統(tǒng)的對接。但是，很多時候，如果數(shù)據(jù)科學(xué)家經(jīng)驗不豐富或者理論理解不深入的情況下，調(diào)參和調(diào)整模型結(jié)構(gòu)就進入了“玄學(xué)”范疇。實際上，從數(shù)學(xué)的角度而言，有很多新的方法試圖解決這類問題。其中，最具代表性的就是自動機器學(xué)習（AutoML）。業(yè)界目前主流的幾種AutoML方法包括遺傳學(xué)算法、元學(xué)習、強化學(xué)習與基于序列模型的優(yōu)化（SMBO）。通常而言，數(shù)據(jù)特征抽取、模型結(jié)構(gòu)優(yōu)化與超參搜索是一個迭代過程。通過不停地調(diào)整從而在準確性和穩(wěn)定性上達到生產(chǎn)環(huán)境的要求，通常這個過程占整個開發(fā)過程75%以上的時間。

作為一個新興領(lǐng)域，AutoML旨在減少或消除所需的手動操作機器學(xué)習的專業(yè)知識?；趫D架構(gòu)靈活地表示組合ML和DL模型的方法，提供了在極大搜索空間構(gòu)建出基于樹和基于堆疊的體系結(jié)構(gòu)的模型的可能。加上遺傳學(xué)算法的趨好性和多樣性特點，AutoML能夠獲得在手工設(shè)計中難以獲得的結(jié)構(gòu)。而通常這種結(jié)果所需要的參數(shù)遠小于常規(guī)模型所使用的參數(shù)數(shù)量。相比大模型剪枝后的模型，這種小參數(shù)模型移植到IoT設(shè)備上具有巨大的優(yōu)勢。有些AutoML系統(tǒng)會使用貝葉斯優(yōu)化來搜索模型和超參數(shù)，確實在超參優(yōu)化中有效。但是，在較大的架構(gòu)搜索領(lǐng)域效率是很低的。而真正有效解決自動模型設(shè)計問題，遺傳學(xué)演化算法會被更加頻繁的使用。

相比增強學(xué)習來構(gòu)建計算圖的方法，遺傳學(xué)算法在極大搜索空間中，效率會更高。遺傳學(xué)算法會把父代中穩(wěn)定的結(jié)構(gòu)或者部分網(wǎng)絡(luò)進行編碼，并把這部分固化成一個片段傳遞給子代，讓子代基于已得出的部分穩(wěn)定結(jié)構(gòu)繼續(xù)生成網(wǎng)絡(luò)。當然，遺傳學(xué)算法也不是萬能的，在模型演化過程中，如何預(yù)防整個群體的過早熟（大量子代來自于同一祖先，而導(dǎo)致無法跳出局部最優(yōu)）；如何快速從模型結(jié)構(gòu)評估模型間的相似性而減少Loss變化極小的采樣；如何做有序度分析，從而找到適合遺傳的部分結(jié)構(gòu)這些都是實際工程化過程中要面臨的問題。值得一提的是DARTS（Differentiable Architecture Search）把計算圖邊的選擇變換成了一個連續(xù)空間求導(dǎo)的問題，從而大大加速了固定結(jié)構(gòu)以后，邊選擇問題的求解。

同時我們也會看到，有大量新的專用模型的產(chǎn)生用于解決某一個領(lǐng)域的問題。強化學(xué)習，對抗神經(jīng)網(wǎng)絡(luò)和元學(xué)習，由于它們自身算法的特點會更為普遍的應(yīng)用于不同的領(lǐng)域。 另外一些新的損失函數(shù)的研究，使得越來越多All-in-One或者All-You-Need模型解決一個甚至多個復(fù)雜問題變成可能。在強化學(xué)習方面， 通常分為RL理論，RL算法，RL網(wǎng)絡(luò)架構(gòu)，RL優(yōu)化，RL探索，RL獎勵，分布式RL，分層RL，多Agent，RL元學(xué)習等方向。元學(xué)習和強化學(xué)習的結(jié)合成為非常熱的話題。

大部分強化學(xué)習的環(huán)境假設(shè)都是單一環(huán)境，而這種強假設(shè)就是環(huán)境固定不變，然后學(xué)習出針對這個環(huán)境的策略，但是現(xiàn)實環(huán)境卻不是這樣的，環(huán)境的變化是存在的，而且變化速度有時候會很快，比如量化交易和對抗（對手的策略也在變換）。而RL+MetaLearning的核心就是根據(jù)歷史學(xué)習的經(jīng)驗包括策略和軌跡，來快速創(chuàng)建新的策略。MAML（Model-AgnosticMetaLearning）假設(shè)任務(wù)，策略和軌跡都是隨機變量，上一時間步的策略和軌跡被用于當前時間步構(gòu)建新的策略。使用訓(xùn)練數(shù)據(jù)做梯度下降更新當前網(wǎng)絡(luò)，然后用測試數(shù)據(jù)在更新后的網(wǎng)絡(luò)下計算損失函數(shù)，最后通過損失函數(shù)梯度下降更新前面使用的網(wǎng)絡(luò)。這是一種適用于連續(xù)、簡單、基于梯度的元學(xué)習方法，并且考慮非平穩(wěn)性作為一系列固定任務(wù)和訓(xùn)練代理。在非平穩(wěn)運動和競爭性多智能體的情況下，允許測試各種適應(yīng)戰(zhàn)略的各個方面。

生成對抗網(wǎng)絡(luò)是另一種重要的深度學(xué)習模型。它可以用于圖像優(yōu)化、交互式圖像生成、圖像編輯、文本到圖像或者圖像到文本，對話生成等領(lǐng)域。LS-GAN（Loss-Sensitive GAN）是目前比較穩(wěn)定的一種模型，能夠比較好的解決梯度消失問題。另外Large-ScaleGAN通過兩種簡單生成架構(gòu)變化以及正則化方式的修改使生成器水平得到極大的提高。當然，今天的GAN仍然面臨很多問題，最嚴重的就是生成多樣性的問題。在對話生成的過程中，隨著訓(xùn)練的提升，生成的語言會越來越符合人的語法模式，但是同時，多樣性在減少，大量能夠騙過分辨器的雷同語句會被生成，而無法做到真正在NLP領(lǐng)域里面擴增數(shù)據(jù)內(nèi)容。

在整個模型設(shè)計中，損失函數(shù)和優(yōu)化器的創(chuàng)新恐怕是最難的而意義又是最大的。例如今年的“On the Convergence of Adam and Beyond”通過賦予Adam算法過去梯度的“長期記憶”，來解決在大輸出空間，無法收斂到最優(yōu)解的問題。這種算法層面的優(yōu)化會直接解決大部分使用RMSPROP和ADAM優(yōu)化器的網(wǎng)絡(luò)收斂問題。

▌模型訓(xùn)練的性能

模型訓(xùn)練一直對計算力的需求最旺盛。當數(shù)據(jù)集超過T級或者設(shè)計了一個非常復(fù)雜的神經(jīng)網(wǎng)絡(luò)，GPU的并行化訓(xùn)練甚至集群的并行化訓(xùn)練就是不可或缺的。OpenAI的Dota5v5模型使用了256塊P100GPU和128，000CPUcore進行訓(xùn)練。大規(guī)模分布式并行訓(xùn)練是解決這類問題的必選項。通過分級求導(dǎo)，在求導(dǎo)過程中傳遞不同層的梯度；通過設(shè)置雙向環(huán)路，減少權(quán)重傳遞次數(shù)；優(yōu)化參數(shù)匯聚算法；乃至模型并行化等手段都旨在不停地提高訓(xùn)練效率。這部分的研究工作與傳統(tǒng)的HPC（高性能計算）其實非常相似。大家最后碰到的問題都是這種分布式難以線性疊加，當規(guī)模達到一定程度后，很難再有所提升；而收斂過程在后面的過程中，由于梯度下降本身速度已經(jīng)放緩，大量的并行GPU所提升的效率就會更加不明顯。由于模型并行化過于復(fù)雜，而且并行化方案難以通用，大部分并行化方案都還是訓(xùn)練數(shù)據(jù)并行化。

▌模型可解釋性

模型設(shè)計取得不錯的性能后，解釋模型又會變成一個新的挑戰(zhàn)。今天大多數(shù)復(fù)雜的深度學(xué)習模型都是一個黑盒子。這也是深度學(xué)習在一些方面被人詬病的原因。隨著業(yè)界對這個問題的爭論，越來也多的可視化方法被提供試圖解釋模型。論文《The Building Blocks of Interpretability》將獨立的神經(jīng)元、分類器與可視化結(jié)合，提供一種觀察方法來判斷神經(jīng)元可以被哪些圖像激活、神經(jīng)元判斷這個圖像屬于哪一類，以及神經(jīng)元的最終決策貢獻值。這類方法在Attention模型中也得到比較廣泛的使用。當使用LSTM做輸入文本的特征提取，用CNN做圖像特征提取后，研究人員也可以通過這種可視化的方法來分析，哪些文字讓Attention單元對哪部分圖像的特征圖（FeatureMap）敏感。從定性分析的角度看，這類方法的確可以提供對模型可解釋性的指導(dǎo)，但是從定量分析的角度，特別是對于一些高維的數(shù)據(jù)特征，還有很長的路要走。

機器學(xué)習算法所面臨的挑戰(zhàn)及原因

今天，機器學(xué)習所面臨的挑戰(zhàn)有很多。從數(shù)據(jù)的角度來看，除了有效數(shù)據(jù)的高成本問題，還有數(shù)據(jù)不公平性問題。

通常，大家會覺得，如果算法或者模型用機器固化后，應(yīng)用到實際場景會消除人為偏差，但是今天的數(shù)據(jù)如果在分布上本身就帶有“歧視”，這種偏見是會被一直保持的。例如，如果訓(xùn)練數(shù)據(jù)表明男性比女性更有生產(chǎn)力，那么機器學(xué)到的判決模型很有可能將偏向選擇男性候選人。而這種問題很難有一個明確的標準來衡量并糾錯。從模型的角度來看，今天的大部分模型還是針對一個比較確定的環(huán)境和數(shù)據(jù)來解決問題的，這就導(dǎo)致了大量的實際應(yīng)用不一定很快就能找到合適的模型，而是需要大量的數(shù)據(jù)科學(xué)家來對模型和真實數(shù)據(jù)做調(diào)整。

普惠AI的提出就是在試圖打破這個瓶頸。而這個瓶頸最關(guān)鍵的問題是如何降低設(shè)計和使用模型的門檻。我們可以看到今天大部分AI的公有云服務(wù)，都在試圖使用遷移學(xué)習來解決這部分問題，但是這些AI公有云服務(wù)忽略了一個問題，他們這次不是提供商品讓最終消費者來選擇買什么，而是需要提供一個互動的方式了解消費者要做什么之后提供對應(yīng)的模型設(shè)計服務(wù)來完成這個目標。AutomML是解決這個方法的一條途徑，不過同時有也很長的路要走。至于算法層面的問題，反而不是一個巨大的挑戰(zhàn)。只要有明確的問題被提出，就一定會有新的數(shù)學(xué)方法來解決。只要我們不會進入《銀河帝國》里所描述的科技發(fā)展衰退，算法層面的挑戰(zhàn)永遠不會是絆腳石。

機器學(xué)習算法的未來

未來，新的算法會層出不窮，但是深度學(xué)習不會被替代。不會替代并不意味著深度學(xué)習理論已經(jīng)很完善，成為其他學(xué)科的基石。技術(shù)的發(fā)展有很強的延續(xù)性，少有被完全顛覆性的理論出現(xiàn)。如同今天的膠囊網(wǎng)絡(luò)、元學(xué)習。從表面上看，他們和最初的深度學(xué)習網(wǎng)絡(luò)模型有很大的差距。但是深入來看，實際上，它們是在使用深度學(xué)習的部分技術(shù)來構(gòu)造新架構(gòu)。今天大家不夠滿意的主要原因在于，目前的人工智能所做的仍只能停留在對單一問題的輔助，而不可能有真正的創(chuàng)新甚至成為復(fù)雜問題的輔助。接下來，還會有很多工作會基于不同的視角提出不同的算法。我們依然期待一個大一統(tǒng)的框架。然而目前的情況是視角越單一，做的效果可能會越好。畢竟視角的選擇等價于人類的知識賦予，相當于簡化了神經(jīng)網(wǎng)絡(luò)的學(xué)習難度。