如果我們回看整個智能汽車系統(tǒng)架構(gòu)的演進過程，汽車的電子電氣架構(gòu)經(jīng)歷了“直聯(lián)”，“總線”，“域控”三個階段，從離散走向集中，構(gòu)筑了硬件架構(gòu)變化的“三部曲”。

有意思的是，軟件架構(gòu)的發(fā)展過程，也存在著類似的變化。

當下數(shù)據(jù)驅(qū)動的“自學習型”智能駕駛系統(tǒng)得到了行業(yè)越來越多的認可，整個學習系統(tǒng)的構(gòu)建也經(jīng)歷了三個階段。從傳統(tǒng)學習系統(tǒng)，到當下行業(yè)主流的分布式深度學習系統(tǒng)，再到以特斯拉為代表的集中式深度學習系統(tǒng)，構(gòu)建了軟件架構(gòu)變化的“三部曲”。

傳統(tǒng)學習系統(tǒng)

首先就是傳統(tǒng)學習系統(tǒng)，主要由傳統(tǒng)機器學習和規(guī)則算法構(gòu)成，一個典型的例子就是DPM算法。其通過采用改進的HOG特征（人工設計特征），SVM分類器和滑動窗口（Sliding Windows）檢測，配合多組件（Component）外加圖結(jié)構(gòu)（Pictorial Structure）的檢測框架（類似下圖的多彈簧結(jié)構(gòu)）來完成檢測。此類方法使用了一部分規(guī)則算法，同時使用了一部分淺層的機器學習算法。

對于這一類系統(tǒng)，與其說這是數(shù)據(jù)學習系統(tǒng)，更不如說是工程師學習系統(tǒng)。實際上，在規(guī)則主導的算法系統(tǒng)里，真正獲得成長的是工程師而不是系統(tǒng)。如果把學習比作考場答題，那傳統(tǒng)機器學習和規(guī)則算法階段更像是直接把答案連同考題一起打印出來，打印機并沒有在這個過程中學習到任何東西。因此規(guī)則算法為主的系統(tǒng)，很難界定它為真正意義上的學習系統(tǒng)。

分布式深度學習系統(tǒng)

分布式深度學習系統(tǒng)主要由多個獨立的深度學習網(wǎng)絡構(gòu)成。深度學習原理的資料網(wǎng)絡上較多，這里簡單介紹，不做擴展。 深度學習屬于機器學習的一種，但不同于傳統(tǒng)機器學習算法，其可以滿足更為復雜的學習任務。一個標準的有監(jiān)督深度學習訓練，主要由如下幾部分組成：原始數(shù)據(jù)樣本與對應的真值，網(wǎng)絡模型結(jié)構(gòu)（先驗）以及對應的損失函數(shù)（目標）。深度學習常用的訓練方法是梯度下降和反向傳播，其訓練過程涉及epoch/iteration/batch等關(guān)鍵參數(shù)的選取，初值以及最優(yōu)化器的選擇。 另外，訓練完成后的評估階段，往往通過交叉驗證等方法，發(fā)現(xiàn)欠擬合或過擬合等訓練問題，跟蹤模型的泛化性能力。通過方差與偏差或者第一二類錯誤等指標，評價模型的業(yè)務匹配度，并根據(jù)需求找到不同指標間的平衡，依照評估結(jié)構(gòu)重新調(diào)整模型結(jié)構(gòu)與訓練過程。 深度學習雖被叫做“煉丹”，但各種要素之間也有其基本關(guān)系。整個學習過程中，數(shù)據(jù)的質(zhì)量和數(shù)量大體決定了模型的性能，模型結(jié)構(gòu)則決定了模型效果的上限，而訓練過程決定了逼近上限的速度與程度。 面對復雜的訓練過程，還需要配置更多的外圍系統(tǒng)，比如數(shù)據(jù)預處理系統(tǒng)（負責數(shù)據(jù)的生產(chǎn)，清洗和增強），訓練評估管理系統(tǒng)（負責模型迭代基線的管理，超參調(diào)整管理，復雜模型評估等），數(shù)據(jù)部署系統(tǒng)（將模型從云端適配到業(yè)務終端）。

目前典型的深度學習（有監(jiān)督學習系統(tǒng)）可以說是一個真正意義上的可學習系統(tǒng)，其具有完整的數(shù)據(jù)收集、真值獲取、網(wǎng)絡訓練和模型部署的過程環(huán)節(jié)。也是目前智能駕駛正在采用的主流方案。 但這種方案也在面臨困境，和分布式EEA架構(gòu)一樣，問題就出現(xiàn)在“分布”兩字。雖然各家的模型設計細節(jié)或者具體數(shù)據(jù)管道細節(jié)各不相同，但基本上都是多個有監(jiān)督訓練網(wǎng)絡的獨立部署。 車道一個網(wǎng)絡、障礙物一個網(wǎng)絡、信號燈一個網(wǎng)絡。每個網(wǎng)絡都需要大量人工標注，且不同的標注數(shù)據(jù)都只能服務一個功能，不同數(shù)據(jù)之間缺少相互的貢獻。 還是以考場答題為例，雖然這次確實是一個學生正兒八經(jīng)地根據(jù)自己所學完成了這一次測試，可是其解答考題的方式更多是對相似的題庫，甚至考卷答案進行強制記憶，是一種典型的“鸚鵡學舌”。一個有意思的現(xiàn)象是，任何智能體包括人類在內(nèi)都深知“偷懶”的重要性。如果通過背誦答案和學習真正的知識點都能夠使自己通過考試（收益相等），智能體更愿意選擇前者，也就是說在分布的學習系統(tǒng)當中，由于網(wǎng)絡只解決單一的任務，其便沒有動力去學習多個任務背后的共性特點。從而很大程度上致使其遺漏了部分“重要的知識”，我們在后續(xù)內(nèi)容中會具體展開這個過程。 為了解決分布式深度學習系統(tǒng)的困境，集中式深度學習系統(tǒng)開始出現(xiàn)。

集中式深度學習系統(tǒng)

集中式深度學習的構(gòu)成仍然是深度學習網(wǎng)絡，然而不同于分布式最大的特點主要表現(xiàn)在兩個方面，1. 云端訓練以及車端部署往往采用單一網(wǎng)絡架構(gòu)。2.訓練手段逐步開始采用弱監(jiān)督或者自監(jiān)督方法。

在工程實踐中我們會發(fā)現(xiàn)，人工智能不可能在脫離人類支持和控制的情況下，完成自我成長。但純粹依靠人類的標注，也無法達到人工智能持續(xù)成長所需的數(shù)據(jù)體量。因此，在很長一個周期內(nèi)，智能駕駛的發(fā)展必然會圍繞弱監(jiān)督系統(tǒng)展開。 也就是說，有監(jiān)督學習、弱監(jiān)督學習以及自（無）監(jiān)督學習會長期并存。有監(jiān)督學習是智力的“酵母”，而弱監(jiān)督與自監(jiān)督學習則是一個持續(xù)發(fā)酵的過程。 相比有監(jiān)督學習的填鴨式啟蒙教學，弱監(jiān)督學習更像是業(yè)務專家對學習系統(tǒng)的“點撥”，而自監(jiān)督則更多是師傅領進門后的個人修行。人類工程師逐級往后提供更少、更高維度且更為抽象的輸入來指導學習系統(tǒng)的成長。深入分析上述兩類學習系統(tǒng)的實踐經(jīng)驗，我們會發(fā)現(xiàn)幾個關(guān)鍵痛點: 第一，規(guī)則系統(tǒng)可以解釋但無法學習，而深度學習系統(tǒng)可以學習，但不可解釋，相當于是“黑盒”。因此我們需要具有一定解釋能力的可學習系統(tǒng)，也就是“白盒”。 第二，我們希望盡可能地避免業(yè)務新增和轉(zhuǎn)變之后從零開始的數(shù)據(jù)標注問題，使數(shù)據(jù)可實現(xiàn)持續(xù)積累。 第三，盡可能地減少每個業(yè)務對標注工作的強需求，可以充分利用已有的知識積累，并減小人員負荷。 為了應對以上這些痛點，基于多任務弱監(jiān)督的深度學習系統(tǒng)初見端倪，特斯拉在其“Data Pipeline and Deep Learning System for Autonomous Driving”的專利基本描述[0011]條上，做了如下解釋：其將感知提取作業(yè)作為單獨的數(shù)據(jù)組件（components），使用多層來實現(xiàn)網(wǎng)絡結(jié)構(gòu)；將傳感器數(shù)據(jù)提取為兩個或更多個不同的數(shù)據(jù)分量。 例如，不同局部特征數(shù)據(jù)可以與全局數(shù)據(jù)分解為不同的數(shù)據(jù)成分；不同的數(shù)據(jù)組件提取數(shù)據(jù)以確保在機器學習網(wǎng)絡的適當階段與位置進行準確的特征檢測。對不同的數(shù)據(jù)分量可以進行預處理以增強它們所包含的特定信號信息。數(shù)據(jù)分量可以被壓縮/或下采樣以增加資源和計算效率。

從這份專利描述和相關(guān)聯(lián)的信息中，我們可以隱約看出特斯拉正在采用的學習系統(tǒng)，極大概率就是使用了自監(jiān)督的框架的集中式深度學習系統(tǒng)。

自監(jiān)督下的集中式深度學習系統(tǒng)詳解

下圖對整個自監(jiān)督學習系統(tǒng)的構(gòu)成做一個介紹。我們會發(fā)現(xiàn)其和經(jīng)典的深度學習系統(tǒng)還是有著巨大的區(qū)別。 在各類文章中大家一定聽到過好多深度學習名詞，比如有監(jiān)督、標注輔助、對比學習、遷移學習、增強學習、半監(jiān)督學習等等。實際上結(jié)合智駕業(yè)務模型，我們能看到這些時下流行的名詞是如何被有機整合在一起，并解決傳統(tǒng)學習系統(tǒng)痛點的。毫不夸張的講，自監(jiān)督學習系統(tǒng)，在未來必然是整個智能駕駛閉環(huán)系統(tǒng)最為核心的部件。

自監(jiān)督學習給工具鏈帶來的變化

與傳統(tǒng)深度學習系統(tǒng)類似，整個學習系統(tǒng)分為數(shù)據(jù)采集、數(shù)據(jù)處理、訓練、核心云端網(wǎng)絡設計、模型部署和最終集成等幾個基本環(huán)節(jié)。

1）數(shù)據(jù)采集

首先是車端采集策略的變化。 過去由于更多依賴人工標注，因此采集需要被標注的輸入（一般為圖片）就基本滿足數(shù)據(jù)搜集的要求，剩下的交給標注人員即可產(chǎn)生訓練所需的真值。但在自監(jiān)督學習系統(tǒng)下，如果我們需要更好地發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)，就需要同時采集圖像外圍的關(guān)聯(lián)數(shù)據(jù)，比如，在時間維上將圖像記錄變?yōu)橐曨l記錄，在感知維上增加了額外的其他傳感器以及過程語義信息的記錄，部分間接真值數(shù)據(jù)（緊急剎車，檢測失效，用戶退出）也會被保存。 同時借由車端差異收集系統(tǒng)，對價值數(shù)據(jù)做初步過濾。特斯拉目前已經(jīng)采取了類似的策略，其使用車上8個攝像頭的視頻流數(shù)據(jù)進行標識，想比上一代系統(tǒng)效率提升了三個數(shù)量級。 視頻以及其他時間序列的記錄可以支持模型通過過去的序列預測未來的序列，多傳感器的接入可以增加更多效驗渠道，并提供跟多泛化回路。語義模型可以反映場景狀態(tài)更好地和司機行為關(guān)聯(lián)，發(fā)現(xiàn)潛在的標簽，從而將龐大體量的司機數(shù)據(jù)轉(zhuǎn)化為價值。采集策略的變化重點是增加潛在的關(guān)聯(lián)信息量，從而為后續(xù)自監(jiān)督系統(tǒng)可以正常工作提供基礎。

2）數(shù)據(jù)標注

數(shù)據(jù)上傳后對學習系統(tǒng)而言，最關(guān)鍵的就是真值數(shù)據(jù)的標注。 伴隨著深度學習網(wǎng)絡的延伸，原來由規(guī)則算法處理的視覺測距、融合、地圖、預測甚至規(guī)劃都開始使用深度學習方法。因此真值的定義也逐步擴大。 深度學習測距的成熟以及規(guī)則算法對俯仰角抖動問題的無奈，促使行業(yè)開始從2.5D標注轉(zhuǎn)向4D的標注，實際上是用三維空間加時間維的標注方法代替?zhèn)鹘y(tǒng)圖像2D標注+深度或者類型標注，甚至出現(xiàn)了5D、6D等更多維度的標注需求。當然，3D的障礙物標注以至于更高維的標注已經(jīng)逐漸超出了人類可接受的范疇。 因此配合業(yè)務需求的升級以及數(shù)據(jù)采集標準的升級，真值標注系統(tǒng)的概念也已經(jīng)發(fā)生變化。過去的標注是一個勞動密集型行業(yè)，有標注工具以及標注人員就可以開通。而當下的標注已經(jīng)逐步變成一個綜合性極高的業(yè)務，成為技術(shù)密集型行業(yè)。 半自動標注或者全自動化標注系統(tǒng)的設計范式已知的就有三十多種，從原來的圖像真值標注演化為一個更為廣義的概念，也就是如何為智能駕駛各個模塊的優(yōu)化迭代提供直接或者間接的學習素材。包括主動學習、半監(jiān)督學習、編程標注、眾包、仿真迭代等。 無論采用何種手段，這個模塊的功能定位是明確的，就是為被訓練模塊提供一種抽象意義上可能帶有噪聲的“真值標簽”。 只不過過去只有人工標注，而當下可用的手段和存在形式就豐富了許多，對抗網(wǎng)絡、無標注數(shù)據(jù)、數(shù)據(jù)增強、輔助標注，甚至另一個網(wǎng)絡模型都可以成為一個生成“真值”的系統(tǒng)。

3）模型訓練

緊接著我們要討論的是云端訓練模型設計，其實施邏輯與經(jīng)典方法有著諸多不同。 過去不同的業(yè)務（障礙物檢測、車道檢測）都會采用獨立的模型，在控制訓練穩(wěn)定性上要優(yōu)于有多個任務目標的多頭多任務模型，但這種簡單訓練方法有著較為致命的問題——和整車，電子電氣架構(gòu)一樣，網(wǎng)絡學習模型也在走向集中化。因為孤立的網(wǎng)絡模型無法更有效的利用數(shù)據(jù)“能量”且同樣缺少靈活性。 仍然是考場答題的例子，如果通過考試是我們唯一的考量維度，你選擇把試卷隱含的所有知識點都理解透徹后參加考試？還是直接把答案背誦下來參加考試？一個理性人都會選擇后者，因為大腦本質(zhì)上是“懶惰”的，希望使用最小的能量和復雜度完成目標。 而這種懶惰的代價就是每個業(yè)務都要重新組織數(shù)據(jù)，過程笨拙無比。訓練出來的網(wǎng)絡無法解釋自己，且多次業(yè)務迭代后也不會有持續(xù)的積累。這種情況和之前討論的電子電氣架構(gòu)的變革原因是類似的。 新的網(wǎng)絡結(jié)構(gòu)則更傾向于前者，傾向于一個大型的集中網(wǎng)絡，但是會在整個網(wǎng)絡的不同斷面（主干層，分支層，支線層）逐層進行訓練，并同時訓練多個任務(multi-task learning)。這些不同斷面，不同任務的聯(lián)合訓練，實際上是一種對神經(jīng)網(wǎng)絡的“逼迫”。 簡單地理解，就像是一份試卷不僅要你答案準確，還需要用幾種解題思路完成，并對你的各種中間過程做出要求。 這時，哪怕最懶惰的大腦也會發(fā)現(xiàn)，理解知識點變成最為“節(jié)能”的方法。這也促使網(wǎng)絡模型學習到真正的知識，各個層次與分支也擁有了“規(guī)則組件”的可拆解性，增強了網(wǎng)絡模型的可解釋性。不同層次可以根據(jù)需求使用不同的標簽生成器，前一層網(wǎng)絡的訓練結(jié)果甚至可以反過來結(jié)合各種真值生產(chǎn)構(gòu)件，為后一層的網(wǎng)絡模型的真值服務。 我們會發(fā)現(xiàn)在這種集中式結(jié)構(gòu)下，數(shù)據(jù)的積累，模型的可解釋性以及多業(yè)務的轉(zhuǎn)移成本都有了質(zhì)的變化，當然和討論域控制器的優(yōu)劣一樣，這種多個維度都有所改善的設計，都是以提升工程師能力為前提的，這類網(wǎng)絡、數(shù)據(jù)、訓練以及任務管理相比過去都更加難以運維和控制。

4）算法部署

在部署階段，根據(jù)業(yè)務場景的輸入輸出要求，可以對云端大型網(wǎng)絡進行閹割，保留關(guān)聯(lián)的連接結(jié)構(gòu)以及業(yè)務所需的輸出。 同時，可以使用遷移學習的思想，根據(jù)需求將網(wǎng)絡模型的部分參數(shù)結(jié)構(gòu)鎖定，作為模型的“預訓練”成果，在感興趣的實車任務上進行 “微調(diào)”。或者利用蒸餾學習的思想，用云端模型訓練一個車端更緊湊的模型，滿足車端的算力和業(yè)務要求。 相比于過去，在實際業(yè)務場景發(fā)生時，已經(jīng)不是數(shù)據(jù)和模型的推倒重來，而是重新完成一次，真值標簽的生成，多任務的訓練，網(wǎng)絡模型的閹割和最終的部署壓縮。為新業(yè)務增加的投入和成本是可控的，且有可能還會為下一個業(yè)務作出貢獻。這種集中化帶來的優(yōu)勢，和域控制器的邏輯是非常類似的。 如果域控制器提供了完整的肉身，則當下弱監(jiān)督多任務的學習系統(tǒng)則提供了可期的靈魂。到這里整個智能駕駛系統(tǒng)的“類人結(jié)構(gòu)”便初見雛形。

總結(jié)

總的來說，智能駕駛學習系統(tǒng)的演進是“機器人”視角下對“學習”這個概念的理解加深。 傳統(tǒng)學習系統(tǒng)中，“機器人”沒有學到太多內(nèi)容；在分布式學習系統(tǒng)中“機器人”學習到了一些表層的現(xiàn)象，但缺少對共性的理解；在集中式學習系統(tǒng)當中，“機器人”則被迫從多個現(xiàn)象中學習背后的共性知識；而學習系統(tǒng)的設計者則更像是一個老師，希望引導學生去掌握真正有價值的東西。 另外如果我們將整車電子電氣架構(gòu)比作人類的身體，則域控制器的革命，是將零散的身體部件組織成一個完整的身體；而集中式深度學習系統(tǒng)更像是將零散的腦組織，組織成一個完整的大腦。這些都是機器走向“類人結(jié)構(gòu)”的一個必經(jīng)過程。

審核編輯：郭婷