在“百度Create 2018”百度開(kāi)發(fā)者大會(huì)上，百度發(fā)布了升級(jí)版的開(kāi)源深度學(xué)習(xí)框架PaddlePaddle，可謂深度學(xué)習(xí)模型設(shè)計(jì)的利器，讓開(kāi)發(fā)者只需關(guān)注模型的高層結(jié)構(gòu)，而無(wú)需擔(dān)心底層的搭建問(wèn)題。同時(shí)，百度在2017年11月發(fā)布了以此框架為基礎(chǔ)的，定制化訓(xùn)練和服務(wù)平臺(tái)EasyDL，即使零機(jī)器學(xué)習(xí)算法基礎(chǔ)，也能全程通過(guò)可視化操作獲取定制化AI服務(wù)。

百度作為全球人工智能核心技術(shù)和研究的領(lǐng)軍企業(yè)，通過(guò)搭建AI開(kāi)放平臺(tái)（ai.baidu.com)和PaddlePaddle深度學(xué)習(xí)框架將百度大腦中領(lǐng)先的核心能力賦能到更為廣泛的行業(yè)生態(tài)、科研院所和開(kāi)發(fā)者社區(qū)中，提供了全球領(lǐng)先的AI服務(wù)基礎(chǔ)設(shè)施。在以平臺(tái)化開(kāi)放百度大腦中的核心基礎(chǔ)能力的同時(shí)，百度也非常關(guān)注各個(gè)行業(yè)中對(duì)AI模型和服務(wù)的定制化需求。

百度AI開(kāi)放平臺(tái)團(tuán)隊(duì)基于PaddlePaddle打造了EasyDL這一全球領(lǐng)先的定制化模型訓(xùn)練和推理平臺(tái)。目前EasyDL已經(jīng)在圖像分類（Image Classification）， 物體檢測(cè)（Object Detection）等方向支持零算法基礎(chǔ)的定制化模型訓(xùn)練與服務(wù)。除了云端服務(wù)（Cloud Computing），EasyDL還支持定制化模型在設(shè)備端的本地計(jì)算（Edge Computing），是一個(gè)端云一體的平臺(tái)。用戶通過(guò)將平臺(tái)的定制能力與行業(yè)場(chǎng)景結(jié)合，實(shí)現(xiàn)了大量人工智能創(chuàng)新。自2017年上線以來(lái)，EasyDL已累計(jì)創(chuàng)建模型破萬(wàn)，已覆蓋20多個(gè)行業(yè)。

在賦能行業(yè)的平臺(tái)的背后，EasyDL依托于NVIDIA的Tesla GPU深度學(xué)習(xí)平臺(tái)，搭建了用于深度學(xué)習(xí)模型訓(xùn)練（Training)和服務(wù)（Inference)階段的GPU集群。該集群能支持高效的大規(guī)模深度神經(jīng)網(wǎng)絡(luò)模型并發(fā)訓(xùn)練，并大幅縮短模型訓(xùn)練周期，顯著減少定制服務(wù)調(diào)用階段的響應(yīng)時(shí)間，從而為EasyDL提供了堅(jiān)實(shí)的技術(shù)保障。

不同行業(yè)對(duì)人工智能的定制化需求是通用AI能力難以滿足的

行業(yè)AI定制化需求

對(duì)訓(xùn)練和推理算力提出高要求

滿足不同行業(yè)對(duì)AI的定制化需求，其實(shí)存在諸多業(yè)務(wù)和技術(shù)上的挑戰(zhàn)。首先，提出定制化AI需求的行業(yè)用戶雖然是各自行業(yè)的領(lǐng)域?qū)＜业珜?duì)于人工智能及深度學(xué)習(xí)的技術(shù)知之甚少，要求他們直接通過(guò)深度學(xué)習(xí)框架訓(xùn)練得到定制化模型是不切實(shí)際的。其次，這些用戶也往往不具備用于模型訓(xùn)練和服務(wù)部署的大規(guī)模GPU集群，更沒(méi)有資源投入到長(zhǎng)期的服務(wù)升級(jí)和運(yùn)維工作中。更為重要的是，定制化模型的訓(xùn)練和基于推理的服務(wù)都必須足夠的快， 用戶才能及時(shí)得到反饋，調(diào)整訓(xùn)練數(shù)據(jù)和方案，優(yōu)化訓(xùn)練效果;才能在服務(wù)調(diào)用時(shí)滿足嚴(yán)苛的時(shí)效性要求;平臺(tái)才能實(shí)現(xiàn)大規(guī)模并發(fā)訓(xùn)練和并發(fā)服務(wù)請(qǐng)求。

EasyDL技術(shù)框圖，學(xué)習(xí)和服務(wù)環(huán)節(jié)依托大規(guī)模NVIDIA GPU集群

如上圖所示，百度基于其開(kāi)源深度學(xué)習(xí)框架PaddlePaddle實(shí)現(xiàn)EasyDL的核心訓(xùn)練和服務(wù)引擎，在計(jì)算視覺(jué)的圖像分類和物體檢測(cè)等定制化方向上，使用了基于Inception、SSD、ResNet、FasterRCNN等多個(gè)深度神經(jīng)網(wǎng)絡(luò)原型算法優(yōu)化的模型。模型的訓(xùn)練和服務(wù)階段采用了大規(guī)模的NVIDIA Tesla P4 為主的GPU集群，通過(guò)數(shù)據(jù)比對(duì)可以看到，基于GPU集群性能遠(yuǎn)超CPU集群。

大規(guī)模NVIDIA Tesla P4 GPU集群

加速AI訓(xùn)練與推理

目前，百度EasyDL團(tuán)隊(duì)基于單機(jī)4卡Tesla P4 GPU的服務(wù)器搭建了數(shù)十臺(tái)深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練和推理的GPU加速集群，能穩(wěn)定承載每天數(shù)百個(gè)并發(fā)訓(xùn)練任務(wù)，以及數(shù)千個(gè)并發(fā)定制模型推理請(qǐng)求。

Tesla P4加速器的單精度浮點(diǎn)數(shù)（FP32）計(jì)算能力達(dá)到了5.5TFLOPS，集群?jiǎn)喂?jié)點(diǎn)GPU的單精度浮點(diǎn)計(jì)算能力可達(dá)到22TFLOPS。Tesla P4可將任何超大規(guī)?；A(chǔ)架構(gòu)的延遲降低 15 倍，并可以提供比 CPU 高 60 倍的能效，可助力實(shí)現(xiàn)許多過(guò)去由于延遲限制而無(wú)法實(shí)現(xiàn)的應(yīng)用。

在典型業(yè)務(wù)場(chǎng)景下，對(duì)集群?jiǎn)喂?jié)點(diǎn)的承載和時(shí)延性能進(jìn)行壓力測(cè)試，可以看到基于GPU集群的性能顯著優(yōu)于CPU集群。其中，圖像分類上單節(jié)點(diǎn)每秒并發(fā)承載能力（QueryPerSecond) GPU節(jié)點(diǎn)是CPU節(jié)點(diǎn)的6倍多，響應(yīng)時(shí)延則僅為CPU節(jié)點(diǎn)的58%左右；物體檢測(cè)中更為明顯，GPU單節(jié)點(diǎn)并發(fā)承載能力達(dá)到CPU節(jié)點(diǎn)的31倍，響應(yīng)時(shí)延則僅為CPU節(jié)點(diǎn)的25%。由于基于GPU集群的訓(xùn)練和服務(wù)都足夠快，因此，在用戶體驗(yàn)方面，EasyDL的用戶最快5分鐘即可完成定制模型的訓(xùn)練并獲得服務(wù)，對(duì)比同類需求通常需要數(shù)天的訓(xùn)練周期大幅提升了效率。這解決了定制化模型訓(xùn)練和服務(wù)中的核心挑戰(zhàn)。同時(shí)，為EasyDL場(chǎng)景和行業(yè)覆蓋的迅速規(guī)?；蛳铝嗽鷮?shí)的基礎(chǔ)。也確保了EasyDL更輕快、高精度等特性。

真實(shí)業(yè)務(wù)場(chǎng)景數(shù)據(jù)并發(fā)和時(shí)延壓測(cè)比對(duì)

5分鐘完成定制模型訓(xùn)練與推理

零基礎(chǔ)也能快速上手

為降低行業(yè)用戶的使用門檻，實(shí)現(xiàn)零機(jī)器學(xué)習(xí)基礎(chǔ)，零代碼獲得定制化深度學(xué)習(xí)模型及接口服務(wù)，百度EasyDL提供了簡(jiǎn)單且完善的平臺(tái)業(yè)務(wù)系統(tǒng)，用戶只需上傳數(shù)據(jù)、發(fā)起訓(xùn)練、驗(yàn)證效果、發(fā)布模型四個(gè)步驟，就能快速獲得定制化接口服務(wù)。

極簡(jiǎn)業(yè)務(wù)流程使得EasyDL對(duì)普通用戶可即用

為了使得模型訓(xùn)練、部署和推理對(duì)用戶透明，百度EasyDL團(tuán)隊(duì)打造了結(jié)合大數(shù)據(jù)Spark系統(tǒng)和AI分布式訓(xùn)練Kubernetes工具的AI Workflow引擎，實(shí)現(xiàn)了從數(shù)據(jù)處理到推理上線的全自動(dòng)流程。如此一來(lái)，就解決了業(yè)務(wù)人員不懂代碼，程序員不懂業(yè)務(wù)的痛點(diǎn)難點(diǎn)，使得AI技術(shù)能夠迅速被業(yè)務(wù)人員學(xué)習(xí)和掌握，從而專注于精進(jìn)業(yè)務(wù)能力。

全自動(dòng)AI Workflow引擎

圖像識(shí)別準(zhǔn)確率大幅提高

人力成本顯著降低

在NVIDIA Tesla P4加速器的強(qiáng)大算力助力下，百度EasyDL已經(jīng)在多個(gè)行業(yè)落地應(yīng)用。比如在制造業(yè)中，百度EasyDL平臺(tái)也在幫越來(lái)越多的企業(yè)提升效率并節(jié)約人力。比如蝶魚(yú)科技將百度EasyDL接口與工業(yè)攝像頭、工業(yè)光源、激光測(cè)距儀、PLC控制氣缸等設(shè)備組成綜合檢測(cè)系統(tǒng)，在制造和組裝鍵盤流水線上，自動(dòng)識(shí)別鍵盤組裝后的合格性，包括缺件、錯(cuò)裝、正常三類，通過(guò)3000+張圖片的驗(yàn)證（每類1000張），識(shí)別準(zhǔn)確率99%以上，遠(yuǎn)超蝶魚(yú)科技的預(yù)期。同時(shí)，每條生產(chǎn)流水線每年可以節(jié)省12萬(wàn)人工檢測(cè)員人力成本。

鍵盤組裝質(zhì)量檢測(cè)

在GPU 的助力下，包括百度EasyDL平臺(tái)在內(nèi)的諸多行業(yè)客戶，獲得了深度學(xué)習(xí)和推理應(yīng)用的能力和智慧，進(jìn)而定制出豐富、個(gè)性化、不斷動(dòng)態(tài)升級(jí)的AI行業(yè)解決方案，同時(shí)也對(duì)傳統(tǒng)的行業(yè)應(yīng)用提供了創(chuàng)新思路，隨著基于行業(yè)的AI生態(tài)不斷通過(guò)百度EasyDL這樣的平臺(tái)聚合與裂變，以AI為核心特征的新應(yīng)用大爆發(fā)時(shí)代已經(jīng)來(lái)臨。