在 AI 領(lǐng)域，圖像理解是一個(gè)重要分支，而圖像語(yǔ)義分割，是計(jì)算機(jī)視覺(jué)技術(shù)中關(guān)于圖像理解的重要環(huán)節(jié)?！队糜谡Z(yǔ)義分割的雙重超分辨率學(xué)習(xí)》這篇論文針對(duì)的就是計(jì)算機(jī)視覺(jué)中的語(yǔ)義分割算法進(jìn)行的創(chuàng)新研究。此次研究中的工作主要集中在語(yǔ)義分割領(lǐng)域，我們希望通過(guò)提出新的算法思路，促進(jìn)語(yǔ)義分割領(lǐng)域的研究發(fā)展，啟發(fā)語(yǔ)義分割乃至其他領(lǐng)域的后續(xù)研究。

在6月14日-19日舉行的 2020 年 CVPR 年度大會(huì)上，賽靈思人工智能研發(fā)團(tuán)隊(duì)的一篇名為《Dual Super-Resolution Learning for Semantic Segmentation（用于語(yǔ)義分割的雙重超分辨率學(xué)習(xí)）》的學(xué)術(shù)論文成功入選 Oral Paper！此次“語(yǔ)義分割” 研究成果獲得 CVPR 這樣頂會(huì)的支持，再次證明了賽靈思 AI 研發(fā)團(tuán)隊(duì)在全球計(jì)算機(jī)視覺(jué)與人工智能研究領(lǐng)域的前沿地位。

為更好地理解此次論文發(fā)布的背景，并了解賽靈思通過(guò)該論文提供了什么樣前沿的研究和觀點(diǎn)，本期“AI 觀察室項(xiàng)目”特意安排了對(duì)話(huà)第一作者 – 賽靈思資深 AI 算法工程師王莉，同時(shí)該訪(fǎng)問(wèn)也獲得了 AI 研發(fā)高級(jí)總監(jiān)單羿博士的支持。

局限

探尋新算法打破語(yǔ)義分割局限

在 AI 領(lǐng)域，圖像理解是一個(gè)重要分支，而圖像語(yǔ)義分割，是計(jì)算機(jī)視覺(jué)技術(shù)中關(guān)于圖像理解的重要環(huán)節(jié)。《用于語(yǔ)義分割的雙重超分辨率學(xué)習(xí)》這篇論文針對(duì)的就是計(jì)算機(jī)視覺(jué)中的語(yǔ)義分割算法進(jìn)行的創(chuàng)新研究。

王莉表示：我們的團(tuán)隊(duì)在賽靈思主要從事算法相關(guān)工作。日前我們?cè)趯?duì)基于深度學(xué)習(xí)的語(yǔ)義分割算法進(jìn)行分析時(shí)，發(fā)現(xiàn)其中存在一些問(wèn)題。目前 State-of-the-art 的語(yǔ)義分割算法通常依賴(lài)大網(wǎng)絡(luò)來(lái)提取特征圖進(jìn)行語(yǔ)義預(yù)測(cè)，這些高性能的算法往往需要較大的算力，限制了其在資源受限的硬件上的應(yīng)用（比如手機(jī)和 FPGA）。另外，有一些已有工作通過(guò)設(shè)計(jì)輕量級(jí)的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)減少算力，但是這類(lèi)方法在降低計(jì)算量的同時(shí)，精度往往也損失嚴(yán)重。我們研究發(fā)現(xiàn)，對(duì)于基于大網(wǎng)絡(luò)高性能的方法以及基于輕量級(jí)網(wǎng)絡(luò)的方法都需要高分辨率的輸入來(lái)提取同樣高分辨的特征圖來(lái)保障精度。然而，如果使用高分辨率輸入，就不可避免地會(huì)帶來(lái)巨大的算力需求，其結(jié)果就是限制了算法在資源受限的硬件平臺(tái)上的應(yīng)用；另一方面，一旦減少輸入分辨率，語(yǔ)義分割的精度就會(huì)嚴(yán)重受損。

為了有效緩解大網(wǎng)絡(luò)高性能算法和輕量級(jí)網(wǎng)絡(luò)算法的局限性，我們團(tuán)隊(duì)從特征分辨率的角度來(lái)探究其對(duì)不同語(yǔ)義分割算法精度和算力的影響，希望能夠?qū)崿F(xiàn)一個(gè)新的學(xué)習(xí)算法框架，使其既能有效提高分割精度，又不增加額外的推斷計(jì)算成本。

誕生

雙重超分辨率學(xué)習(xí)算法的誕生

算法研究不同于軟硬件研究。軟硬件研究可以借助軟件或硬件本身的優(yōu)勢(shì)，開(kāi)發(fā)針對(duì)于特定操作或模型的優(yōu)化策略，進(jìn)而提升模型的硬件性能（例如減少FPGA 延遲，提高并行度等），而算法研究側(cè)重于在算法層面提出創(chuàng)新方案，例如通過(guò)優(yōu)化訓(xùn)練算法提高模型的精度，優(yōu)化模型算子或設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)減少模型算力。

王莉介紹說(shuō)，在正式進(jìn)行研究之前，團(tuán)隊(duì)的小伙伴們做了大量的文獻(xiàn)調(diào)研和算法分析工作；研究過(guò)程中，不斷進(jìn)行算法思路的頭腦風(fēng)暴，并結(jié)合充分的實(shí)驗(yàn)，我們不斷思考、調(diào)整、驗(yàn)證。最終成型算法不僅涉及語(yǔ)義分割任務(wù)本身的方法和框架，同時(shí)也涉及超分辨率學(xué)習(xí)領(lǐng)域的算法知識(shí)。如何借助超分辨率學(xué)習(xí)的任務(wù)來(lái)提升語(yǔ)義分割性能，如何讓二者有效結(jié)合，相輔相成，成為了王莉及相關(guān)團(tuán)隊(duì)成員面臨的最大挑戰(zhàn)。經(jīng)過(guò)不斷的探索和實(shí)驗(yàn)，王莉最終提出了一個(gè)簡(jiǎn)單且靈活的雙流框架，稱(chēng)為雙重超分辨率學(xué)習(xí)（Dual Super Resolution Learning， DSRL）的算法思路。

具體來(lái)說(shuō)，所提出的方法包括三個(gè)算法模塊：語(yǔ)義分割超分辨率（SSSR），單圖像超分辨率（SISR）和特征相似性（FA）模塊。語(yǔ)義分割超分辨率（SSSR）分支模塊目的在于學(xué)習(xí)超分辨率的特征表示進(jìn)行語(yǔ)義分割預(yù)測(cè)，也就是相對(duì)于輸入分辨率來(lái)說(shuō)，最終學(xué)習(xí)到特征圖具有更高分辨率的特征表示。單圖像超分辨率（SISR）分支模塊用來(lái)提取圖像精細(xì)的結(jié)構(gòu)信息，輔助另一分支的語(yǔ)義分割任務(wù)，SISR模塊另一個(gè)特點(diǎn)是不需要額外的數(shù)據(jù)標(biāo)注。特征相似性（FA）模塊旨在學(xué)習(xí) SSSR 和 SISR 模塊之間的相似性，通過(guò)約束二者對(duì)齊以達(dá)到更好的知識(shí)遷移目的。我們所提出的 DSRL 算法可以保持低分辨率圖像輸入下學(xué)習(xí)得到的高分辨率特征表示，在相同計(jì)算復(fù)雜度下提升模型精度。而且，該算法可以很容易地推廣到其他同樣依賴(lài)高分辨率特征表示的任務(wù)，如人體姿態(tài)估計(jì)（Human Pose Estimation）。我們的實(shí)驗(yàn)體現(xiàn)這種簡(jiǎn)單而有效的算法在語(yǔ)義分割和人體姿勢(shì)估計(jì)方面都有良好的表現(xiàn)，具有良好的代表性和通用性，對(duì)于不同算法框架和不同分辨率情況下都能獲得性能提升。比如，對(duì)于在 CityScapes benchmark 上的語(yǔ)義分割任務(wù)，可以在不增加算力情況下將 mIoU 提高至少 2 個(gè)點(diǎn)，或者只消耗 70% 的算力就能達(dá)到和基線(xiàn)方法相似的精度。對(duì)于人體姿勢(shì)估計(jì)任務(wù)，我們同樣可以在相同 FLOPs 情況下獲得不少于 2 個(gè)點(diǎn)的 mAP 提升，或者在保持 mAP 精度不損失情況下減少 30％ 的 FLOPs。

論文核心思想

介紹這種雙重超分辨率學(xué)習(xí)算法，及其如何提升語(yǔ)義分割和其他相關(guān)任務(wù)的性能。

其帶來(lái)的價(jià)值優(yōu)勢(shì)顯而易見(jiàn)：在不增加推斷算力的情況下，以不同的輸入分辨率為不同的基線(xiàn)方法帶來(lái)可觀的精度提升。

強(qiáng)大

獲選 CVPR 背后的賽靈思 AI 研發(fā)團(tuán)隊(duì)

CVPR 是計(jì)算機(jī)視覺(jué)領(lǐng)域的頂級(jí)學(xué)術(shù)會(huì)議。對(duì)于所有從事計(jì)算機(jī)視覺(jué)領(lǐng)域的工程師來(lái)說(shuō)，能夠入圍 CVPR 無(wú)疑是一項(xiàng)巨大的肯定。

CVPR 論文評(píng)審團(tuán)會(huì)從投稿論文的創(chuàng)新性、實(shí)驗(yàn)效果及論文表述等維度進(jìn)行評(píng)判。我們的研究的主要?jiǎng)?chuàng)新點(diǎn)在于，提出一種雙重超分辨率學(xué)習(xí)算法，學(xué)習(xí)高分辨率的特征表示以提升語(yǔ)義分割的性能，特別對(duì)于低分辨率輸入情況有明顯改善。我們的算法思路簡(jiǎn)單，超分學(xué)習(xí)不需要額外的數(shù)據(jù)標(biāo)注，且具有一定的通用性，對(duì)于人體姿態(tài)估計(jì)任務(wù)同樣有效。也正是由于我們的團(tuán)隊(duì)在圖像視覺(jué)算法及語(yǔ)義分割領(lǐng)域提出了獨(dú)立、創(chuàng)新的觀點(diǎn)，我們才能最終入圍 CVPR。

成功投稿 CVPR 的背后蘊(yùn)藏著團(tuán)隊(duì)的不懈努力和對(duì)研發(fā)方向的合理把握。團(tuán)隊(duì)負(fù)責(zé)人單羿博士為此次獲選 Oral Paper 感到高興。他介紹說(shuō)，賽靈思 AI 團(tuán)隊(duì)基于深鑒科技研發(fā)部門(mén)原班人馬打造，圍繞賽靈思 FPGA 芯片，形成從 AI 算法、軟件工具鏈到硬件 DSA 的完整解決方案。在近兩年的時(shí)間里，深鑒研發(fā)團(tuán)隊(duì)高效地整合到賽靈思研發(fā)體系當(dāng)中，從創(chuàng)業(yè)公司時(shí)為客戶(hù)定制設(shè)計(jì)、轉(zhuǎn)為通用的產(chǎn)品研發(fā)思路，打造了 Vitis AI 工具鏈，覆蓋云端到嵌入式等不同規(guī)格 FPGA 芯片，已經(jīng)服務(wù)于國(guó)內(nèi)外眾多數(shù)據(jù)中心、輔助駕駛、智能安防等領(lǐng)域的重要客戶(hù)。作為一家靈活可編程的 FPGA 芯片公司，我們始終認(rèn)為對(duì)客戶(hù)應(yīng)用的理解、敏捷高效地適配客戶(hù)需求至關(guān)重要，在 AI 領(lǐng)域我們擁有 20 余位算法工程師，他們不僅關(guān)注模型量化及 DSA 的映射，更關(guān)心面對(duì)客戶(hù)產(chǎn)品規(guī)劃如何開(kāi)發(fā)真正高效、硬件友好的算法模型。學(xué)術(shù)文章的發(fā)表并不是我們主要的工作內(nèi)容，我們更在意基于賽靈思 FPGA 的 Vitis AI model zoo，它針對(duì)視覺(jué)、語(yǔ)言等領(lǐng)域的不同任務(wù)發(fā)布了優(yōu)化的深度學(xué)習(xí)模型，以加快賽靈思 FPGA 平臺(tái)上深度學(xué)習(xí)推理的部署。通過(guò)采用量化、剪枝、多任務(wù)學(xué)習(xí)、自動(dòng)網(wǎng)絡(luò)搜索等技術(shù)，我們面向醫(yī)療、安防和駕駛等領(lǐng)域發(fā)布接近實(shí)際應(yīng)用的深度學(xué)習(xí)模型，歡迎大家下載試用。

圖：賽靈思 AI 研發(fā)高級(jí)總監(jiān)單羿博士

這篇論文已經(jīng)正式在CVPR 平臺(tái)發(fā)布，感興趣的朋友可以點(diǎn)擊“閱讀原文”下載論文。另外，歡迎有實(shí)習(xí)意向的同學(xué)，通過(guò) webmarketing_apac@xilinx.com 投遞深度學(xué)習(xí)/機(jī)器學(xué)習(xí)算法實(shí)習(xí)生崗位