?兩年一屆的ICCV 2019（International Conference on Computer Vision）于10月27日-11月2日在韓國(guó)首爾召開(kāi)！今年的ICCV，商湯科技繼續(xù)在入選論文數(shù)量、質(zhì)量以及諸多競(jìng)賽項(xiàng)目中刷新紀(jì)錄，彰顯中國(guó)原創(chuàng)技術(shù)的領(lǐng)先性及深厚學(xué)術(shù)底蘊(yùn)，引領(lǐng)計(jì)算機(jī)視覺(jué)學(xué)術(shù)發(fā)展。

???????商湯科技及聯(lián)合實(shí)驗(yàn)室共有57篇論文入選ICCV 2019（包含11篇Oral），同時(shí)在Open Images、COCO、LVIS等13項(xiàng)重要競(jìng)賽中奪冠！特別是Open Images，它是目前通用物體檢測(cè)和實(shí)例分割兩個(gè)領(lǐng)域中數(shù)據(jù)量最大、數(shù)據(jù)分布最復(fù)雜、最有挑戰(zhàn)性的競(jìng)賽，比COCO數(shù)據(jù)大一個(gè)量級(jí)，標(biāo)注更不規(guī)則，場(chǎng)景更復(fù)雜。 ?

???????除了成績(jī)，商湯科技在開(kāi)放學(xué)術(shù)交流、生態(tài)發(fā)展方面也為全球?qū)W術(shù)領(lǐng)域做出積極貢獻(xiàn)，由商湯及聯(lián)合實(shí)驗(yàn)室研究團(tuán)隊(duì)去年發(fā)布的開(kāi)源物體檢測(cè)框架MMDetection，在今年各大比賽中被眾多參賽隊(duì)伍廣泛使用，Open Images，COCO，LVIS，Mapillary等比賽中的多支獲獎(jiǎng)隊(duì)伍都使用MMDetection作為基準(zhǔn)代碼庫(kù)，團(tuán)隊(duì)去年提出的HTC、Guided Anchoring等方法成為了今年諸多隊(duì)伍的關(guān)鍵助力。

???????ICCV 2019期間，商湯科技還組織或參與主辦了多場(chǎng)Challenge和Workshop，香港中文大學(xué)-商湯聯(lián)合實(shí)驗(yàn)室的周博磊教授參與組織了上千人的Tutorial——Interpretable Machine Learning for Computer Vision。此外，商湯科技創(chuàng)始人、香港中文大學(xué)教授湯曉鷗受邀擔(dān)任ICCV 2019大會(huì)主席。

???????商湯科技創(chuàng)始人、香港中文大學(xué)教授湯曉鷗

???????受邀擔(dān)任ICCV 2019大會(huì)主席

57篇論文入選ICCV 2019，13個(gè)項(xiàng)目奪冠

???????著名科幻小說(shuō)家阿西莫夫說(shuō)，“創(chuàng)新是科學(xué)房屋的生命力”。擁有深厚學(xué)術(shù)底蘊(yùn)的商湯科技，自成立以來(lái)始終以“堅(jiān)持原創(chuàng)，讓AI引領(lǐng)人類(lèi)進(jìn)步”為使命，在人工智能技術(shù)研究上不斷尋求自我突破和創(chuàng)新。此次，商湯科技及聯(lián)合實(shí)驗(yàn)室共有57篇論文入選ICCV 2019，其中口頭報(bào)告（Oral）論文就有11篇！ICCV論文錄用率非常低，今年Oral錄用比例僅為4.62%。

???????商湯科技被ICCV 2019錄取的論文在多個(gè)領(lǐng)域?qū)崿F(xiàn)突破，包括：面向目標(biāo)檢測(cè)的深度網(wǎng)絡(luò)基礎(chǔ)算子、基于插值卷積的點(diǎn)云處理主干網(wǎng)絡(luò)、面向AR/VR場(chǎng)景的人體感知與生成、面向全場(chǎng)景理解的多模態(tài)分析等。這些突破性的計(jì)算機(jī)視覺(jué)算法有著豐富的應(yīng)用場(chǎng)景，將為推動(dòng)AI行業(yè)發(fā)展做出貢獻(xiàn)。

???????同時(shí)，商湯科技不僅在論文錄取數(shù)上展現(xiàn)出了驚人實(shí)力，在ICCV的諸多競(jìng)賽項(xiàng)目上也屢屢?jiàn)Z冠，一舉斬獲13項(xiàng)世界冠軍。

???????在Google AI主辦的ICCV 2019 Open Images比賽中，來(lái)自香港中文大學(xué)和商湯研究院的聯(lián)合團(tuán)隊(duì)奪得了物體檢測(cè)和實(shí)例分割兩個(gè)主要賽道的冠軍。此次主辦方提供了千萬(wàn)級(jí)別的實(shí)例框，涵蓋了500類(lèi)結(jié)構(gòu)性類(lèi)別，其中包含大量漏標(biāo)、類(lèi)別混淆和長(zhǎng)尾分布等問(wèn)題。競(jìng)賽中，得益于團(tuán)隊(duì)提出的兩個(gè)全新技術(shù)：頭部空間解耦檢測(cè)器（Spatial Decoupling Head）和模型自動(dòng)融合技術(shù)（Auto Ensemble）。前者可以令任意單模型在COCO和Open Images上提升3~4個(gè)點(diǎn)的mAP，后者相對(duì)于樸素模型融合能提升0.9mAP。最終，在提交次數(shù)顯著小于其他高名次隊(duì)伍下獲得了雙項(xiàng)冠軍的好成績(jī)。

???????在ICCV 2019 COCO比賽中，來(lái)自香港中文大學(xué)-商湯科技聯(lián)合實(shí)驗(yàn)室和南洋理工大學(xué)-商湯科技聯(lián)合實(shí)驗(yàn)室的MMDet團(tuán)隊(duì)獲得目標(biāo)檢測(cè)（Object Detection）冠軍（不使用外部數(shù)據(jù)集），這也是商湯連續(xù)兩屆在COCO Detection項(xiàng)目中奪冠。同時(shí)，商湯科技新加坡研究團(tuán)隊(duì)也獲得COCO全景分割（Panoptic）冠軍（不使用外部數(shù)據(jù)集）。

???????COCO比賽中，MMDet團(tuán)隊(duì)提出了兩種新的方法來(lái)提升算法性能。針對(duì)于當(dāng)前目標(biāo)框定位不夠精確的缺陷，MMDet團(tuán)隊(duì)提出了一種解耦的邊緣感知的目標(biāo)框定位算法（Decoupled Boundary-Aware Localization ），該方法專(zhuān)注于物體邊緣的信息而非物體全局的信息，使用一種從粗略估計(jì)到精確定位的定位流程，在主流的物體檢測(cè)方法上取得了顯著的提升。

???????而商湯科技新加坡研究團(tuán)隊(duì)深入探索了全景分割任務(wù)的獨(dú)特性質(zhì)，并提出了多項(xiàng)創(chuàng)新算法。由于全景分割任務(wù)既涵蓋目標(biāo)檢測(cè)又包含語(yǔ)義分割，往屆比賽隊(duì)伍大多分別提升目標(biāo)檢測(cè)算法與語(yǔ)義分割算法。商湯新加坡研究團(tuán)隊(duì)打破慣例，探索了這兩項(xiàng)任務(wù)的互補(bǔ)性，提出了一種簡(jiǎn)單高效的聯(lián)合訓(xùn)練模型Panoptic-HTC。該模型分別借助Panoptic-FPN共享權(quán)重的特點(diǎn)與Hybrid Task Cascade聯(lián)合訓(xùn)練的優(yōu)勢(shì)，在特征層面完成了兩項(xiàng)視覺(jué)任務(wù)的統(tǒng)一，從而同時(shí)在兩項(xiàng)任務(wù)上獲得顯著提升。

???????在Facebook AI Research主辦的第一屆LVIS Challenge 2019大規(guī)模實(shí)例分割比賽中，商湯科技研究院團(tuán)隊(duì)獲得了冠軍，同時(shí)獲得該項(xiàng)目最佳論文獎(jiǎng)。相比于以往的實(shí)例分割數(shù)據(jù)集，LVIS最大的特點(diǎn)在于超過(guò)1000多類(lèi)的類(lèi)別和更加接近于自然存在的數(shù)據(jù)長(zhǎng)尾分布。這些特點(diǎn)對(duì)現(xiàn)有的實(shí)例分割算法提出了非常大的挑戰(zhàn)。商湯研究團(tuán)隊(duì)從原有模型訓(xùn)練的監(jiān)督方式進(jìn)行分析，針對(duì)長(zhǎng)尾問(wèn)題提出了一種新的損失函數(shù)，能夠有效的緩解頻率高的類(lèi)別對(duì)小樣本類(lèi)別的影響，從而大大提升了處于長(zhǎng)尾分布中小樣本的性能。另外還通過(guò)對(duì)額外的檢測(cè)數(shù)據(jù)進(jìn)行有效的利用，減少了因?yàn)長(zhǎng)VIS數(shù)據(jù)集構(gòu)建方式中帶來(lái)的標(biāo)注不完全問(wèn)題，從而進(jìn)一步提升了性能。

???????此外，在Facebook AI Research主辦的ICCV 2019 自監(jiān)督學(xué)習(xí)比賽中，香港中文大學(xué)-商湯科技聯(lián)合實(shí)驗(yàn)室和南洋理工大學(xué)-商湯科技聯(lián)合實(shí)驗(yàn)室團(tuán)隊(duì)一舉獲得了全部四個(gè)賽道冠軍；在MIT主辦的ICCV 2019 Multi-Moments In Time Challenge比賽中，來(lái)自香港中文大學(xué)和商湯研究院的聯(lián)合團(tuán)隊(duì)奪得了多標(biāo)簽視頻分類(lèi)賽道的冠軍；在Insight Face主辦的ICCV 2019 Lightweight Face Recognition Challenge比賽中，來(lái)自香港中文大學(xué)和商湯研究院的聯(lián)合團(tuán)隊(duì)奪得了大模型-視頻人臉識(shí)別的冠軍；在ETH舉辦的ICCV AIM 2019 Video Temporal Super-Resolution Challenge比賽中，商湯科技團(tuán)隊(duì)獲得了冠軍；在視覺(jué)目標(biāo)跟蹤領(lǐng)域國(guó)際權(quán)威比賽VOT2019 Challenge比賽中，商湯科技團(tuán)隊(duì)獲得VOT-RT 2019實(shí)時(shí)目標(biāo)跟蹤挑戰(zhàn)賽冠軍。

OpenMMLab成果豐碩，商湯以原創(chuàng)之心會(huì)四方學(xué)者

???????為了提高學(xué)術(shù)界算法的可復(fù)現(xiàn)能力以及推動(dòng)行業(yè)學(xué)術(shù)交流，從2018年年中開(kāi)始，香港中文大學(xué)-商湯科技聯(lián)合實(shí)驗(yàn)室啟動(dòng)OpenMMLab計(jì)劃，并首先開(kāi)源了重磅物體檢測(cè)代碼庫(kù)MMDetection。相比于其它開(kāi)源檢測(cè)庫(kù)，MMDetection有多項(xiàng)重要優(yōu)點(diǎn)，包括高度模塊化設(shè)計(jì)、多種算法框架支持、顯著提高訓(xùn)練效率和密切同步最新算法支持等。

???????MMDetection和MMAction作為視覺(jué)領(lǐng)域的重要任務(wù)，在商湯及聯(lián)合實(shí)驗(yàn)室的研究人員共同努力下取得了豐碩成果。今年六月，OpenMMLab第二期發(fā)布，多個(gè)重要更新吸引了業(yè)界目光：MMDetection（目標(biāo)檢測(cè)庫(kù)）升級(jí)到1.0，提供了一大批新的算法實(shí)現(xiàn)，同時(shí)MMAction（動(dòng)作識(shí)別和檢測(cè)庫(kù)），MMSkeleton（基于骨骼關(guān)鍵點(diǎn)的動(dòng)作識(shí)別庫(kù)），MMSR（超分辨率算法庫(kù)）全新發(fā)布。

???????今年ICCV 大會(huì)期間，MMDetection被業(yè)界廣泛應(yīng)用，目前在GitHub上已收獲近7000 Stars，有效促進(jìn)目標(biāo)檢測(cè)領(lǐng)域的應(yīng)用和新方法研究發(fā)展。

???????“科學(xué)不是一個(gè)人的事業(yè)”，近代實(shí)驗(yàn)科學(xué)奠基人伽利略在十六世紀(jì)就強(qiáng)調(diào)科學(xué)研究的交流合作的重要性。海納百川，取則行遠(yuǎn)，為推動(dòng)人工智能行業(yè)學(xué)術(shù)交流和發(fā)展，商湯科技在ICCV 2019期間還組織或參與主辦了多個(gè)Challenge及Workshop。

???????香港中文大學(xué)-商湯聯(lián)合實(shí)驗(yàn)室的周博磊教授參與組織了上千人的Tutorial，該Tutorial主要探討可解釋機(jī)器學(xué)習(xí)的原因、典型方法、未來(lái)趨勢(shì)以及由此產(chǎn)生的可解釋機(jī)器學(xué)習(xí)的潛在工業(yè)應(yīng)用。

???????由商湯科技參與舉辦的第一屆深度統(tǒng)計(jì)學(xué)習(xí)研討會(huì)（The First Workshop on Statistical Deep Learning in Computer Vision）和第二屆計(jì)算機(jī)視覺(jué)中的服裝藝術(shù)與設(shè)計(jì)研討會(huì)（Second Workshop on Computer Vision for Fashion, Art and Design），都邀請(qǐng)了來(lái)自MIT、Berkeley、UCLA、Stony Brook、Johns Hopkins University等多位知名教授在會(huì)上做主題報(bào)告和分享。

???????在ICCV展示區(qū)（Booth：A-1），商湯科技諸多創(chuàng)新AI產(chǎn)品也亮相世界舞臺(tái)，包括自動(dòng)駕駛、SenseAR特效引擎Avatar 、SenseMatrix 物體3D重建 、SenseMatrix 人臉3D重建等11個(gè)產(chǎn)品為大會(huì)帶來(lái)豐富的體驗(yàn)和創(chuàng)新靈感。

???????同時(shí)，在10月31日晚，商湯科技還將舉辦SenseTime PartyTime活動(dòng)，邀請(qǐng)了來(lái)自CV界頂尖學(xué)者和科學(xué)家，與參會(huì)同學(xué)代表面對(duì)面交流、共話AI學(xué)術(shù)新動(dòng)向，培養(yǎng)AI發(fā)展的未來(lái)生力軍。商湯愿以原創(chuàng)之心，會(huì)四方學(xué)者。

商湯及聯(lián)合實(shí)驗(yàn)室ICCV 2019論文精選

???????下面，列舉幾篇商湯及商湯聯(lián)合實(shí)驗(yàn)室入選ICCV 2019的代表性論文，從四大方向闡釋計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)技術(shù)最新突破。

???????面向目標(biāo)檢測(cè)的深度網(wǎng)絡(luò)基礎(chǔ)算子

???????代表性論文：《CARAFE: 基于內(nèi)容感知的特征重組》

???????特征上采樣是深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的一種基本的操作，例如：特征金字塔。它的設(shè)計(jì)對(duì)于需要進(jìn)行密集預(yù)測(cè)的任務(wù)，例如物體檢測(cè)、語(yǔ)義分割、實(shí)例分割，有著關(guān)鍵的影響。本工作中，我們提出了基于內(nèi)容感知的特征重組（CARAFE），它是一種通用的，輕量的，效果顯著的特征上采樣操作。

???????CARAFE有這樣一些引人注目的特性：1.大視野。不同于之前的上采樣方法（如：雙線性插值），僅使用亞像素的臨近位置。CARAFE可以聚合來(lái)自大感受野的環(huán)境特征信息。2.基于特征感知的處理。不同于之前方法對(duì)于所有樣本使用固定的核（如：反卷積），CARAFE可以對(duì)不同的位置進(jìn)行內(nèi)容感知，用生成的動(dòng)態(tài)的核進(jìn)行處理。3.輕量和快速計(jì)算。CARAFE僅帶來(lái)很小的額外開(kāi)銷(xiāo)，可以容易地集成到現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)中。我們對(duì)CARAFE在目標(biāo)檢測(cè)，實(shí)例分割，語(yǔ)義分割和圖像修復(fù)的主流方法上進(jìn)行廣泛的測(cè)試，CARAFE在全部4種任務(wù)上都取得了一致的明顯提升。CARAFE具有成為未來(lái)深度學(xué)習(xí)研究中一個(gè)有效的基礎(chǔ)模塊的潛力。

???????面向三維視覺(jué)的點(diǎn)云處理基礎(chǔ)網(wǎng)絡(luò)

???????代表性論文：《基于插值卷積的點(diǎn)云處理主干網(wǎng)絡(luò)》

???????點(diǎn)云是一種重要的三維數(shù)據(jù)類(lèi)型，被廣泛地運(yùn)用于自動(dòng)駕駛等場(chǎng)景中。傳統(tǒng)方法依賴(lài)光柵化或者多視角投影，將點(diǎn)云轉(zhuǎn)化成圖像、體素其他數(shù)據(jù)類(lèi)型進(jìn)行處理。近年來(lái)池化和圖神經(jīng)元網(wǎng)絡(luò)在點(diǎn)云處理中展現(xiàn)出良好的性能，但仍然受限于計(jì)算效率，并且算法易受物體尺度、點(diǎn)云密度等因素影響。

???????本文提出了一種全新的卷積方式，即插值卷積，能夠從點(diǎn)云中高效地學(xué)習(xí)特征。插值卷積從標(biāo)準(zhǔn)圖像卷積和圖像插值中獲取靈感，卷積核被劃分成一組空間中離散的向量，每個(gè)向量擁有各自的三維坐標(biāo)，當(dāng)點(diǎn)云中的某點(diǎn)落在卷積向量的鄰域時(shí)，參考圖像插值的過(guò)程，我們將該點(diǎn)對(duì)應(yīng)的特征向量插值到卷積向量對(duì)應(yīng)的位置上，然后進(jìn)行標(biāo)準(zhǔn)的卷積運(yùn)算，最后通過(guò)正則化消除點(diǎn)云局部分布不均的影響。

???????面向不同的任務(wù)，我們提出了基于插值卷積的點(diǎn)云分類(lèi)和分割網(wǎng)絡(luò)。分類(lèi)網(wǎng)絡(luò)采用多路徑設(shè)計(jì)，每一條路徑的插值卷積核具有不同的大小，從而網(wǎng)絡(luò)能夠同時(shí)捕獲全局和細(xì)節(jié)特征。分割網(wǎng)絡(luò)參考圖像語(yǔ)義分割的網(wǎng)絡(luò)設(shè)計(jì)，利用插值卷積做降采樣。在三維物體識(shí)別，分割以及室內(nèi)場(chǎng)景分割的數(shù)據(jù)集上，我們均取得了領(lǐng)先于其他方法的性能。

???????面向AR/VR場(chǎng)景的人體感知與生成

???????代表性論文：《深入研究用于無(wú)限制圖片3D人體重建中的混合標(biāo)注》

???????雖然計(jì)算機(jī)視覺(jué)研究者在單目3D人體重建方面已經(jīng)取得長(zhǎng)足進(jìn)步，但對(duì)無(wú)限制圖片進(jìn)行3D人體重建依然是一個(gè)挑戰(zhàn)。主要原因是在無(wú)限制圖片上很難取得高質(zhì)量的3D標(biāo)注。為解決這個(gè)問(wèn)題，之前的方法往往采用一種混合訓(xùn)練的策略來(lái)利用多種不同的標(biāo)注，其中既包括3D標(biāo)注，也包括2D標(biāo)注。雖然這些方法取得了不錯(cuò)的效果，但是他們并沒(méi)有研究不同標(biāo)注對(duì)于這個(gè)任務(wù)的有效程度。

???????本篇論文的目標(biāo)就是詳細(xì)地研究不同種類(lèi)標(biāo)注的投入產(chǎn)出比。特別的，我們把目標(biāo)定為重建給定無(wú)限制圖片的3D人體。通過(guò)大量的實(shí)驗(yàn)，我們得到以下結(jié)論：1.3D標(biāo)注非常有效，同時(shí)傳統(tǒng)的2D標(biāo)注，包括人體關(guān)鍵點(diǎn)和人體分割并不是非常有效。2.密集響應(yīng)是非常有效的。當(dāng)沒(méi)有成對(duì)的3D標(biāo)注時(shí)，利用了密集響應(yīng)的模型可以達(dá)到使用3D標(biāo)注訓(xùn)練的模型92%的效果。

???????代表性論文：《基于卷積網(wǎng)絡(luò)的人體骨骼序列生成》

???????現(xiàn)有的計(jì)算機(jī)視覺(jué)技術(shù)以及圖形學(xué)技術(shù)已經(jīng)可以生成或者渲染出栩栩如生的影像片段。在這些方法中，人體骨骼序列的驅(qū)動(dòng)是不可缺少的。高質(zhì)量的骨骼序列要么使用動(dòng)作捕捉設(shè)備從人身上獲取，要么由動(dòng)作設(shè)計(jì)師手工制作。而讓計(jì)算機(jī)代為完成這些動(dòng)作，高效地生成豐富、生動(dòng)、穩(wěn)定、長(zhǎng)時(shí)間的骨骼序列，就是這一工作的目標(biāo)。

???????本文使用高斯過(guò)程產(chǎn)生隨機(jī)序列，使用對(duì)抗網(wǎng)絡(luò)和時(shí)空?qǐng)D卷積網(wǎng)絡(luò)來(lái)學(xué)習(xí)隨機(jī)序列和動(dòng)作序列之間的映射關(guān)系。該方法既可以產(chǎn)生動(dòng)作序列，也可將動(dòng)作序列映射到隨機(jī)序列所在的空間，并利用高斯過(guò)程進(jìn)行編輯、合成、補(bǔ)全。

???????本方法在由真人動(dòng)作捕捉得到的NTU-RGB+D數(shù)據(jù)集上，以及我們收集的虛擬歌手“初音未來(lái)”的大量舞蹈設(shè)計(jì)動(dòng)作上，完成了詳細(xì)的對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)表明，相對(duì)于傳統(tǒng)的自回歸模型（Autoregressive Model），本文使用的圖卷積網(wǎng)絡(luò)可以大大提高生成的質(zhì)量和多樣性。

???????面向全場(chǎng)景理解的多模態(tài)分析

???????代表性論文：《基于圖匹配的電影視頻跨模態(tài)檢索框架》

???????電影視頻檢索在日常生活中擁有極大需求。例如，人們?cè)跒g覽某部電影的文字簡(jiǎn)介時(shí)，時(shí)常會(huì)被其中的精彩部分吸引而想要看相應(yīng)的片段。但是，通過(guò)文字描述檢索電影片段目前還存在許多挑戰(zhàn)。相比于日常生活中普通人拍攝的短視頻，電影有著極大的不同：1.電影是以小時(shí)為單位的長(zhǎng)視頻，時(shí)序結(jié)構(gòu)很復(fù)雜。2.電影中角色的互動(dòng)是構(gòu)成故事情節(jié)的關(guān)鍵元素。因此，我們利用了電影的這兩種內(nèi)在結(jié)構(gòu)設(shè)計(jì)了新的算法來(lái)匹配文本段落與電影片段，進(jìn)而達(dá)到根據(jù)文本檢索電影片段的目標(biāo)。

???????首先，我們提出事件流模塊以建模電影的時(shí)序特性。該模塊基于二分圖匹配，將文本中的每一句話按照事件與電影片段的對(duì)應(yīng)子片段匹配。其次，我們提出人物互動(dòng)模塊，該模塊通過(guò)圖匹配算法計(jì)算文本中解析得到的人物互動(dòng)圖和視頻中提取的人物互動(dòng)圖的相似度。綜合兩個(gè)模塊的結(jié)果，我們能得到與傳統(tǒng)方法相比更精準(zhǔn)的匹配結(jié)果，從而提高檢索的正確率。

???????代表性論文：《融合視覺(jué)信息的音頻修復(fù)》?

???????多模態(tài)融合是交互智能發(fā)展的重要途徑。在多媒體信息中，一段音頻信號(hào)可能被噪聲污染或在通信中丟失，從而需要進(jìn)行修復(fù)。本文我們提出依據(jù)視頻信息對(duì)缺失音頻信息進(jìn)行修復(fù)的一種融合視覺(jué)信息的音頻修復(fù)方案。

???????此方案核心思想在于：1.將音頻信號(hào)在頻譜上進(jìn)行操作，并將頻譜作為二維圖像信號(hào)進(jìn)行處理，可以極大地利用計(jì)算機(jī)視覺(jué)領(lǐng)域的優(yōu)勢(shì)，超越傳統(tǒng)的音頻解決方案。2.為了融合視覺(jué)信息，基于音視頻同步學(xué)習(xí)得到的聯(lián)合子空間會(huì)發(fā)揮巨大的優(yōu)勢(shì)。

???????針對(duì)此問(wèn)題的研究，我們將已有的多模態(tài)樂(lè)器演奏數(shù)據(jù)集MUSIC擴(kuò)大成為一個(gè)新的更全面的數(shù)據(jù)集，MUSICES。實(shí)驗(yàn)證明我們提出的視覺(jué)融合的音頻修復(fù)系統(tǒng)可以在沒(méi)有視頻信息注入的情況下取得可觀的效果，并在加入視頻信息后，生成與視頻和諧的音頻片段。