人類不僅可以通過眼睛“看清”周圍環(huán)境中的東西，還能“識別并理解”這些東西，對這些東西形成“認(rèn)知和決策”?，F(xiàn)在，研究人員正努力讓AI也做到這一點(diǎn)。北京大學(xué)博雅特聘教授、前沿計(jì)算研究中心執(zhí)行主任陳寶權(quán)的這篇精彩演講，對當(dāng)前國內(nèi)三維視覺智能領(lǐng)域研究概況、技術(shù)應(yīng)用方向和未來前景做了精彩分析。

眾所周知，人工智能是模擬人類智能的技術(shù)，實(shí)現(xiàn)對人類智能的完全再現(xiàn)，是人工智能的終極目標(biāo)。而人類智能是從人類的感官和認(rèn)知開始的。所以，人類的感官往往成為研究人工智能的入手點(diǎn)，比如視覺。

對于人類而言，不僅可以通過眼睛“看清”周圍環(huán)境中的東西，還能“識別并理解”這些東西，對這些東西形成“認(rèn)知和決策”?，F(xiàn)在，越來越多的AI領(lǐng)域的研究人員正努力讓AI同樣做到這一點(diǎn)。從人類的三維視覺出發(fā)，三維視覺智能已成為人工智能研究和應(yīng)用的熱門領(lǐng)域。

在今年3月27日新智元舉辦的“智能云·新世界”AI技術(shù)峰會(huì)上，北京大學(xué)博雅特聘教授、前沿計(jì)算研究中心執(zhí)行主任陳寶權(quán)發(fā)表了題為《三維視覺智能及應(yīng)用》的演講，從研究人員的視角，對當(dāng)前國內(nèi)三維視覺智能領(lǐng)域研究概況、技術(shù)應(yīng)用方向和未來前景做了精彩的分析。

說到視覺智能，大家都不陌生，人工智能的很多技術(shù)是基于人的各種感觀的，其中視覺感觀就是非常重要的一環(huán)。在視覺智能方面的很多技術(shù)已經(jīng)在工業(yè)界得到非常好的應(yīng)用。隨著應(yīng)用的深入，越來越多的視覺智能技術(shù)進(jìn)入“三維視覺智能”階段。也就是說，我們的眼睛不僅要看清某個(gè)東西，認(rèn)識某個(gè)東西，還要走到這個(gè)場景里面去，在三維世界里真實(shí)地感受場景，如同身臨其境。

這就需要具有三維空間感知與認(rèn)知能力的智能，即三維視覺智能。任何一個(gè)新的研究方向的出現(xiàn)都不是憑空而來，而是和許多其他學(xué)科交叉而來的。三維視覺智能的研究就是集合計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺等領(lǐng)域的技術(shù)與傳統(tǒng)的人工智能、學(xué)習(xí)、大數(shù)據(jù)等很好地交叉融合。

三維視覺技術(shù)的發(fā)展得益于視覺傳感器的快速發(fā)展，已經(jīng)在推動(dòng)很多應(yīng)用，比較有代表性的包括無人車、機(jī)器人，以及娛樂、影視等其它領(lǐng)域的應(yīng)用。

首先是三維感知，也就是感知三維空間，獲取和處理三維深度等；然后是位置感知，比如感知相機(jī)的位置等；第三是三維建模，不僅對場景有基本的深度感知，還要獲得關(guān)于場景完整幾何模型的描述。最重要的就是三維理解，對場景和其中的物體從三維空間來進(jìn)行理解。

三維視覺的發(fā)展得益于視覺傳感器的發(fā)展，而傳感器大致可以分為兩類，一類是被動(dòng)傳感器，現(xiàn)在我們用的各種相機(jī)就是被動(dòng)傳感器。另一類就是主動(dòng)傳感器，比如激光掃描，以及各類以主動(dòng)發(fā)射信號為主導(dǎo)進(jìn)行測量的傳感器。大家知道，隨著手機(jī)的快速發(fā)展，未來的手機(jī)會(huì)同時(shí)配備兩類傳感器，也就是深度傳感器和傳統(tǒng)的顏色傳感器。

下面簡要介紹一下我們在這方面的一些探索性工作。2009年，當(dāng)時(shí)大疆無人機(jī)還做定制化產(chǎn)品，我們請大疆做了一臺定制化無人機(jī)，目的用它來做傾斜角航拍，利用無人機(jī)從空中得到航拍影像，經(jīng)過三維重建計(jì)算以后得到三維影像數(shù)據(jù)（注意，還不是完整的三維模型），有了三維描述就可以從任意視角自由地漫游場景?？梢钥吹?，盡管用的只是二維傳感器，依然可以通過視覺計(jì)算得到三維數(shù)據(jù)的描述。

隱式三維感知：動(dòng)態(tài)相機(jī)實(shí)現(xiàn)視頻無縫接合

在我講如何利用主動(dòng)式傳感器直接獲得三維場景幾何模型之前，我想先介紹一下，其實(shí)對于影像的三維感知不一定要以顯式的方式表示出來，可以通過隱式的方法獲得一定程度的三維感知，也能實(shí)現(xiàn)一些類比于直接采用三維信息才能實(shí)現(xiàn)的功能。

這個(gè)好比人的視覺感知，我們雖然對視覺的認(rèn)知是三維的，但也不是一切基于精確的三維測量。這里舉幾個(gè)例子。比如，上面是電影里的一個(gè)片斷，我們可以把其中的人物和表演放到一個(gè)新的場景里去，因?yàn)橄鄼C(jī)是動(dòng)態(tài)的，這里就需要有一個(gè)隱式的相機(jī)三維位置恢復(fù)，才能把一個(gè)動(dòng)態(tài)的前景和一個(gè)動(dòng)態(tài)的視頻背景無縫融合在一起。

上面是一段表演視頻，我們可以提取它的一部分三維骨架信息，驅(qū)動(dòng)一個(gè)不會(huì)跳舞的人來跳舞。左邊的這個(gè)人假設(shè)不會(huì)跳舞，她只是做幾個(gè)動(dòng)作，右邊大圖里面左上角是真正會(huì)跳舞的舞者，我們用她的專業(yè)動(dòng)作來驅(qū)動(dòng)不會(huì)跳舞的人來跳舞。就是通過對“驅(qū)動(dòng)”視頻進(jìn)行三維理解并“遷移”三維動(dòng)作到參考視頻中的人物而并合成新的視頻，于是在右邊大圖里，這位女士也會(huì)跳舞了。

我們不僅可以把一個(gè)人的動(dòng)作遷移到另外一位骨架類似的人身上，也可以把小孩的動(dòng)作遷移到大人身上，甚至可以把動(dòng)物的動(dòng)作遷移到人的身上。這就需要具備一定的三維骨架重定向的能力。

比如，下面的動(dòng)圖中有兩個(gè)人在跳舞，但是每個(gè)人的動(dòng)作方向、臉部朝向、身高都有所不同。像這樣一個(gè)運(yùn)動(dòng)的定向差值，都是通過隱式三維理解和編碼實(shí)現(xiàn)的。

下面講主動(dòng)傳感器的使用，近年來主動(dòng)式傳感的發(fā)展非常非?？臁Ｌ貏e是無人車技術(shù)的發(fā)展要求，進(jìn)一步推動(dòng)了傳感技術(shù)的飛速發(fā)展。早在無人車火爆之前，我們就于2009年開始采用車載移動(dòng)激光掃描器來進(jìn)行城市級別的大場景三維掃描，構(gòu)建城市場景的三維模型。

我們通過車載三維傳感技術(shù)得到了大量點(diǎn)云數(shù)據(jù)，并利用這些數(shù)據(jù)進(jìn)行幾何建模，得到了非常精細(xì)的三維模型。我們對城市場景里各種類別的復(fù)雜物體進(jìn)行建模，例如對樹木等目標(biāo)進(jìn)行三維識別，識別出不同類型的樹，再針對不同樹木的幾何特征，對樹木進(jìn)行高精細(xì)化的三維建模。

中央電視臺曾經(jīng)對我們做過一期專門報(bào)道——《把城市搬到電腦里》。當(dāng)時(shí)我們對深圳一個(gè)片區(qū)進(jìn)行了完整的三維建模。這之后我們接到了很多電話，問我們：用你們的車開過一遍是不是就能獲得我們城市的三維模型？實(shí)際上我們做不到，原因不是因?yàn)閿?shù)據(jù)處理的問題，而在于前端的數(shù)據(jù)獲取。

我們的城市綠化做得太好了，車開過去只能掃描到樹，掃描不到建筑。如果要真正解決這個(gè)問題，就要把解決方案移到前端，想辦法能夠完整地獲取數(shù)據(jù)。

因此，我們開始提出利用機(jī)器人獲取數(shù)據(jù)，來進(jìn)一步解決這個(gè)問題。機(jī)器人在現(xiàn)場采集數(shù)據(jù)的同時(shí)進(jìn)行數(shù)據(jù)分析，看看數(shù)據(jù)是不是有缺失，如果有缺失就要走到相應(yīng)地點(diǎn)去獲取所需信息，從而形成一個(gè)數(shù)據(jù)獲取與處理的閉環(huán)。

讓機(jī)器人不僅看得見，還要看得懂

首先從單個(gè)物體的實(shí)驗(yàn)開始，機(jī)器人手持Kinect（一種利用結(jié)構(gòu)光獲取三維模型信息的主動(dòng)式傳感器）掃描一個(gè)物體，例如一個(gè)3D打印的玩具，能獲取目標(biāo)物體全方位的三維數(shù)據(jù)。機(jī)器人自己規(guī)劃掃描路徑，直到最后獲得一個(gè)完整的三維模型。

接著實(shí)驗(yàn)的是場景認(rèn)知問題。不僅要獲得場景的完整三維數(shù)據(jù)，而且還要認(rèn)識每個(gè)物體到底是什么，要去理解場景里的每個(gè)物體，獲取物體的語義信息。同樣的道理，認(rèn)知的過程必須形成一個(gè)閉環(huán)，機(jī)器人的實(shí)時(shí)決策能不能根據(jù)現(xiàn)有的三維數(shù)據(jù)對這個(gè)物體進(jìn)行識別。如果不可以，就要走到新的角度去獲取數(shù)據(jù)。

進(jìn)一步，我們的算法就可以拓展到一個(gè)更大的室內(nèi)場景中。這種情況下，只有一個(gè)機(jī)器人是不夠的，我們可以利用多個(gè)機(jī)器人。這些機(jī)器人要實(shí)現(xiàn)協(xié)作，需要一個(gè)實(shí)時(shí)的協(xié)同工作算法。在室內(nèi)環(huán)境下，我們已經(jīng)有了非常好的機(jī)器人協(xié)同方案。

機(jī)器人不僅可以在三維空間導(dǎo)航行走，還應(yīng)該成為真實(shí)世界的一員。實(shí)現(xiàn)這一點(diǎn)就要讓機(jī)器人和現(xiàn)實(shí)場景打交道，比如讓機(jī)器人拿起一個(gè)杯子，打開一扇門，甚至和人握手等。這種直接的三維交互非常重要。這需要對機(jī)器人空間定位和路徑規(guī)劃進(jìn)行更多的研究，這方面我們近期做了一些工作。

讓機(jī)器人具備決策和執(zhí)行力，替人類完成更多工作

我們沿著這個(gè)技術(shù)路線探索，思路也變得愈發(fā)清晰。通過三維視覺與人工智能技術(shù)的結(jié)合，我們讓機(jī)器人更加智能化與功能化，讓機(jī)器人做更多人在現(xiàn)實(shí)生活中能夠做的事。機(jī)器人具備現(xiàn)場自主決策和執(zhí)行的能力，比如在工業(yè)流水線上可以幫助組裝配件，物流場景中搬箱子等。這樣的應(yīng)用，涉及到非常精細(xì)化的技術(shù)，比如準(zhǔn)確高效的運(yùn)動(dòng)規(guī)劃，還有各種各樣的控制，智能的執(zhí)行等。我們在這方面也有了些探索性的工作。

隨著三維傳感器的普及，三維數(shù)據(jù)越來越多，如何實(shí)現(xiàn)對三維場景的精細(xì)化理解變得非常重要。理解場景很重要也很有效的一個(gè)方法就是深度學(xué)習(xí)。最早所有的深度學(xué)習(xí)都是針對二維影像。卷積神經(jīng)網(wǎng)絡(luò)面向的是二維影像，而對于三維場景，輸入數(shù)據(jù)是三維的點(diǎn)云。

因?yàn)闆]有卷積神經(jīng)網(wǎng)絡(luò)能夠天然地處理非結(jié)構(gòu)化的三維點(diǎn)云，我們針對這個(gè)問題設(shè)計(jì)了PointCNN卷積神經(jīng)網(wǎng)絡(luò)，它的性能是相當(dāng)好的，我們也很高興看到有很多公司在使用我們的網(wǎng)絡(luò)。

面向物流領(lǐng)域的應(yīng)用，我們還嘗試了一個(gè)機(jī)器人搬箱子的測試。在去年京東“雙11”期間進(jìn)行了10天的壓力測試，機(jī)器人在現(xiàn)場代替一組人（兩人一組）去識別箱子、搬箱子，并把大大小小不同的箱子搬到傳送帶上。這是我們的技術(shù)第一次從學(xué)校的實(shí)驗(yàn)室走進(jìn)現(xiàn)實(shí)場景中。但是我們也感受到，越走近現(xiàn)實(shí)場景，問題就會(huì)越復(fù)雜。在座有很多企業(yè)界的人，歡迎各位能過來跟我們交流合作。

三維視覺智能的研究與應(yīng)用如此重要，但國內(nèi)還沒有一個(gè)基于三維視覺的社區(qū)。去年底，由本人召集在中國圖像圖形學(xué)會(huì)旗下成立了三維視覺專業(yè)委員會(huì)，目的是把學(xué)術(shù)界和企業(yè)界的相關(guān)人士聯(lián)合在一起。歡迎更多相關(guān)企業(yè)加入進(jìn)來，一起推動(dòng)三維視覺技術(shù)的發(fā)展。