在自主駕駛領(lǐng)域，已經(jīng)建立了大量的數(shù)據(jù)集來(lái)輔助完成三維或二維目標(biāo)檢測(cè)、立體視覺(jué)、語(yǔ)義或?qū)嵗指畹热蝿?wù)。然而，更有意義的自主車輛周圍對(duì)象的動(dòng)態(tài)演化卻很少被利用，并且缺乏大規(guī)模的數(shù)據(jù)集平臺(tái)。為了解決這個(gè)問(wèn)題，西安交通大學(xué)構(gòu)建并公開了BLVD數(shù)據(jù)集，與以往靜態(tài)檢測(cè)、語(yǔ)義或者實(shí)例分割任務(wù)的數(shù)據(jù)集不同，BLVD旨在為動(dòng)態(tài)4D跟蹤(3D+時(shí)間)、5D交互事件識(shí)別(4D+交互行為)和意圖預(yù)測(cè)等任務(wù)提供一個(gè)統(tǒng)一的驗(yàn)證平臺(tái)。

BLVD數(shù)據(jù)集與之前的數(shù)據(jù)集相比將體現(xiàn)出對(duì)交通場(chǎng)景的更深層次理解。BLVD一共標(biāo)注654個(gè)包含12萬(wàn)幀的序列。并進(jìn)行了全序列5D語(yǔ)義注釋。包含249129條3D目標(biāo)框，4902個(gè)有效可跟蹤的獨(dú)立個(gè)體，包含總長(zhǎng)度約214900個(gè)跟蹤點(diǎn)，6004個(gè)用于5D交互事件識(shí)別的有效片段以及4900個(gè)可以進(jìn)行5D意圖預(yù)測(cè)的目標(biāo)。根據(jù)標(biāo)注場(chǎng)景中交通參與者的密集程度(低和高)和光照條件(白天和晚上)，BLVD包含四種場(chǎng)景。

論文發(fā)表于ICRA2019，BLVD數(shù)據(jù)集已經(jīng)公開，并可在github項(xiàng)目站點(diǎn):

https://github.com/VCCIV/BLVD/下載。

論文網(wǎng)址參見：https://arxiv.org/abs/1903.06405

在BLVD數(shù)據(jù)集中，定義了三種參與者，包括車輛、行人和騎行者，其中騎行者包括騎自行車的人和摩托車的人。數(shù)據(jù)構(gòu)建由西安交通大學(xué)夸父號(hào)無(wú)人車采集，采集車上裝載多種傳感器用于周圍感知，包括一個(gè)Velodyne HDL-64E三維激光雷達(dá)、一個(gè)全球定位系統(tǒng)（GPS）及慣性導(dǎo)航系統(tǒng)、兩個(gè)高分辨率多視點(diǎn)相機(jī)。值得注意的是，所裝載的所有的傳感器都是自動(dòng)進(jìn)行了時(shí)鐘同步和對(duì)齊。與以往的駕駛場(chǎng)景中的三維目標(biāo)跟蹤、行為理解與分析數(shù)據(jù)集相比，BLVD具有更豐富的場(chǎng)景多樣性。包含不同駕駛場(chǎng)景(城市和高速公路)、多種光照條件(白天和晚上)、多種個(gè)體密度。圖1給出了一個(gè)典型的簡(jiǎn)介，它表示從數(shù)據(jù)集測(cè)試的靜態(tài)3D注釋到5D意圖預(yù)測(cè)的任務(wù)流程。

圖1 BLVD上5D語(yǔ)義注釋的任務(wù)流示意。(a)表示包含多個(gè)靜態(tài)三維目標(biāo)的數(shù)據(jù)幀，(b)展示4D（3D+時(shí)間）維度的三維目標(biāo)跟蹤，(c)表示5D交互行為類型，每一個(gè)個(gè)體都進(jìn)行了類型標(biāo)注。(d)展示5D意圖預(yù)測(cè)示意，包含位置預(yù)測(cè)、3D框的幾何結(jié)構(gòu)、朝向和行為交互狀態(tài)預(yù)測(cè)。

值得注意的是，BLVD的不同數(shù)據(jù)任務(wù)具有一致的數(shù)據(jù)劃分標(biāo)準(zhǔn)，可以提供從三維目標(biāo)跟蹤、五維度行為交互狀態(tài)識(shí)別、五維度意圖預(yù)測(cè)任務(wù)的串行多任務(wù)驗(yàn)證。其中對(duì)于五維度行為交互狀態(tài)識(shí)別，對(duì)于不同的交通參與者，如車輛、行為何騎行者，分別設(shè)定了13種、8種及7種行為狀態(tài)，如圖2所示。

圖2基于車輛坐標(biāo)系的交互行為類型的說(shuō)明。從上到下依次展示活動(dòng)車輛、行人和騎手的活動(dòng)類型。注意，有一個(gè)額外的參與者交互行為類型(指“其它”)用于表示其他的交互行為類型。

【結(jié)論】

西安交通大學(xué)人工智能與機(jī)器人研究所研究人員為自主駕駛構(gòu)建的大規(guī)模5D語(yǔ)義數(shù)據(jù)集，采集于多種駕駛場(chǎng)景，并能夠高效、準(zhǔn)確地進(jìn)行校準(zhǔn)、同步和校正。不同于以往的靜態(tài)檢測(cè)/分割任務(wù)，他們更注重對(duì)交通場(chǎng)景的深入理解。具體來(lái)說(shuō)，本次數(shù)據(jù)標(biāo)注了4D跟蹤、5D交互狀態(tài)識(shí)別、5D意向預(yù)測(cè)等任務(wù)。在不斷的優(yōu)化完善下，相信這個(gè)數(shù)據(jù)集將在機(jī)器人和計(jì)算機(jī)視覺(jué)領(lǐng)域非常有用。