僅僅通過在照片上訓(xùn)練模型，機器學(xué)習(xí)（ML）的最新技術(shù)就已經(jīng)在許多計算機視覺任務(wù)中取得了卓越的準(zhǔn)確性。在這些成功的基礎(chǔ)上，進(jìn)一步提高對3D對象的理解，這將極大地促進(jìn)更廣泛的應(yīng)用，例如增強現(xiàn)實，機器人技術(shù)，自主性和圖像檢索。

今年早些時候，我們發(fā)布了MediaPipe Objectron，這是一套針對移動設(shè)備設(shè)計的實時3D對象檢測模型，這些模型在經(jīng)過完全注釋（annotated）的真實3D數(shù)據(jù)集上進(jìn)行了訓(xùn)練，可以預(yù)測對象的3D邊界框。

然而，由于與2D任務(wù)（例如ImageNet，COCO和Open Images）相比，因為缺少大型真實數(shù)據(jù)集，所以了解3D對象仍然是一項具有挑戰(zhàn)性的任務(wù)。為了使研究社區(qū)能夠不斷提高三維實體的理解，迫切需要發(fā)布以對象為中心的視頻數(shù)據(jù)集，該數(shù)據(jù)集可以捕獲對象的更多3D結(jié)構(gòu)，同時匹配用于許多視覺任務(wù)的數(shù)據(jù)格式（例如視頻或攝像機流），以幫助訓(xùn)練和確定機器學(xué)習(xí)模型的基準(zhǔn)。

今天，我們很高興發(fā)布Objectron數(shù)據(jù)集，這是一個短的，以對象為中心的視頻剪輯的集合，可以從不同的角度捕獲更大的一組公共對象。每個視頻剪輯都隨附有AR會話元數(shù)據(jù)，其中包括相機姿勢和稀疏點云。除此之外，數(shù)據(jù)還包含每個對象手工標(biāo)注的3D邊框，用來描述對象的位置，方向和尺寸。數(shù)據(jù)集包括15K帶注釋的視頻剪輯，并補充了從不同地理區(qū)域的樣本中收集的超過4M帶注釋的圖像（覆蓋五大洲的10個國家/地區(qū)）。

三維實體檢測解決方案

除了和數(shù)據(jù)集一起之外，我們還將共享一個針對四類對象的三維實體檢測解決方案-鞋子，椅子，杯子和照相機。這些模型在MediaPipe中發(fā)布，MediaPipe是Google的跨平臺可定制ML解決方案的開源框架，適用于實時和流媒體，該解決方案還支持設(shè)備上的實時手部，虹膜和身體姿勢跟蹤等ML解決方案。

在移動設(shè)備上運行的3D對象檢測解決方案的示例結(jié)果

與以前發(fā)布的單階段Objectron模型相反，這些最新版本使用兩級架構(gòu)。第一階段采用TensorFlow對象檢測模型來查找實體的2D裁剪。然后，第二階段使用圖像裁剪來估計3D邊框，同時為下一幀計算實體的2D裁剪，因此實體檢測器不需要運行每個幀。第二階段3D邊框預(yù)測器在Adreno 650移動GPU上以83 FPS運行。

參考3D對象檢測解決方案圖

3D對象檢測的評估指標(biāo)

借助ground truth annotations，我們使用3Dintersection over union（IoU）相似度統(tǒng)計信息（一種用于計算機視覺任務(wù)的常用度量標(biāo)準(zhǔn)）來評估三維實體檢測模型的性能，該度量標(biāo)準(zhǔn)衡量邊框與地面真相的接近程度。

我們提出了一種算法，可為通用三維面向盒計算準(zhǔn)確的3D IoU值。首先，我們使用Sutherland-Hodgman多邊形裁剪算法計算兩個盒子的面之間的交點。這類似于用于計算機圖形學(xué)的視錐剔除技術(shù)。相交的體積由所有修剪的多邊形的凸包計算。最后，根據(jù)兩個框的交點的體積和并集的體積計算IoU。我們將在發(fā)表數(shù)據(jù)集的同時發(fā)布評估指標(biāo)的源代碼。

使用多邊形裁剪算法計算并集的三維交點(左):通過對方框裁剪多邊形計算每個面的交點。右:通過計算所有交點的凸包計算交點的體積(綠色)。

數(shù)據(jù)集格式

數(shù)據(jù)集的技術(shù)細(xì)節(jié)，包括用法和教程，可在數(shù)據(jù)集網(wǎng)站上找到。數(shù)據(jù)集包括自行車，書籍，瓶子，照相機，谷物盒，椅子，杯子，筆記本電腦和鞋子，并存儲在Google Cloud存儲上的objectron存儲桶中，具有以下資源：

視頻片段

注釋標(biāo)簽（實體的3D邊框）

AR元數(shù)據(jù)（例如照相機姿勢，點云和平面）

已處理的數(shù)據(jù)集：帶注釋幀的改編版本，圖像的格式為tf.example，視頻的格式為SequenceExample。

支持腳本以基于上述指標(biāo)運行評估

支持腳本以將數(shù)據(jù)加載到Tensorflow，PyTorch和Jax中并可視化數(shù)據(jù)集，包括“ Hello World”示例

有了數(shù)據(jù)集，我們還將開放數(shù)據(jù)管道，以在流行的Tensorflow，PyTorch和Jax框架中解析數(shù)據(jù)集。還提供了示例colab筆記本。

通過發(fā)布此Objectron數(shù)據(jù)集，我們希望使研究界能夠突破三維實體幾何理解的極限。我們還希望促進(jìn)新的研究和應(yīng)用。例如視圖合成，改進(jìn)的三維表達(dá)和無監(jiān)督學(xué)習(xí)。加入我們的郵件列表并訪問我們的github頁面，請隨時關(guān)注未來的活動和發(fā)展。

致謝

這篇文章中描述的研究是由Adel Ahmadyan, Liangkai Zhang, JianingWei, Artsiom Ablavatski, Mogan Shieh, Ryan Hickman, Buck Bourdon, Alexander Kanaukou, Chuo-Ling Chang, Matthias Grundmann, ?and Tom Funkhouser完成的。我們感謝Aliaksandr Shyrokau，Sviatlana Mialik，Anna Eliseeva和注釋團隊的高質(zhì)量注釋。我們還要感謝Jonathan Huang和Vivek Rathod對TensorFlow對象檢測API的指導(dǎo)。

責(zé)任編輯：lq