谷歌人工智能實驗室近日發(fā)布 Objectron 數(shù)據(jù)集，這是一個以3D目標為中心的視頻剪輯的集合，這些視頻剪輯從不同角度捕獲了較大的一組公共對象。數(shù)據(jù)集包括 15K 帶注釋的視頻剪輯，并補充了從地理多樣的樣本中收集的超過 4M 帶注釋的圖像（覆蓋五大洲的 10 個國家）。

機器學習(ML)的最新技術已經(jīng)在許多計算機視覺任務上取得了SOTA的結(jié)果，但僅僅是通過在2D照片上訓練模型而已。 在這些成功的基礎上，提高模型對 3D 物體的理解力有很大的潛力來支持更廣泛的應用場景，如增強現(xiàn)實、機器人、自動化和圖像檢索。 今年早些時候，谷歌發(fā)布了 MediaPipe Objectron，一套為移動設備設計的實時 3D 目標檢測模型，這個模型是基于一個已標注的、真實世界的 3D 數(shù)據(jù)集，可以預測物體的 3D 邊界。

然而，理解3D 中的對象仍然是一項具有挑戰(zhàn)性的任務，因為與2D 任務(例如，ImageNet、 COCO 和 Open Images)相比，缺乏大型的真實世界數(shù)據(jù)集。 為了使研究團體能夠繼續(xù)推進3D 對象理解，迫切需要發(fā)布以對象為中心的視頻數(shù)據(jù)集，這些數(shù)據(jù)集能夠捕獲更多的對象的3D 結(jié)構，同時匹配用于許多視覺任務(例如，視頻或攝像機流)的數(shù)據(jù)格式，以幫助機器學習模型的訓練和基準測試。 近期谷歌發(fā)布了 Objectron 數(shù)據(jù)集，這是一個以對象為中心的短視頻剪輯數(shù)據(jù)集，從不同的角度捕捉了一組更大的普通對象。

每個視頻剪輯都伴隨著 AR 會話元數(shù)據(jù)，其中包括攝像機姿態(tài)和稀疏點云。數(shù)據(jù)還包含為每個對象手動注釋的3D 邊界，這些 bounding box 描述了對象的位置、方向和尺寸。 每個視頻剪輯都隨附有 AR 的元數(shù)據(jù)，其中包括相機姿勢和稀疏點云。數(shù)據(jù)還包含每個對象的手動注釋的 3D 邊界框，用于描述對象的位置，方向和尺寸。 該數(shù)據(jù)集包括15K 注釋視頻剪輯與超過4M 注釋圖像收集的地理多樣性樣本(涵蓋10個國家橫跨五大洲)。

3D 目標檢測解決方案

除了這個數(shù)據(jù)集，谷歌還分享了一個 3D 目標檢測解決方案，可以用于4類物體：鞋子、椅子、杯子和相機。 這些模型是在 MediaPipe 中發(fā)布的，MediaPipe 是谷歌的開源框架，用于跨平臺可定制的流媒體機器學習解決方案，它同時也支持機器學習解決方案，比如設備上的實時手勢、虹膜和身體姿態(tài)跟蹤。

與之前發(fā)布的 single-stage Objectron 模型相比，這些最新版本采用了兩級架構。 第一級使用 TensorFlow 目標檢測模型來尋找物體的 2D 裁剪，第二級使用圖像裁剪來估計三維bounding box，同時計算下一幀對象的二維裁剪，使得目標檢測器不需要運行每一幀。第二階段的三維 bounding box 預測器是以83 FPS在 Adreno 650 GPU 上運行。

3D 目標檢測的評估指標

有了真實的注釋，我們就可以使用 3D IoU（intersection over union）相似性統(tǒng)計來評估 3D 目標檢測模型的性能，這是計算機視覺任務常用的指標，衡量bounding box與ground truth的接近程度。 谷歌提出了一種計算一般的面向三維空間的精確 3D IoU 的算法。 首先使用 Sutherland-Hodgman Polygon clipping 算法計算兩個盒子面之間的交點，這類似于計算機圖形學的剔除技術（frustum culling），利用所有截斷多邊形的凸包計算相交的體積。最后，通過交集的體積和兩個盒子的并集的體積計算 IoU。 谷歌表示將隨數(shù)據(jù)集一起發(fā)布評估的源代碼。

數(shù)據(jù)格式

Objectron 數(shù)據(jù)集的技術細節(jié)，包括使用和教程，均可在數(shù)據(jù)集網(wǎng)站上獲得。這些數(shù)據(jù)集中的物體包括自行車、書籍、瓶子、相機、麥片盒、椅子、杯子、筆記本電腦和鞋子等，和數(shù)據(jù)集一起發(fā)布的具有以下內(nèi)容: 1.視頻序列 2.帶注釋的標簽(目標的3D 邊界框) 3.AR 元數(shù)據(jù) (如照相機姿態(tài)、點云和平面表面) 4.處理過的數(shù)據(jù)集: 混合版本的帶注釋的幀、tf.example 格式的圖像和 SequenceExample 格式的視頻 5.支持基于上面描述的度量評估的腳本 6.支持腳本將數(shù)據(jù)加載到 Tensorflow、Pytorch、Jax并且可視化數(shù)據(jù)集 除了數(shù)據(jù)集，谷歌還開放了數(shù)據(jù)管道來解析 Tensorflow、 PyTorch 和 Jax 框架中的數(shù)據(jù)集。

還提供了 colab notebook 的實例 。 通過發(fā)布這個 Objectron 數(shù)據(jù)集，谷歌希望能夠使研究團體推進三維物體幾何理解的極限。同時也希望促進新的研究和應用，如視圖合成，改進的 3D 表示和非監(jiān)督式學習等。 參考鏈接： https://ai.googleblog.com/2020/11/announcing-objectron-dataset.html?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+blogspot%2FgJZg+%28Google+AI+Blog%29

責任編輯：xj

原文標題：重磅！谷歌發(fā)布3D目標檢測數(shù)據(jù)集及檢測方案

文章出處：【微信公眾號：新機器視覺】歡迎添加關注！文章轉(zhuǎn)載請注明出處。