本次導讀論文提出了一個用于研究城市場景感知和重建的大型數(shù)據(jù)平臺UrbanScene3D。該數(shù)據(jù)集包含超過12.8萬張高分辨率圖像，涵蓋16個場景，包括總面積136平方公里的大型真實城市場景和虛擬城市場景。該數(shù)據(jù)集還包含高精度激光雷達掃描和數(shù)百個具有不同觀察模式的圖像集，為設計和評估無人機路徑規(guī)劃和三維重建算法提供了全面的基準。此外，基于Unreal引擎和Airsim模擬器，數(shù)據(jù)集中每個建筑物均手動標注了唯一的實例標簽，可以生成各種數(shù)據(jù)，例如二維深度圖、二維/三維邊界框和三維點云/網(wǎng)格分割等。帶有物理引擎和照明系統(tǒng)的模擬器不僅可以生成各種數(shù)據(jù)，還可以讓用戶在提供的城市環(huán)境中模擬無人車和無人機，為未來的研究提供幫助。下表展示了UrbanScene3D中不同場景的統(tǒng)計數(shù)據(jù)：

表1 UrbanScene3D不同場景數(shù)據(jù)統(tǒng)計

II 數(shù)據(jù)集特點

下表對比了UrbanScene3D與不同的戶外場景數(shù)據(jù)集：

表2 不同戶外場景數(shù)據(jù)集對比

該論文提出的UrbanScene3D數(shù)據(jù)集具有以下特點：

采集視角大：大多數(shù)戶外數(shù)據(jù)集是利用地面掃描設備采集的，不能夠完整地覆蓋整個場景。UrbanScene3D使用無人機根據(jù)不同的算法得到的路徑來采集場景信息，得到精度更高、更加完整的城市場景數(shù)據(jù)；

場景覆蓋范圍大：UrbanScene3D提供了16個不同的城市場景，總面積136平方公里。其中包括三個覆蓋面積超過24平方公里的大規(guī)模城市場景和兩個覆蓋面積超過一平方公里的完整真實場景；

不同模式的觀測數(shù)據(jù)：UrbanScene3D針對同一個場景提供在不同航拍路徑與不同時間、不同天氣條件、不同光照條件下采集到的數(shù)據(jù)，增加了觀測數(shù)據(jù)的多樣性；

融合虛擬數(shù)據(jù)與真實數(shù)據(jù)的仿真環(huán)境：UrbanScene3D提供的模擬器可以導入虛擬城市模型與真實世界的重建場景，不僅能夠用于無人機、無人車的仿真，還可以用于解決虛擬數(shù)據(jù)與真實數(shù)據(jù)之間的跨領域誤差問題；

針對無人機路徑規(guī)劃的數(shù)據(jù)集基準： UrbanScene3D針對不同無人機路徑規(guī)劃算法在不同的因素下對最終重建結果的影響進行了詳細的對比與測試，為新的無人機路徑規(guī)劃算法與重建算法提供了新的評估基準。

圖2 UrbanScene3D提供的模擬器能夠用于實時模擬、生成場景物體實例分割標簽與深度圖 III 無人機路徑規(guī)劃基準 UrbanScene3D主要針對傾斜攝影、Smith ［1］等人提出的算法、Zhou ［2］等人提出的算法與Zhang ［3］等人提出的算法進行測試。這四種算法生成的無人機路徑如圖3所示：

圖3 不同算法在兩個場景上生成的路徑示意圖

當前的無人機路徑規(guī)劃算法主要依賴于預先得到的場景粗糙模型，即代理模型，來進行無人機路徑的優(yōu)化。同樣的路徑規(guī)劃算法利用精細的代理模型通常可以得到更好的重建結果。UrbanScene3D對虛擬場景提供了從粗糙到精細四個層級的代理模型，對真實場景提供了三個層級的代理模型，如圖4所示。UrbanScene3D分別使用不同層級的代理模型在不同的采樣點重疊率下對以上四種無人機路徑規(guī)劃算法進行對比評估。

圖4 不同層級的代理模型示意圖 為了對重建得到的真實場景模型進行重建精度與完整度評估，UrbanScene3D利用搭載GPS定位設備的高端激光雷達掃描儀對場景中的整棟建筑進行掃描，得到高精度的場景掃描點云，如圖5所示：

圖5 兩個真實場景的高精度激光點云與對應重建模型的誤差示意圖

由于傾斜攝影具有最簡單的路徑模式，因此電量消耗最小，但重建結果最差。Zhang 等人的方法在規(guī)劃路徑的同時對生成路徑的質量進行優(yōu)化，因此能夠在得到高精度模型的同時減小電量的消耗。Smith 等人與Zhou等人提出的算法都能夠得到更好的重建結果，但Zhou等人提出的算法的飛行消耗更低。

圖6 不同方法的采集電量消耗對比

圖7 不同方法的采集重建精度對比

UrbanScene3D的下載與使用

UrbanScene3D一共包含1.43TB數(shù)據(jù)（壓縮包形式），其中帶有虛擬場景和真實場景模擬器63GB，帶有真實場景掃描數(shù)據(jù)的重建結果評估程序190MB。我們在項目主頁 https://vcc.tech/UrbanScene3D/ 中提供UrbanScene3D相關數(shù)據(jù)的分類下載與相關的使用說明，支持Google Drive、Dropbox與百度云網(wǎng)盤三種下載方式。用戶可以根據(jù)需求按照不同的場景、不同的算法、不同的代理模型、不同的采樣重疊率下載航拍路徑、圖片與重建結果，也可以選擇將整個數(shù)據(jù)集打包下載。從仿真環(huán)境到評估程序的整套工具能夠有效地幫助相關研究工作的開展和推進。

總結

這篇文章詳細介紹了一個大型數(shù)據(jù)集平臺UrbanScene3D，為廣大用戶提供了豐富的數(shù)據(jù)標簽和六個代表性場景在不同觀察模式下采集得到的不同數(shù)據(jù)。相應的不同重建模型和GT模型/掃描點云可用于評估路徑規(guī)劃算法和MVS算法。此外，UrbanScene3D中包含的模擬器允許用戶進一步探索和采集具有不同照明模式/天氣條件（如圖9所示）的城市場景數(shù)據(jù)。作者還計劃在不久的將來為數(shù)據(jù)集加入更高級的幾何描述信息，例如不同建筑的三維結構點、橫截面輪廓、線框或面片等，以支持計算機圖形學和計算機視覺相關方向的進一步探究。

審核編輯：郭婷