摘要

常見的消費級RGB-D相機具有粗略的內參和外參校準數據的，通常無法滿足許多機器人應用所需的精度要求。我們的校準方法基于一種新穎的雙分量測量誤差模型，該模型統一了基于不同技術RGB-D相機的誤差源，如結構光3D相機和飛行時間相機，提出的的標定模型使用兩種不同的參數實現對圖像的矯正，這兩種圖通過控制函數的線性組合提供校準讀數，非線性優化算法在單個優化步驟中細化相機深度傳感器剛性位移以及上述參數，確保結果高度可靠。這個庫的依賴項有Eigen，PCL，OpenCV，Ceres Solver。

主要貢獻

本文的主要貢獻如下：

一個通用的、可實現的測量誤差模型，該模型以統一的方式很好地描述了不同深度傳感器類型的誤差。

一種空間和參數不畸變圖像，以緊湊有效的方式模擬結構光深度傳感器的畸變模型。

一種新的優化框架，在估計攝像機深度傳感器剛性位移以及描述深度測量系統誤差的參數模型。

提出方法的開源實現，集成在ROS（機器人操作系統）框架內。

主要內容

該方法提出了一種基于對極幾何和光束平面約束的聯合優化框架，用于同時估計RGB-D相機的內參和外參。該方法在標定過程中使用了多個視角的圖像對和對應的深度圖，并通過最小化重投影誤差來優化相機的內外參。同時，為了增強魯棒性，該方法還引入了離群值剔除和稀疏性約束，以處理不準確的匹配和噪聲。



圖1 標定算法流程

實驗結果表明，該方法在各種實際場景和數據集上都能夠獲得準確而穩健的內參和外參標定結果。與傳統方法相比，該方法在標定精度和魯棒性方面都有顯著的提升。此外，該方法還能夠處理部分遮擋和異常情況，具有較強的魯棒性和適應性。



圖2 四個傳感器的平面誤差，對于SL傳感器，所提出的方法能夠顯著減小測量點與最佳擬合數據的平面之間的距離。對于Kinect 2傳感器，差異受到隨距離增加而出現的隨機噪聲的限制。

不同距離的一面墻的點云矯正后的結果

校

準后的RGB圖與深度圖配準與使用默認校準參數生成RGB圖與深度圖配準結果

對三個經過測試的SL深度傳感器和Kinect 2 ToF相機的全局誤差進行了實驗，說明了原始點云的誤差（Original），去畸變步驟后的誤差（Undistorted），以及在去畸變和全局誤差校正步驟后的誤差（Final）。

對于三個SL傳感器，為了進一步評估所提出方法的有效性，在（a）中使用設備校準了深度傳感器，而在（b）中我們使用了高分辨率相機。

總結

本文提出了一種通用RGB-D傳感器標定的新方法，開源的校準程序僅要求用戶在最小結構的環境中收集數據，并在輸出中提供傳感器的內參和外參數據，通過兩個不同的分量，一個畸變誤差和一個全局系統誤差來概括深度傳感器誤差，畸變誤差使用每像素參數無畸變圖建模。在算法的第一階段進行估計，在算法的第二階段，在魯棒優化框架內，估計深度系統誤差以及攝像機深度傳感器對準，文章用幾個傳感器進行了詳盡的實驗，結果表明，該方法提供了高度精確的結果，優于其他最先進的方法。

審核編輯：劉清