摘要

平面圖案標(biāo)定姿勢的選擇很少被考慮——但標(biāo)定精度很大程度上取決于它。本文提出了一種姿態(tài)選擇方法，可以找到一個緊湊和魯棒的標(biāo)定姿態(tài)集，并適合于交互式標(biāo)定。奇異的姿態(tài)會導(dǎo)致解決方案不可靠，而減少姿態(tài)的不確定度對標(biāo)定有利的。為此，我們使用不確定性傳播原理。

我們的方法利用了一個自識別的標(biāo)定圖案來實時跟蹤相機的姿態(tài)。這允許迭代地引導(dǎo)用戶到目標(biāo)姿態(tài)，直到達(dá)到所需的質(zhì)量水平。因此，只需要一組稀疏的關(guān)鍵幀來進行標(biāo)定。

該方法在單獨的訓(xùn)練集和測試集以及合成數(shù)據(jù)上進行了評估。我們的方法比可比較的解決方案性能更好，同時需要更少的30%的標(biāo)定幀。

01 引言

圖1 使用9個選定的姿勢和用戶指導(dǎo)覆蓋，投影到到右下角的相機。

在三維計算機視覺的背景下，相機標(biāo)定是確定相機內(nèi)部的幾何和光學(xué)特征（內(nèi)參）以及相機在世界坐標(biāo)系中的位置和方向（外參）的過程。許多三維計算機視覺算法的性能直接取決于該標(biāo)定的質(zhì)量。此外，標(biāo)定是一個重復(fù)任務(wù)，每次設(shè)置必須更改時執(zhí)行。即使是同款相機，這些參數(shù)也可能會由于制造的不準(zhǔn)確性而變化。相機標(biāo)定的流行方法是基于獲取一個已知尺寸的平面圖案的多幅圖像。然而，存在退化姿態(tài)配置會導(dǎo)致不可靠的解。

因此，標(biāo)定的任務(wù)不能由沒有經(jīng)驗的用戶來完成——即使是在該領(lǐng)域工作的研究人員也經(jīng)常難以量化什么是良好的標(biāo)定圖像。 有一些研究對CCD成像平面與圖案之間的夾角對估計誤差的影響進行了研究：

Triggs將角擴散與焦距誤差聯(lián)系起來。他發(fā)現(xiàn)超過5°后誤差會擴散。

Sturm和Maybank進一步區(qū)分了估計主點和焦距。更重要的是，他們討論了在使用一個平面和兩個平面進行標(biāo)定時可能存在的奇點，并將它們與單個針孔參數(shù)聯(lián)系起來；例如，如果圖案在每一幀中平行于圖像平面，則不能確定焦距。

這些發(fā)現(xiàn)在中得到了重復(fù)。然而，姿態(tài)對失真參數(shù)估計或一般相機相對標(biāo)定板的姿態(tài)影響迄今尚未被考慮。

另一個方面是標(biāo)定數(shù)據(jù)的質(zhì)量和數(shù)量。

Sun和庫珀斯托克評估了攝像機模型對噪聲的靈敏度、訓(xùn)練數(shù)據(jù)量和在模型復(fù)雜性方面的標(biāo)定精度。然而，他們只測量了各自訓(xùn)練集上的殘差，這受過擬合的影響。

為了克服這個問題，理查森等人引入了最大期望重投影誤差(最大ERE)度量，而不是與測試誤差相關(guān)，從而允許一個有意義的收斂測試。此外，他們會自動計算一個“最佳的下一個姿勢”，并將其作為圖案的疊加投影作為用戶指導(dǎo)。通過在大約60個候選姿態(tài)的固定集合中進行窮舉搜索來選擇姿態(tài)。對于每個姿態(tài)，執(zhí)行一個包括該姿態(tài)的假設(shè)標(biāo)定，并選擇最大ERE最小的姿態(tài)。然而，候選姿態(tài)在視場中均勻分布，沒有明確考慮角擴散和退化情況。

在輔助用戶標(biāo)定任務(wù)的一般情況下，尚未特別考慮相機標(biāo)定的準(zhǔn)確性。 我們提出在解析生成最優(yōu)模式姿態(tài)的同時，明確地避免退化的姿態(tài)配置。為此，我們將姿態(tài)與單個參數(shù)的約束聯(lián)系起來，這樣所產(chǎn)生的姿態(tài)序列就可以約束所有的校準(zhǔn)參數(shù)，并確保準(zhǔn)確的校準(zhǔn)。與的窮舉搜索相比，這將計算時間從秒減少到毫秒。

利用估計解的協(xié)方差來評估校準(zhǔn)參數(shù)的不確定度。然后對姿態(tài)序列進行調(diào)整，以便為最不確定的參數(shù)捕獲更多的約束。參數(shù)的協(xié)方差與檢驗誤差相關(guān)，因此也可以作為一個收斂準(zhǔn)則。

基于以上幾點，我們的主要貢獻(xiàn)是：

兩種不同的姿態(tài)選擇策略

一種有效的姿態(tài)選擇方案

本文的結(jié)構(gòu)如下：

第2節(jié)：介紹了所使用的相機模型和不確定度估計方法，并討論了一個合適的標(biāo)定圖案的選擇。

第3節(jié)：描述了我們的新的姿態(tài)選擇方法

第4節(jié)：描述了完整的標(biāo)定流程。

第5節(jié)：

對該方法在真實數(shù)據(jù)和合成數(shù)據(jù)進行了評估，并與OpenCV和AprilCal[10]的標(biāo)定方法進行了比較[3]。

分析了結(jié)果標(biāo)定的緊致性，并進行了一個非正式的用戶調(diào)查，以顯示該方法的可用性。

最后，我們以第6節(jié)總結(jié)了我們的結(jié)果，并討論了其局限性和未來的工作。

02 準(zhǔn)備工作

2.1 估計和誤差分析

其中：

2.2 標(biāo)定圖案

我們的方法適用于任何平面標(biāo)定目標(biāo)，例如常見的棋盤和圓網(wǎng)格圖案。然而，對于交互式用戶指導(dǎo)，快速的板檢測是至關(guān)重要的。因此，我們使用在OpenCV中實現(xiàn)的自識別ChArUco[5]圖案。與經(jīng)典棋盤相比，這節(jié)省了檢測到的矩形對規(guī)范拓?fù)涞暮臅r順序。然而，我們也可以在這里使用任何最近開發(fā)的自我識別目標(biāo)[1,2,4]。 圖案大小被設(shè)置為個方塊，從而在每個捕獲幀的棋盤關(guān)節(jié)上進行多達(dá)40次測量。這允許成功地完成初始化，即使沒有檢測到所有的標(biāo)記，如第4.3節(jié)中所討論的那樣。

03 姿勢選擇

我們的方法的核心思想是明確地指定使用Zhang[16]的方法進行標(biāo)定的單個關(guān)鍵幀。 在本節(jié)中，首先討論了內(nèi)參和標(biāo)定板姿態(tài)的關(guān)系，我們將參數(shù)向量分為針孔和失真參數(shù)。對于每個參數(shù)組，我們?nèi)缓蠼o出我們的規(guī)則集，以生成一個最優(yōu)姿態(tài)，同時顯式地避免退化配置。

3.1 分離針孔和畸變參數(shù)

看公式1，我們可以看到，和都應(yīng)用于后投影，描述了二維到二維的映射。因此，我們可以考慮僅從一個均勻采樣圖像的板姿態(tài)來估計。然而，由于內(nèi)參和外參同時由[16]估計，不確定性增加。

引用：

圖2 失真圖，顯示了每個像素的?(p)的大小。 為了找到目標(biāo)姿態(tài)，我們應(yīng)用閾值化和擬合一個軸對齊的邊界框。

3.2 避免針孔相機的奇異性

3.3 姿勢生成

圖3 示例性姿態(tài)選擇狀態(tài)。頂部：色散指數(shù)。 左：經(jīng)過一個（洋紅色）和兩個（黃色）細(xì)分步驟后的固有標(biāo)定候選位置。 右：已經(jīng)訪問過的區(qū)域的扭曲地圖。

3.4 初始化

04 標(biāo)定過程

在下面，我們將介紹參數(shù)細(xì)化和用戶指導(dǎo)部分以及任何使用的啟發(fā)式方法。這就完成了用于真實數(shù)據(jù)實驗的標(biāo)定流程。

4.1 參數(shù)優(yōu)化

4.2 用戶指導(dǎo)

為了指導(dǎo)用戶，目標(biāo)相機姿態(tài)投影使用當(dāng)前估計的內(nèi)在參數(shù)。然后，這個投影被顯示為一個覆蓋在直播視頻流的頂部（參見圖1和補充材料中的視頻）。 驗證用戶是否足夠接近目標(biāo)姿態(tài)我們使用Jaccard指數(shù)J(A，B)（交集聯(lián)合）計算的投影模式的目標(biāo)姿態(tài)T和面積的投影從當(dāng)前姿態(tài)估計e我們假設(shè)用戶已經(jīng)達(dá)到所需的姿態(tài)如果J(T，E)>0.8。 比較投影重疊而不是直接使用估計的姿態(tài)是更穩(wěn)健的，因為姿態(tài)估計通常是不可靠的——特別是在初始化期間。

4.3 啟發(fā)法

在整個過程中，我們強制執(zhí)行通用啟發(fā)式約束[6,7.2]，即約束的數(shù)量應(yīng)該超過未知數(shù)的5倍。所使用的校準(zhǔn)方法[16]不僅估計了固有參數(shù)C，而且還估計了模型平面和圖像平面的相對姿態(tài)，即參數(shù)R、三維旋轉(zhuǎn)和t、三維平移。當(dāng)使用M校準(zhǔn)圖像時，我們有d=9+6M未知數(shù)，每個點對應(yīng)提供了兩個約束。對于初始化(M=2)，我們有21個未知數(shù)，這意味著總共需要52.5個點對應(yīng)或每幀需要27個對應(yīng)。對于任何后續(xù)的幀，只需要15個點。 為了防止由于運動模糊和滾動快門偽影而導(dǎo)致的不準(zhǔn)確的測量，圖案應(yīng)該是靜止的。為了確保這一點，我們要求在連續(xù)的幀中重新檢測到所有的點，并且這些點的平均運動要小于1.5px（根據(jù)經(jīng)驗確定）。

05 評估

在合成數(shù)據(jù)和真實數(shù)據(jù)上對該方法進行了評價。合成實驗旨在驗證第3節(jié)中提出的參數(shù)分割和姿態(tài)生成規(guī)則，并使用真實數(shù)據(jù)與其他方法進行比較。此外，通過對測試集進行直接優(yōu)化，估計了結(jié)果與真實數(shù)據(jù)的緊致性。

5.1 合成數(shù)據(jù)

圖4 姿態(tài)選擇策略和校準(zhǔn)參數(shù)不確定性的相關(guān)性（因此誤差條意味著“σ的方差”）。

5.2 真實數(shù)據(jù)

表1：我們的方法與AprilCal和OpenCV的真實數(shù)據(jù)進行了比較。顯示五次以上的平均值。對測試集的訓(xùn)練結(jié)果在中。

5.3 標(biāo)定緊致度的分析

5.4 用戶調(diào)查

06 結(jié)論和未來的工作

我們提出了一種校準(zhǔn)方法來生成一組緊湊的校準(zhǔn)框架，適合于交互式用戶指導(dǎo)。避免了奇異的姿態(tài)配置，從而捕獲約9個關(guān)鍵幀就足以進行精確的校準(zhǔn)。這比可比的解決方案少了30%。所提供的用戶指導(dǎo)允許沒有經(jīng)驗的用戶在2分鐘內(nèi)完成校準(zhǔn)。校準(zhǔn)精度可以根據(jù)收斂閾值與所需的校準(zhǔn)時間進行加權(quán)。攝像機參數(shù)的不確定性在整個過程中都被監(jiān)測，以確保可以反復(fù)達(dá)到給定的置信水平。 我們的評估表明，所需的幀的數(shù)量仍然可以減少，以進一步加快這個過程。我們只使用一個廣泛而簡單的失真模型，在未來的工作中需要考慮薄棱鏡[15]、徑向[8]和傾斜傳感器。最終，我們可以加入對未使用的參數(shù)的檢測。這將允許從最復(fù)雜的失真模型開始，它可以在校準(zhǔn)過程中逐漸減少。 此外，該方法需要適應(yīng)特殊情況，如顯微鏡，其中視野深度限制可能的校準(zhǔn)角度或在大距離的校準(zhǔn)，因此縮放標(biāo)定板是不需要的。

審核編輯：劉清