摘要

平面圖案標(biāo)定姿勢(shì)的選擇很少被考慮——但標(biāo)定精度很大程度上取決于它。本文提出了一種姿態(tài)選擇方法，可以找到一個(gè)緊湊和魯棒的標(biāo)定姿態(tài)集，并適合于交互式標(biāo)定。奇異的姿態(tài)會(huì)導(dǎo)致解決方案不可靠，而減少姿態(tài)的不確定度對(duì)標(biāo)定有利的。為此，我們使用不確定性傳播原理。

我們的方法利用了一個(gè)自識(shí)別的標(biāo)定圖案來(lái)實(shí)時(shí)跟蹤相機(jī)的姿態(tài)。這允許迭代地引導(dǎo)用戶到目標(biāo)姿態(tài)，直到達(dá)到所需的質(zhì)量水平。因此，只需要一組稀疏的關(guān)鍵幀來(lái)進(jìn)行標(biāo)定。

該方法在單獨(dú)的訓(xùn)練集和測(cè)試集以及合成數(shù)據(jù)上進(jìn)行了評(píng)估。我們的方法比可比較的解決方案性能更好，同時(shí)需要更少的30%的標(biāo)定幀。

01 引言

圖1 使用9個(gè)選定的姿勢(shì)和用戶指導(dǎo)覆蓋，投影到到右下角的相機(jī)。

在三維計(jì)算機(jī)視覺的背景下，相機(jī)標(biāo)定是確定相機(jī)內(nèi)部的幾何和光學(xué)特征（內(nèi)參）以及相機(jī)在世界坐標(biāo)系中的位置和方向（外參）的過(guò)程。許多三維計(jì)算機(jī)視覺算法的性能直接取決于該標(biāo)定的質(zhì)量。此外，標(biāo)定是一個(gè)重復(fù)任務(wù)，每次設(shè)置必須更改時(shí)執(zhí)行。即使是同款相機(jī)，這些參數(shù)也可能會(huì)由于制造的不準(zhǔn)確性而變化。相機(jī)標(biāo)定的流行方法是基于獲取一個(gè)已知尺寸的平面圖案的多幅圖像。然而，存在退化姿態(tài)配置會(huì)導(dǎo)致不可靠的解。

因此，標(biāo)定的任務(wù)不能由沒有經(jīng)驗(yàn)的用戶來(lái)完成——即使是在該領(lǐng)域工作的研究人員也經(jīng)常難以量化什么是良好的標(biāo)定圖像。 有一些研究對(duì)CCD成像平面與圖案之間的夾角對(duì)估計(jì)誤差的影響進(jìn)行了研究：

Triggs將角擴(kuò)散與焦距誤差聯(lián)系起來(lái)。他發(fā)現(xiàn)超過(guò)5°后誤差會(huì)擴(kuò)散。

Sturm和Maybank進(jìn)一步區(qū)分了估計(jì)主點(diǎn)和焦距。更重要的是，他們討論了在使用一個(gè)平面和兩個(gè)平面進(jìn)行標(biāo)定時(shí)可能存在的奇點(diǎn)，并將它們與單個(gè)針孔參數(shù)聯(lián)系起來(lái)；例如，如果圖案在每一幀中平行于圖像平面，則不能確定焦距。

這些發(fā)現(xiàn)在中得到了重復(fù)。然而，姿態(tài)對(duì)失真參數(shù)估計(jì)或一般相機(jī)相對(duì)標(biāo)定板的姿態(tài)影響迄今尚未被考慮。

另一個(gè)方面是標(biāo)定數(shù)據(jù)的質(zhì)量和數(shù)量。

Sun和庫(kù)珀斯托克評(píng)估了攝像機(jī)模型對(duì)噪聲的靈敏度、訓(xùn)練數(shù)據(jù)量和在模型復(fù)雜性方面的標(biāo)定精度。然而，他們只測(cè)量了各自訓(xùn)練集上的殘差，這受過(guò)擬合的影響。

為了克服這個(gè)問(wèn)題，理查森等人引入了最大期望重投影誤差(最大ERE)度量，而不是與測(cè)試誤差相關(guān)，從而允許一個(gè)有意義的收斂測(cè)試。此外，他們會(huì)自動(dòng)計(jì)算一個(gè)“最佳的下一個(gè)姿勢(shì)”，并將其作為圖案的疊加投影作為用戶指導(dǎo)。通過(guò)在大約60個(gè)候選姿態(tài)的固定集合中進(jìn)行窮舉搜索來(lái)選擇姿態(tài)。對(duì)于每個(gè)姿態(tài)，執(zhí)行一個(gè)包括該姿態(tài)的假設(shè)標(biāo)定，并選擇最大ERE最小的姿態(tài)。然而，候選姿態(tài)在視場(chǎng)中均勻分布，沒有明確考慮角擴(kuò)散和退化情況。

在輔助用戶標(biāo)定任務(wù)的一般情況下，尚未特別考慮相機(jī)標(biāo)定的準(zhǔn)確性。 我們提出在解析生成最優(yōu)模式姿態(tài)的同時(shí)，明確地避免退化的姿態(tài)配置。為此，我們將姿態(tài)與單個(gè)參數(shù)的約束聯(lián)系起來(lái)，這樣所產(chǎn)生的姿態(tài)序列就可以約束所有的校準(zhǔn)參數(shù)，并確保準(zhǔn)確的校準(zhǔn)。與的窮舉搜索相比，這將計(jì)算時(shí)間從秒減少到毫秒。

利用估計(jì)解的協(xié)方差來(lái)評(píng)估校準(zhǔn)參數(shù)的不確定度。然后對(duì)姿態(tài)序列進(jìn)行調(diào)整，以便為最不確定的參數(shù)捕獲更多的約束。參數(shù)的協(xié)方差與檢驗(yàn)誤差相關(guān)，因此也可以作為一個(gè)收斂準(zhǔn)則。

基于以上幾點(diǎn)，我們的主要貢獻(xiàn)是：

兩種不同的姿態(tài)選擇策略

一種有效的姿態(tài)選擇方案

本文的結(jié)構(gòu)如下：

第2節(jié)：介紹了所使用的相機(jī)模型和不確定度估計(jì)方法，并討論了一個(gè)合適的標(biāo)定圖案的選擇。

第3節(jié)：描述了我們的新的姿態(tài)選擇方法

第4節(jié)：描述了完整的標(biāo)定流程。

第5節(jié)：

對(duì)該方法在真實(shí)數(shù)據(jù)和合成數(shù)據(jù)進(jìn)行了評(píng)估，并與OpenCV和AprilCal[10]的標(biāo)定方法進(jìn)行了比較[3]。

分析了結(jié)果標(biāo)定的緊致性，并進(jìn)行了一個(gè)非正式的用戶調(diào)查，以顯示該方法的可用性。

最后，我們以第6節(jié)總結(jié)了我們的結(jié)果，并討論了其局限性和未來(lái)的工作。

02 準(zhǔn)備工作

2.1 估計(jì)和誤差分析

其中：

2.2 標(biāo)定圖案

我們的方法適用于任何平面標(biāo)定目標(biāo)，例如常見的棋盤和圓網(wǎng)格圖案。然而，對(duì)于交互式用戶指導(dǎo)，快速的板檢測(cè)是至關(guān)重要的。因此，我們使用在OpenCV中實(shí)現(xiàn)的自識(shí)別ChArUco[5]圖案。與經(jīng)典棋盤相比，這節(jié)省了檢測(cè)到的矩形對(duì)規(guī)范拓?fù)涞暮臅r(shí)順序。然而，我們也可以在這里使用任何最近開發(fā)的自我識(shí)別目標(biāo)[1,2,4]。 圖案大小被設(shè)置為個(gè)方塊，從而在每個(gè)捕獲幀的棋盤關(guān)節(jié)上進(jìn)行多達(dá)40次測(cè)量。這允許成功地完成初始化，即使沒有檢測(cè)到所有的標(biāo)記，如第4.3節(jié)中所討論的那樣。

03 姿勢(shì)選擇

我們的方法的核心思想是明確地指定使用Zhang[16]的方法進(jìn)行標(biāo)定的單個(gè)關(guān)鍵幀。 在本節(jié)中，首先討論了內(nèi)參和標(biāo)定板姿態(tài)的關(guān)系，我們將參數(shù)向量分為針孔和失真參數(shù)。對(duì)于每個(gè)參數(shù)組，我們?nèi)缓蠼o出我們的規(guī)則集，以生成一個(gè)最優(yōu)姿態(tài)，同時(shí)顯式地避免退化配置。

3.1 分離針孔和畸變參數(shù)

看公式1，我們可以看到，和都應(yīng)用于后投影，描述了二維到二維的映射。因此，我們可以考慮僅從一個(gè)均勻采樣圖像的板姿態(tài)來(lái)估計(jì)。然而，由于內(nèi)參和外參同時(shí)由[16]估計(jì)，不確定性增加。

引用：

圖2 失真圖，顯示了每個(gè)像素的?(p)的大小。 為了找到目標(biāo)姿態(tài)，我們應(yīng)用閾值化和擬合一個(gè)軸對(duì)齊的邊界框。

3.2 避免針孔相機(jī)的奇異性

3.3 姿勢(shì)生成

圖3 示例性姿態(tài)選擇狀態(tài)。頂部：色散指數(shù)。 左：經(jīng)過(guò)一個(gè)（洋紅色）和兩個(gè)（黃色）細(xì)分步驟后的固有標(biāo)定候選位置。 右：已經(jīng)訪問(wèn)過(guò)的區(qū)域的扭曲地圖。

3.4 初始化

04 標(biāo)定過(guò)程

在下面，我們將介紹參數(shù)細(xì)化和用戶指導(dǎo)部分以及任何使用的啟發(fā)式方法。這就完成了用于真實(shí)數(shù)據(jù)實(shí)驗(yàn)的標(biāo)定流程。

4.1 參數(shù)優(yōu)化

4.2 用戶指導(dǎo)

為了指導(dǎo)用戶，目標(biāo)相機(jī)姿態(tài)投影使用當(dāng)前估計(jì)的內(nèi)在參數(shù)。然后，這個(gè)投影被顯示為一個(gè)覆蓋在直播視頻流的頂部（參見圖1和補(bǔ)充材料中的視頻）。 驗(yàn)證用戶是否足夠接近目標(biāo)姿態(tài)我們使用Jaccard指數(shù)J(A，B)（交集聯(lián)合）計(jì)算的投影模式的目標(biāo)姿態(tài)T和面積的投影從當(dāng)前姿態(tài)估計(jì)e我們假設(shè)用戶已經(jīng)達(dá)到所需的姿態(tài)如果J(T，E)>0.8。 比較投影重疊而不是直接使用估計(jì)的姿態(tài)是更穩(wěn)健的，因?yàn)樽藨B(tài)估計(jì)通常是不可靠的——特別是在初始化期間。

4.3 啟發(fā)法

在整個(gè)過(guò)程中，我們強(qiáng)制執(zhí)行通用啟發(fā)式約束[6,7.2]，即約束的數(shù)量應(yīng)該超過(guò)未知數(shù)的5倍。所使用的校準(zhǔn)方法[16]不僅估計(jì)了固有參數(shù)C，而且還估計(jì)了模型平面和圖像平面的相對(duì)姿態(tài)，即參數(shù)R、三維旋轉(zhuǎn)和t、三維平移。當(dāng)使用M校準(zhǔn)圖像時(shí)，我們有d=9+6M未知數(shù)，每個(gè)點(diǎn)對(duì)應(yīng)提供了兩個(gè)約束。對(duì)于初始化(M=2)，我們有21個(gè)未知數(shù)，這意味著總共需要52.5個(gè)點(diǎn)對(duì)應(yīng)或每幀需要27個(gè)對(duì)應(yīng)。對(duì)于任何后續(xù)的幀，只需要15個(gè)點(diǎn)。 為了防止由于運(yùn)動(dòng)模糊和滾動(dòng)快門偽影而導(dǎo)致的不準(zhǔn)確的測(cè)量，圖案應(yīng)該是靜止的。為了確保這一點(diǎn)，我們要求在連續(xù)的幀中重新檢測(cè)到所有的點(diǎn)，并且這些點(diǎn)的平均運(yùn)動(dòng)要小于1.5px（根據(jù)經(jīng)驗(yàn)確定）。

05 評(píng)估

在合成數(shù)據(jù)和真實(shí)數(shù)據(jù)上對(duì)該方法進(jìn)行了評(píng)價(jià)。合成實(shí)驗(yàn)旨在驗(yàn)證第3節(jié)中提出的參數(shù)分割和姿態(tài)生成規(guī)則，并使用真實(shí)數(shù)據(jù)與其他方法進(jìn)行比較。此外，通過(guò)對(duì)測(cè)試集進(jìn)行直接優(yōu)化，估計(jì)了結(jié)果與真實(shí)數(shù)據(jù)的緊致性。

5.1 合成數(shù)據(jù)

圖4 姿態(tài)選擇策略和校準(zhǔn)參數(shù)不確定性的相關(guān)性（因此誤差條意味著“σ的方差”）。

5.2 真實(shí)數(shù)據(jù)

表1：我們的方法與AprilCal和OpenCV的真實(shí)數(shù)據(jù)進(jìn)行了比較。顯示五次以上的平均值。對(duì)測(cè)試集的訓(xùn)練結(jié)果在中。

5.3 標(biāo)定緊致度的分析

5.4 用戶調(diào)查

06 結(jié)論和未來(lái)的工作

我們提出了一種校準(zhǔn)方法來(lái)生成一組緊湊的校準(zhǔn)框架，適合于交互式用戶指導(dǎo)。避免了奇異的姿態(tài)配置，從而捕獲約9個(gè)關(guān)鍵幀就足以進(jìn)行精確的校準(zhǔn)。這比可比的解決方案少了30%。所提供的用戶指導(dǎo)允許沒有經(jīng)驗(yàn)的用戶在2分鐘內(nèi)完成校準(zhǔn)。校準(zhǔn)精度可以根據(jù)收斂閾值與所需的校準(zhǔn)時(shí)間進(jìn)行加權(quán)。攝像機(jī)參數(shù)的不確定性在整個(gè)過(guò)程中都被監(jiān)測(cè)，以確?？梢苑磸?fù)達(dá)到給定的置信水平。 我們的評(píng)估表明，所需的幀的數(shù)量仍然可以減少，以進(jìn)一步加快這個(gè)過(guò)程。我們只使用一個(gè)廣泛而簡(jiǎn)單的失真模型，在未來(lái)的工作中需要考慮薄棱鏡[15]、徑向[8]和傾斜傳感器。最終，我們可以加入對(duì)未使用的參數(shù)的檢測(cè)。這將允許從最復(fù)雜的失真模型開始，它可以在校準(zhǔn)過(guò)程中逐漸減少。 此外，該方法需要適應(yīng)特殊情況，如顯微鏡，其中視野深度限制可能的校準(zhǔn)角度或在大距離的校準(zhǔn)，因此縮放標(biāo)定板是不需要的。

審核編輯：劉清