相機(jī)標(biāo)定的理解及原理

一、什么是相機(jī)標(biāo)定？

相機(jī)標(biāo)定，是一個(gè)估計(jì)相機(jī)模型參數(shù)的過(guò)程：一組描述圖像捕獲過(guò)程內(nèi)部幾何形狀的參數(shù)。精確的相機(jī)校準(zhǔn)對(duì)于各種應(yīng)用都是必不可少的，例如多相機(jī)的圖像相互關(guān)聯(lián)，消除由于鏡頭不完美引起的幾何畸變，或精確測(cè)量真實(shí)世界的幾何特性(位置、距離、面積、直線度等)。

二、為什么要相機(jī)標(biāo)定？

本質(zhì)上是根據(jù)標(biāo)定后得到的相機(jī)參數(shù)建立相機(jī)成像幾何模型，由獲得的圖像重構(gòu)出三維場(chǎng)景。具體來(lái)說(shuō)：當(dāng)我們用相機(jī)獲取照片時(shí)，從圖像里得到一些空間信息（比如距離，尺寸等），是要利用二維圖像得到三維信息。拍照的時(shí)候把空間物體信息通過(guò)相機(jī)變成了二維圖像，這個(gè)過(guò)程本來(lái)是不可逆的。但如果我們可以找到一個(gè)相機(jī)的數(shù)學(xué)模型，就可以從二維圖像和數(shù)學(xué)模型反推得到原來(lái)的三維信息。

三、相機(jī)標(biāo)定的方法有哪些

相機(jī)標(biāo)定方法有：傳統(tǒng)相機(jī)標(biāo)定法、主動(dòng)視覺(jué)相機(jī)標(biāo)定方法、相機(jī)自標(biāo)定法。

傳統(tǒng)相機(jī)標(biāo)定法需要使用尺寸已知的標(biāo)定物，通過(guò)建立標(biāo)定物上坐標(biāo)已知的點(diǎn)與其圖像點(diǎn)之間的對(duì)應(yīng)，利用一定的算法獲得相機(jī)模型的內(nèi)外參數(shù)。根據(jù)標(biāo)定物的不同可分為三維標(biāo)定物和平面型標(biāo)定物。三維標(biāo)定物可由單幅圖像進(jìn)行標(biāo)定，標(biāo)定精度較高，但高精密三維標(biāo)定物的加工和維護(hù)較困難。平面型標(biāo)定物比三維標(biāo)定物制作簡(jiǎn)單，精度易保證，但標(biāo)定時(shí)必須采用兩幅或兩幅以上的圖像。傳統(tǒng)相機(jī)標(biāo)定法在標(biāo)定過(guò)程中始終需要標(biāo)定物，且標(biāo)定物的制作精度會(huì)影響標(biāo)定結(jié)果。同時(shí)有些場(chǎng)合不適合放置標(biāo)定物也限制了傳統(tǒng)相機(jī)標(biāo)定法的應(yīng)用。

基于主動(dòng)視覺(jué)的相機(jī)標(biāo)定法是指已知相機(jī)的某些運(yùn)動(dòng)信息對(duì)相機(jī)進(jìn)行標(biāo)定。該方法不需要標(biāo)定物，但需要控制相機(jī)做某些特殊運(yùn)動(dòng)，利用這種運(yùn)動(dòng)的特殊性可以計(jì)算出相機(jī)內(nèi)部參數(shù)。基于主動(dòng)視覺(jué)的相機(jī)標(biāo)定法的優(yōu)點(diǎn)是算法簡(jiǎn)單，往往能夠獲得線性解，故魯棒性較高，缺點(diǎn)是系統(tǒng)的成本高、實(shí)驗(yàn)設(shè)備昂貴、實(shí)驗(yàn)條件要求高，而且不適合于運(yùn)動(dòng)參數(shù)未知或無(wú)法控制的場(chǎng)合。

自標(biāo)定算法中主要是利用相機(jī)運(yùn)動(dòng)的約束。相機(jī)的運(yùn)動(dòng)約束條件太強(qiáng)，因此使得其在實(shí)際中并不實(shí)用。利用場(chǎng)景約束主要是利用場(chǎng)景中的一些平行或者正交的信息。其中空間平行線在相機(jī)圖像平面上的交點(diǎn)被稱為消失點(diǎn)，它是射影幾何中一個(gè)非常重要的特征，所以很多學(xué)者研究了基于消失點(diǎn)的相機(jī)自標(biāo)定方法。自標(biāo)定方法靈活性強(qiáng)，可對(duì)相機(jī)進(jìn)行在線定標(biāo)。但由于它是基于絕對(duì)二次曲線或曲面的方法，其算法魯棒性差。

四、世界平面檢測(cè)與校正

與觀察和檢查平面（平坦）表面或放置在此類表面（例如傳送帶）上的物體有關(guān)的視覺(jué)系統(tǒng)可以利用Adaptive Vision Studio的圖像到世界平面轉(zhuǎn)換機(jī)制，該機(jī)制可以：

從原始圖像上的位置計(jì)算現(xiàn)實(shí)世界的坐標(biāo)。例如，這對(duì)于與外部設(shè)備（例如工業(yè)機(jī)器人）的互操作性至關(guān)重要。假設(shè)在圖像上檢測(cè)到對(duì)象，并且需要將其位置傳輸?shù)綑C(jī)器人。檢測(cè)到的對(duì)象位置以圖像坐標(biāo)給出，但是機(jī)器人在現(xiàn)實(shí)世界中使用不同的坐標(biāo)系進(jìn)行操作，需要一個(gè)由世界平面定義的通用坐標(biāo)系。

將圖像校正到世界平面上。當(dāng)使用原始圖像進(jìn)行圖像分析不可行時(shí)（由于高度的鏡頭和/或透視失真），這是必需的。對(duì)校正圖像執(zhí)行的分析結(jié)果也可以轉(zhuǎn)換為由世界平面坐標(biāo)系定義的真實(shí)坐標(biāo)。另一個(gè)用例是將所有工業(yè)相機(jī)的圖像校正到公共世界平面上的多工業(yè)相機(jī)系統(tǒng)校正，從而在這些校正后的圖像之間提供簡(jiǎn)單且定義明確的關(guān)系，從而可以輕松疊加或拼接。

下圖顯示了圖像坐標(biāo)系。圖像坐標(biāo)以像素表示，原點(diǎn)（0,0）對(duì)應(yīng)于圖像的左上角。X軸從圖像的左邊緣開始，并向右邊緣。Y軸從圖像的頂部開始向圖像的底部開始。所有圖像像素都具有非負(fù)坐標(biāo)。

圖像坐標(biāo)中的方向和像素位置

這個(gè)世界平面是一個(gè)特殊的平面，在真實(shí)的三維世界中定義。它可以任意放置在相機(jī)上，有一個(gè)定義的原點(diǎn)和XY軸。

下面的圖像顯示了世界平面。第一幅圖像呈現(xiàn)原始圖像，這是由一個(gè)尚未安裝在感興趣物體上方的相機(jī)拍攝的。第二個(gè)圖像顯示的是世界平面，它已與物體所在的表面對(duì)齊。這允許從原始圖像上的像素位置計(jì)算世界坐標(biāo)，或者進(jìn)行圖像校正，如下一幅圖像所示。

不完全定位的相機(jī)捕獲的感興趣對(duì)象

世界平面坐標(biāo)系疊加在原始圖像上

圖像到世界平面坐標(biāo)的計(jì)算

圖像校正，在世界坐標(biāo)下，將從點(diǎn)(0，0)到(5，5)的區(qū)域裁剪

五、如何實(shí)現(xiàn)相機(jī)標(biāo)定

使用針孔相機(jī)模型

濾波器通過(guò)有效地最小化RMS重投影誤差（圖像上觀察到的網(wǎng)格點(diǎn)之間的平均平方距離的平方根），從一組平面校準(zhǔn)網(wǎng)格中估計(jì)工業(yè)相機(jī)的固有參數(shù)-焦距，主點(diǎn)位置和畸變系數(shù)，使用估計(jì)的參數(shù)（即網(wǎng)格姿態(tài)和相機(jī)參數(shù)）將關(guān)聯(lián)的網(wǎng)格坐標(biāo)投影到圖像平面上。

如果至少一個(gè)校準(zhǔn)網(wǎng)格不垂直于相機(jī)的光軸，則可以通過(guò)濾鏡計(jì)算焦距。或者，可以通過(guò)inFocalLength將焦距設(shè)置為固定值。inFocalLength以像素為單位測(cè)量，可以通過(guò)傳感器和鏡頭參數(shù)計(jì)算得出：

其中f_pix焦距測(cè)量為像素，f_鏡頭焦距測(cè)量為毫米，pp-傳感器像素間距測(cè)量為每像素毫米，d-工業(yè)相機(jī)結(jié)合或/和圖像縮小因子。

InFocalLength也可以從視角獲得，對(duì)于水平情況，適用以下公式：

其中f_pix焦距以像素為單位，w-圖像寬度，α-水平視角

支持一些失真模型類型。最簡(jiǎn)單的部門支持大多數(shù)用例，即使校準(zhǔn)數(shù)據(jù)稀疏也具有可預(yù)測(cè)的行為。高階模型可能更準(zhǔn)確，但是它們需要更大的高質(zhì)量校準(zhǔn)點(diǎn)數(shù)據(jù)集，通常需要在低于0.1 pix的整個(gè)圖像量級(jí)上實(shí)現(xiàn)高水平的位置精度。當(dāng)然，這只是經(jīng)驗(yàn)法則，因?yàn)槊總€(gè)鏡頭都不同，并且有例外。

失真模型類型與OpenCV兼容，并使用標(biāo)準(zhǔn)化圖像坐標(biāo)用方程表示：

其中，x’和y’不失真，x”和y”是失真的歸一化圖像坐標(biāo)。

相機(jī)模型可直接用于獲取未失真的圖像（該圖像將由具有相同基本參數(shù)的相機(jī)拍攝，但不存在鏡頭失真），但是在大多數(shù)情況下，相機(jī)校準(zhǔn)只是某些條件的先決條件其他操作。例如，當(dāng)使用照相機(jī)檢查平面（或放置在該表面上的物體）時(shí)，需要照相機(jī)模型來(lái)執(zhí)行世界平面校準(zhǔn)

一組用于基本校準(zhǔn)的柵格圖像

使用OUT ReprojectionErrorSegments用于識(shí)別圖像點(diǎn)及其網(wǎng)格坐標(biāo)的不良關(guān)聯(lián)。

InImageGrids-兩分交換