康謀技術(shù) | 深入探討：自動(dòng)駕駛中的相機(jī)標(biāo)定技術(shù)

隨著自動(dòng)駕駛技術(shù)的快速發(fā)展，多傳感器的數(shù)據(jù)采集和融合可以顯著提高系統(tǒng)的冗余度和容錯(cuò)性，進(jìn)而保證決策的快速性和正確性。在項(xiàng)目開發(fā)迭代過程中，傳感器標(biāo)定扮演著至關(guān)重要的角色，它位于數(shù)據(jù)采集平臺(tái)與感知融合算法之間，是確保傳感器數(shù)據(jù)準(zhǔn)確性的基礎(chǔ)，同時(shí)也是實(shí)現(xiàn)傳感器融合的關(guān)鍵先決條件。

在眾多傳感器中，相機(jī)以其豐富的信息獲取能力和成本效益而成為自動(dòng)駕駛系統(tǒng)中的首選。相機(jī)標(biāo)定可以提高空間定位精度，消除畸變影響，統(tǒng)一傳感器數(shù)據(jù)以及增強(qiáng)系統(tǒng)的魯棒性。

一、相機(jī)的工作原理

通過相機(jī)拍攝圖像，可以將3D世界投影成2D圖像。因此可以把相機(jī)模型看作一個(gè)從3D空間到2D空間的映射。采用小孔成像模型來描述相機(jī)的成像原理。

小孔成像模型由光心、光軸和成像平面幾個(gè)部分組成，且假設(shè)所有成像過程都滿足光的直線傳播條件。根據(jù)光的直線傳播理論，空間中的物點(diǎn)反射光經(jīng)過光心后，投影到平面形成一個(gè)倒立的像點(diǎn)。雖然作為理想的成像模型，小孔成像的物理性質(zhì)極佳，但是實(shí)際的相機(jī)光學(xué)系統(tǒng)中大多是由透鏡組成的，在透鏡成像中需要滿足以下條件：

其中，表示透鏡的焦距，表示物距，表示像距，如圖1所示。

圖1 凸透鏡成像原理（來源：筆者自己繪制）

相機(jī)成像系統(tǒng)主要有4個(gè)坐標(biāo)系，分別是世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系和像素坐標(biāo)系，如圖2所示。世界坐標(biāo)系通過平移和旋轉(zhuǎn)得到相機(jī)坐標(biāo)系，相機(jī)坐標(biāo)系通過成像模型中的相似三角形原理得到圖像坐標(biāo)系，圖像坐標(biāo)系通過平移和縮放得到像素坐標(biāo)系。

圖2 相機(jī)成像系統(tǒng)中4個(gè)坐標(biāo)系之間的關(guān)系（來源：筆者自己繪制）

這些坐標(biāo)系描述了從三維空間到二維圖像的坐標(biāo)變換過程。標(biāo)定的目標(biāo)是確定這種變換關(guān)系，即三維物體表面點(diǎn)與二維圖像對(duì)應(yīng)點(diǎn)之間的關(guān)系，從而建立攝像頭成像的幾何模型。

二、相機(jī)的標(biāo)定參數(shù)

相機(jī)的標(biāo)定參數(shù)主要包括內(nèi)參、外參和畸變參數(shù)。從世界坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換是圖像處理和計(jì)算機(jī)視覺中的關(guān)鍵步驟，它允許我們理解圖像中物體的真實(shí)位置和尺寸，進(jìn)而實(shí)現(xiàn)各種應(yīng)用，如自動(dòng)駕駛中的物體檢測(cè)與定位。

• 內(nèi)參是相機(jī)自身的固有屬性，包括焦距、主點(diǎn)坐標(biāo)和像素的物理尺寸等信息，這些參數(shù)不會(huì)因外界環(huán)境而改變，可以通過標(biāo)定獲得。相機(jī)的內(nèi)參矩陣

，

內(nèi)參矩陣是實(shí)現(xiàn)圖像坐標(biāo)系與像素坐標(biāo)系轉(zhuǎn)換的關(guān)鍵。dx,dy 分別表示在x和y軸方向上一個(gè)像素占據(jù)的實(shí)際長(zhǎng)度，r 表示徑向畸變參數(shù)之一，f 表示焦距，u0,v0表示像素坐標(biāo)下的主坐標(biāo)點(diǎn)。

• 外參描述了攝像頭在世界坐標(biāo)系中的位置和方向，包括旋轉(zhuǎn)角度和平移參數(shù)，它說明了現(xiàn)實(shí)世界點(diǎn)是如何通過平移和旋轉(zhuǎn)映射到攝像頭坐標(biāo)系的。其中，R 為旋轉(zhuǎn)矩陣，負(fù)責(zé)實(shí)現(xiàn)坐標(biāo)系之間的旋轉(zhuǎn)變換。T為平移矩陣，負(fù)責(zé)實(shí)現(xiàn)坐標(biāo)系之間的平移變換。
• 畸變參數(shù)則是用來描述攝像頭成像過程中產(chǎn)生的形狀改變和扭曲?；冎饕◤较蚧兒颓邢蚧?，即相機(jī)的徑向畸變系數(shù)k1,k2,k3 等和相機(jī)的切向畸變系數(shù)p1,p2 等。常見的畸變類型，如圖3所示。

圖3 圖像畸變的兩種類型（來源：筆者自己繪制）

因此，世界坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換關(guān)系為：

其中，相機(jī)坐標(biāo)系到圖像坐標(biāo)系轉(zhuǎn)換時(shí)，由于相機(jī)鏡頭制造工藝緣故，需要進(jìn)行畸變橋正。徑向畸變是由于透鏡形狀的制造工藝導(dǎo)致的，且越向透鏡邊緣移動(dòng)，徑向畸變就越嚴(yán)重。矯正徑向畸變前后的坐標(biāo)關(guān)系為：

切向畸變是由透鏡和CMOS或者CCD的安裝位置誤差導(dǎo)致的。切向畸變需要兩個(gè)額外的畸變參數(shù)來描述，矯正前后的坐標(biāo)關(guān)系為：

因此，一共需要5個(gè)畸變參數(shù)。求出上述這些參數(shù)即完成了標(biāo)定過程。

三、標(biāo)定方法

標(biāo)定方法是視覺領(lǐng)域中攝像頭校準(zhǔn)的關(guān)鍵步驟，直接影響視覺系統(tǒng)的輸出結(jié)果。主要的標(biāo)定方法包括自標(biāo)定、根據(jù)參照物進(jìn)行標(biāo)定和基于主動(dòng)視覺的標(biāo)定法。

在這些方法中，張正友標(biāo)定法因其簡(jiǎn)便、高精度和廣泛的適用性而備受推崇。它利用雙平面棋盤格結(jié)構(gòu)作為標(biāo)定物，通過觀察棋盤格在不同視角下的圖像，可以計(jì)算出相機(jī)的內(nèi)外參數(shù)?？朔藗鹘y(tǒng)方法需要高精度標(biāo)定物的缺點(diǎn)，并提高了自標(biāo)定的精度。張氏標(biāo)定法的主要貢獻(xiàn)在于提出了計(jì)算相機(jī)參數(shù)優(yōu)化初值的方法，成為計(jì)算機(jī)視覺領(lǐng)域廣泛應(yīng)用的標(biāo)定方法之一。

張正友標(biāo)定法的整體流程如下：

1. 制作標(biāo)定板并從不同角度（平移、旋轉(zhuǎn)）拍攝若干張圖像（10-20張）。
2. 檢測(cè)圖像中的特征點(diǎn)。
3. 求解理想無畸變情況下的內(nèi)參、外參。
4. 使用最小二乘法求出實(shí)際的徑向畸變參數(shù)。
5. 使用極大似然法優(yōu)化估計(jì)，結(jié)合內(nèi)參、外參、畸變參數(shù)，提升估計(jì)精度。
6. 得到實(shí)際的內(nèi)參、外參、畸變參數(shù)。

相機(jī)標(biāo)定是自動(dòng)駕駛系統(tǒng)中不可或缺的一環(huán)，它直接影響到系統(tǒng)的感知能力和決策準(zhǔn)確性。通過深入理解和掌握相機(jī)標(biāo)定的技術(shù)要點(diǎn)，我們可以為自動(dòng)駕駛車輛提供更加準(zhǔn)確和可靠的視覺感知能力，推動(dòng)自動(dòng)駕駛技術(shù)的發(fā)展和應(yīng)用。

作者介紹：鄭工

康謀科技高級(jí)自動(dòng)駕駛技術(shù)研發(fā)工程師，擁有超過5年的汽車電子和自動(dòng)駕駛數(shù)據(jù)分析經(jīng)驗(yàn)，專精于高精度傳感器數(shù)據(jù)的獲取、整合與優(yōu)化。在數(shù)據(jù)采集技術(shù)方面造詣深厚，尤其在車載網(wǎng)絡(luò)和實(shí)時(shí)數(shù)采系統(tǒng)上富有實(shí)踐成果，設(shè)計(jì)并優(yōu)化了多種數(shù)據(jù)采集與傳輸方案。曾多次代表公司參加海外技術(shù)研討會(huì)和培訓(xùn)項(xiàng)目，深入了解國(guó)際自動(dòng)駕駛行業(yè)的最新動(dòng)態(tài)和技術(shù)趨勢(shì)，積累了豐富的國(guó)際視野。