一 先導(dǎo)與重點(diǎn)

文章主要介紹自動駕駛技術(shù)中幾種常用的坐標(biāo)系統(tǒng)，以及他們之間如何完成關(guān)聯(lián)和轉(zhuǎn)換，最終構(gòu)建出統(tǒng)一的環(huán)境模型。這里重點(diǎn)理解自車到相機(jī)剛體轉(zhuǎn)換(外參)，相機(jī)到圖像轉(zhuǎn)換(內(nèi)參)，圖像到像素有單位轉(zhuǎn)換。3d向2d轉(zhuǎn)換會有相應(yīng)的畸變，平移等。
重點(diǎn)：自車坐標(biāo)系<->相機(jī)機(jī)體坐標(biāo)系<->像平面坐標(biāo)系<->像素坐標(biāo)系?難點(diǎn)：要考慮圖像畸變，去畸變和加畸變都是在像平面上去補(bǔ)償

二 簡介

視覺系統(tǒng)一共有四個坐標(biāo)系：像素平面坐標(biāo)系（u,v）、圖像坐標(biāo)系（x,y）、相機(jī)坐標(biāo)系（）和世界坐標(biāo)系（）。每種坐標(biāo)系之間均存在聯(lián)系，那么如何通過圖像像素坐標(biāo)定位到世界坐標(biāo)系的坐標(biāo)，需要通過相機(jī)標(biāo)定來解決，其中關(guān)鍵的算法部分在于坐標(biāo)系轉(zhuǎn)換，而變換則需要通過齊次坐標(biāo)的表示方式來完成。 ?

三 各個傳感器坐標(biāo)系

3.1 相機(jī)坐標(biāo)系統(tǒng)

攝像頭的作用是把三維世界中的形狀、顏色信息，壓縮到一張二維圖像上。基于攝像頭的感知算法則是從二維圖像中提取并還原三維世界中的元素和信息，如車道線，車輛、行人等，并計算他們與自己的相對位置。?感知算法和相機(jī)相關(guān)的坐標(biāo)系有圖像坐標(biāo)系（像素坐標(biāo)系）、攝像機(jī)坐標(biāo)系、像平面坐標(biāo)系

3.1.1 圖像坐標(biāo)系（or 像素坐標(biāo)系）

電腦上存儲的照片或圖像，一般以左上角為原點(diǎn)，向右為x正方向，向下為y正方向，單位以“像素”最為常用。圖像坐標(biāo)系為二維坐標(biāo)系，標(biāo)記為(Xv, Yv)。

3.1.2 攝像機(jī)坐標(biāo)系

由于圖像坐標(biāo)系向右為x，向下為y，所以攝像機(jī)坐標(biāo)系以鏡頭主光軸中心為原點(diǎn)，一般向右為x正方向，向下為y正方向，向前為z正方向。這樣，x，y方向與圖像坐標(biāo)系的方向吻合，z方向即為景深，攝像機(jī)坐標(biāo)系記為(Xc, Yc)

3.1.3 像平面坐標(biāo)系（or 成像坐標(biāo)系）

為了能夠定量描述三維空間到二維圖像的映射關(guān)系，圖形學(xué)里引入了像平面坐標(biāo)系。它是攝像機(jī)坐標(biāo)系的一個平移，中心仍在攝像機(jī)主光軸上，距離光軸中心的距離等于攝像機(jī)的焦距?我們知道攝像機(jī)會在光軸中心后方的底片上成一個縮小的倒像，是真正的像平面(Xf, Yf)。但是為了分析和計算方便，我們會在光軸中心前方設(shè)立一個虛擬像平面。虛擬像平面上的成像為正像，大小與真實(shí)倒像相同 ?

像平面坐標(biāo)系 ?

3.5 世界坐標(biāo)系

根據(jù)情況而定，可以表示任何物體，此時是由于相機(jī)而引入的。單位m。 ?

世界坐標(biāo)系?，相機(jī)坐標(biāo)系?，成像坐標(biāo)系?及像素坐標(biāo)系 ?

四 Lidar 坐標(biāo)系

Lidar (Light Detection and Ranging) 是一種遠(yuǎn)程感測技術(shù)，使用激光光束測量與物體的距離。360度旋轉(zhuǎn)發(fā)射射線，根據(jù)不同目標(biāo)反射率不同反射而形成電云。在自動駕駛和機(jī)器人領(lǐng)域，Lidar常被用作一個主要的傳感器來獲取周圍環(huán)境的3D信息。在多數(shù)情況下，Lidar坐標(biāo)系為右手坐標(biāo)系，但具體定義可能會因Lidar制造商而異。 ?

4.1 定義

X軸:?通常指向Lidar前方。當(dāng)激光束直接向前發(fā)射時，與該方向的距離測量會在X軸上產(chǎn)生一個正值。Y軸:?通常指向Lidar的左側(cè)。當(dāng)激光束直接向左側(cè)發(fā)射時，與該方向的距離測量會在Y軸上產(chǎn)生一個正值。Z軸:?通常指向Lidar的上方，與X和Y軸垂直。高度測量通常沿Z軸進(jìn)行，正值代表物體高于Lidar設(shè)備，而負(fù)值代表低于Lidar設(shè)備。 ?

4.2 重要性

車載Lidar系統(tǒng)的坐標(biāo)系與車輛坐標(biāo)系可能不完全對齊，需要一個轉(zhuǎn)換矩陣來在兩者之間進(jìn)行坐標(biāo)變換。

數(shù)據(jù)標(biāo)注、地圖生成、物體檢測等任務(wù)需要明確Lidar坐標(biāo)系的定義。

對于與其他傳感器的數(shù)據(jù)融合，例如攝像頭，知道各自的坐標(biāo)系是非常關(guān)鍵的，以便進(jìn)行正確的數(shù)據(jù)對齊和融合。

當(dāng)與攝像頭、雷達(dá)或其他傳感器進(jìn)行數(shù)據(jù)融合時，通常需要知道Lidar與這些傳感器之間的外部標(biāo)定參數(shù)（例如，旋轉(zhuǎn)和平移矩陣），以便在它們之間進(jìn)行坐標(biāo)變換。

五 自車坐標(biāo)系

一般環(huán)境中選擇一個參考坐標(biāo)系來描述傳感器和物體的位置，該坐標(biāo)系稱為世界坐標(biāo)系；自車坐標(biāo)系一般指的是以車體后軸中心為原點(diǎn)（因為后軸中心不會隨著車擺動而發(fā)生相對變化），左前上或右前上的空間坐標(biāo)系，左（右）一般為橫向，前一般為縱向，上指地面以上空間，坐標(biāo)系隨著車運(yùn)動而運(yùn)動。所有的下游需要感知輸出的目標(biāo)都要在自車坐標(biāo)系下面，BEV視角目標(biāo)也是指的在這個坐標(biāo)系下 ?

一般三維空間坐標(biāo)系用三個正交軸X,Y,Z表示物體的位置，用繞這三個正交軸的旋轉(zhuǎn)角度（roll 滾動角, pitch 俯仰角, yaw 偏航角）表示物體的姿態(tài)。時間坐標(biāo)系只有一個維度。為了表述方便，我們一般將空間坐標(biāo)和時間坐標(biāo)分開討論。

六 攝像機(jī)的內(nèi)參和外參

6.1 相機(jī)內(nèi)參

內(nèi)參用來確定攝像機(jī)從三維空間到二維圖像的投影關(guān)系。主要包含三個參數(shù)，相機(jī)主點(diǎn)，相機(jī)焦距，畸變系數(shù)。內(nèi)參一般由商家給定，也可以進(jìn)行攝像機(jī)標(biāo)定。在自動駕駛應(yīng)用中，攝像機(jī)的內(nèi)參為常數(shù)，使用中不會發(fā)生變化，但需要在使用前做好標(biāo)定工作。攝像機(jī)的拍攝過程，可以抽象成是從三維攝像機(jī)坐標(biāo)系映射到二維像平面坐標(biāo)系，再映射到圖像坐標(biāo)系的過程。 ?

6.1 焦距 (f)

它描述了圖像傳感器與攝像機(jī)的透鏡之間的距離。通常用兩個參數(shù) () 和 () 來表示，分別對應(yīng)于圖像的x軸和y軸。

在很多情況下，我們假定 ()，這意味著像素在兩個方向上都是正方形的。

6.2 主點(diǎn)

它是圖像中的一個點(diǎn)，通常接近圖像的中心。它是3D空間中的點(diǎn)投影到圖像平面時所對應(yīng)的2D點(diǎn)。

通常用兩個參數(shù) () 和 () 表示，它們對應(yīng)于圖像的x軸和y軸上的坐標(biāo)。

6.3 畸變系數(shù)

真實(shí)攝像機(jī)的透鏡可能會引入畸變，導(dǎo)致圖像失真。常見的畸變有徑向畸變和切向畸變。

常用的徑向畸變系數(shù)為 ($k_1, k_2, k_3$)。

切向畸變系數(shù)為 ($p_1, p_2$)。

攝像機(jī)的內(nèi)參通常可以表示為一個矩陣： ?

這個矩陣通常被稱為內(nèi)參矩陣或相機(jī)矩陣。

6.2 相機(jī)外參

通過二維圖像推斷物體在三維攝像機(jī)坐標(biāo)系中的位置，例如獲得距離深度信息。從二維圖像中獲取三維距離信息，如果需要獲得物體在世界坐標(biāo)系中的位置，則還需要知道攝像機(jī)在世界坐標(biāo)系中的位姿。這一位姿表示被稱為攝像機(jī)的外部參數(shù)，簡稱外參，用來決定攝像機(jī)坐標(biāo)與世界坐標(biāo)系之間相對位置關(guān)系。自動駕駛應(yīng)用中，得到這一位置關(guān)系還需要一系列的標(biāo)定和定位工作。相機(jī)相對其它坐標(biāo)系，旋轉(zhuǎn)+平移矩陣，其中旋轉(zhuǎn)外參與上述歐拉角【yaw，patch，roll】，旋轉(zhuǎn)順序一般為（z-y-x), 單位度；平移外參，相機(jī)到目標(biāo)坐標(biāo)系中的平移距離，單位米

七 自車坐標(biāo)系與世界坐標(biāo)系

7.1 自車坐標(biāo)系 (Vehicle Coordinate System)

這是固定在車輛上的坐標(biāo)系。

通常，X軸指向車輛的前方、Y軸指向車輛的右側(cè)（或左側(cè)，這取決于約定）、Z軸指向車輛的上方。

這個坐標(biāo)系的原點(diǎn)通常位于車輛的某個固定點(diǎn)，例如車輛的中心、車輛的后軸等，這取決于特定的應(yīng)用和約定。

7.2 世界坐標(biāo)系 (World Coordinate System)

這是一個固定的、全局的坐標(biāo)系，用于描述環(huán)境中的物體和車輛。

世界坐標(biāo)系的原點(diǎn)和方向通常根據(jù)特定的應(yīng)用或場景來選擇。例如，它可以定位在一個地圖的某個固定點(diǎn)，或者是某個場景的中心。

世界坐標(biāo)系為多個實(shí)體提供了一個共同的參考框架，允許它們之間進(jìn)行相對定位和導(dǎo)航。

關(guān)系與轉(zhuǎn)換：- 由于車輛在世界中是移動的，所以自車坐標(biāo)系和世界坐標(biāo)系之間的關(guān)系是時間變化的。- 為了在這兩個坐標(biāo)系之間進(jìn)行轉(zhuǎn)換，通常需要一個轉(zhuǎn)換矩陣或變換（通常由旋轉(zhuǎn)和平移組成）。這個轉(zhuǎn)換可以通過各種傳感器（例如GPS、IMU、激光雷達(dá)）和算法（例如SLAM）獲得。- 轉(zhuǎn)換可以表示為一個4x4的齊次坐標(biāo)矩陣，允許我們從一個坐標(biāo)系轉(zhuǎn)換到另一個坐標(biāo)系。 ? 大多數(shù)情況下自車坐標(biāo)系等同于世界坐標(biāo)系，本文章也是這么理解的。

八 坐標(biāo)系之間轉(zhuǎn)換關(guān)系

8.1 從世界坐標(biāo)系到相機(jī)坐標(biāo)系

物體之間的坐標(biāo)系變換都可以表示坐標(biāo)系的旋轉(zhuǎn)變換加上平移變換，則世界坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系也是如此。繞著不同的軸旋轉(zhuǎn)不同的角度得到不同的旋轉(zhuǎn)矩陣。?繞Z軸旋轉(zhuǎn)θ示意圖: ?

8.2 相機(jī)坐標(biāo)系到圖像坐標(biāo)系

從相機(jī)坐標(biāo)系到圖像坐標(biāo)系，屬于透視投影關(guān)系，從3D轉(zhuǎn)換到2D。也可以看成是針孔模型的改變模型。滿足三角形相似定理。 ?

8.3 圖像坐標(biāo)系到像素坐標(biāo)系

此時與前面的坐標(biāo)系變換不同，此時沒有旋轉(zhuǎn)變換，但是坐標(biāo)原點(diǎn)位置不一致，大小不一致，則設(shè)計伸縮變換及平移變換。 ?

8.4 四個坐標(biāo)系之間的關(guān)系

通過最終的轉(zhuǎn)換關(guān)系來看，一個三維中的坐標(biāo)點(diǎn)，的確可以在圖像中找到一個對應(yīng)的像素點(diǎn)，但是反過來，通過圖像中的一個點(diǎn)找到它在三維中對應(yīng)的點(diǎn)就很成了一個問題，因為我們并不知道等式左邊的的值。 ?

紅框內(nèi)即為外參，R和T分別為旋轉(zhuǎn)和平移量。內(nèi)參為是相機(jī)固有的屬性，實(shí)際上就是焦距f，像元尺寸dx,dy。很明顯，表示的是點(diǎn)離光軸的距離。

九 總結(jié)

梳理了自動駕駛的各種坐標(biāo)系，展現(xiàn)自動駕駛各坐標(biāo)系間的關(guān)系，最終得到像素坐標(biāo)系與世界坐標(biāo)系的轉(zhuǎn)換關(guān)系。 ?

編輯：黃飛