引言

相信很多小伙伴們通過之前攝像頭的基礎(chǔ)知識講解，已經(jīng)對車載攝像頭有一定的了解，攝像頭兩大主要功能是定位和感知，我們通過不同的軟硬件來實現(xiàn)前向碰撞預(yù)警、行人探測與防撞預(yù)警、車道保持與危險預(yù)警、車道偏離預(yù)警、交通標(biāo)志識別等功能，那么攝像頭在我們現(xiàn)有汽車上這些輔助駕駛功能是如何實現(xiàn)的呢？本期小編整理了一些視覺傳感器相關(guān)技術(shù)方面的資料，讓我們一起來探究一下吧。

01視覺感知概述

目前自動駕駛的視覺感知算法，業(yè)內(nèi)一般分成傳統(tǒng)視覺算法和深度學(xué)習(xí)算法，兩者既有著關(guān)聯(lián)，也有著不同點。本期小編通過傳統(tǒng)視覺感知的幾個關(guān)鍵步驟來為大家講解，我們下期再聊關(guān)于深度學(xué)習(xí)方面的視覺感知算法。

02標(biāo)定及特征提取

一、標(biāo)定

標(biāo)定，是為了幫助攝像頭最終成像時獲得清晰圖像或通過攝像頭獲得物體大小、測量距離結(jié)果準(zhǔn)確度所作的軟硬件校準(zhǔn)及相應(yīng)算法調(diào)試的過程。標(biāo)定的精度及算法的穩(wěn)定性將直接影響攝像頭的準(zhǔn)確性。

根據(jù)攝像頭自身產(chǎn)品因素和外部安裝因素，自身內(nèi)部標(biāo)定簡稱內(nèi)參，外部安裝的標(biāo)定簡稱外參。

1 內(nèi)參

攝像可以用來標(biāo)定的自身參數(shù)稱為內(nèi)參。內(nèi)參的參數(shù)一般包含鏡頭畸變，焦距，像素尺寸寬，像素尺寸高，中心點坐標(biāo)寬，中心點坐標(biāo)高，圖片尺寸。下面我們就來探究一下關(guān)鍵的內(nèi)參值：鏡頭畸變、光心以及焦距。

鏡頭畸變

我們所熟知的攝像頭鏡頭是由幾片透鏡組成的光學(xué)儀器，但是由于透鏡的固有特性（凸透鏡匯聚光線、凹透鏡發(fā)散光線）會導(dǎo)致相機(jī)成像存在著透視失真，透視失真也被統(tǒng)稱為鏡頭畸變。因為這種鏡頭畸變是物理層面無法消除的，只能改善，所以就需要對鏡頭畸變進(jìn)行校準(zhǔn)標(biāo)定。

鏡頭畸變根據(jù)成像效果又分為徑向畸變和切向畸變。

徑向畸變，被攝物體在經(jīng)過光學(xué)系統(tǒng)成像時，會造成圖像點從主點開始沿著徑向線發(fā)生位移，如下圖所示：

切向畸變，由于裝配方面的誤差，相機(jī)傳感器（CMOS或CCD）與光學(xué)鏡頭之間并非完全平行，因此成像存在切向畸變，但在成像方面通常沒有徑向畸變那么嚴(yán)重。

光心，是位于透鏡主軸上中央的一個特殊點，凡是通過該點的光，其傳播方向不變。通過標(biāo)定光心的真實位置，才能計算出攝像頭的焦點和焦距所在的準(zhǔn)確位置。

焦距，也稱為焦長，以相機(jī)為例，焦距是從鏡片光心到底片、CCD或CMOS等成像平面的距離。當(dāng)對同一距離遠(yuǎn)的同一個被攝目標(biāo)拍攝時，鏡頭焦距長的所成的像大，鏡頭焦距短的所成的像小。標(biāo)定焦距后的準(zhǔn)確度將決定相機(jī)最終成像的清晰度和成像大小。

2 外參

外參標(biāo)定，是攝像頭將自身的位置坐標(biāo)與被觀測物體的現(xiàn)實世界坐標(biāo)系之間建立相對位置關(guān)系。攝像頭不僅需要上述的內(nèi)部標(biāo)定，也需要在安裝到汽車內(nèi)后進(jìn)行外部軟硬件聯(lián)動調(diào)試，以確保攝像頭的成像效果和物體位置測量距離的準(zhǔn)確度。

二、傳統(tǒng)圖像特征提取

眾所周知，計算機(jī)是不認(rèn)識圖像的，只認(rèn)識數(shù)字0和1。為了使計算機(jī)能夠“理解”圖像，從而具有真正意義上的“視覺”，于是我們通過從圖像中提取有用的數(shù)據(jù)或信息，得到圖像的“非圖像表示或描述”，如數(shù)值、向量和符號等，這一過程就是特征提取，而提取出來的這些“非圖像表示或描述”就是特征。

有了這些數(shù)值或向量形式的特征，再通過建立特征庫，我們就可以通過訓(xùn)練過程教會計算機(jī)如何懂得這些特征，從而使計算機(jī)具有識別圖像的本領(lǐng)。

上述的特征提取一般包括點、線，圖像分割，光流，機(jī)器學(xué)習(xí)特征，SVM行人車輛識別等要素提取。

看起來挺簡單的原理，其實是個十分復(fù)雜的過程，小編曾在《攝像頭基礎(chǔ)介紹》里面舉過一個例子，比如說我們打開搜索網(wǎng)站搜索“桌子”，會發(fā)現(xiàn)有很多種的樣子。

雖然桌子樣式有很多，但是它也是由點、線、面組成的。計算機(jī)為了更好的識別出物體是什么，還會將圖片上相同顏色區(qū)域進(jìn)行圖像分割，再配合光流變化和機(jī)器學(xué)習(xí)得到的特征要素等，計算機(jī)就能識別出圖片上的物體是桌子而不是椅子。

目前圖像特征的提取主要有兩種方法：傳統(tǒng)圖像特征提取方法和深度學(xué)習(xí)方法。

傳統(tǒng)的特征提取方法：基于圖像本身的特征進(jìn)行提??；

深度學(xué)習(xí)方法：基于樣本自動訓(xùn)練出區(qū)分圖像的特征分類器；

傳統(tǒng)的圖像特征提取一般分為三個步驟：預(yù)處理、特征提取、特征處理；然后在利用機(jī)器學(xué)習(xí)等方法對特征進(jìn)行分類等操作。

預(yù)處理：預(yù)處理的目的主要是排除干擾因素，突出特征信息；主要的方法有：

圖片標(biāo)準(zhǔn)化：調(diào)整圖片尺寸；

圖片歸一化：調(diào)整圖片重心為0；

特征提?。豪锰厥獾奶卣髯涌臻g，完成對圖像的特征提取。涉及算法主要有：Harris、SIFT、SURF、LBF、HOG、DPM；

特征處理：主要目的是為了排除信息量小的特征，減少計算量等。常見的特征處理方法是降維，常見的降維方法有：主成分分析、奇異值分解、線性判別分析；

實話說，小編看到這么多的傳統(tǒng)圖像特征提取算法真的是非常佩服工程師們的技術(shù)能力。那么下面小編抽取了一些常用的特征提取算法為大家簡單講解個概要：

Harris算法是一種角點特征描述子；角點對應(yīng)于物體圖像關(guān)鍵的局部結(jié)構(gòu)特征，通過鄰近像素點灰度差值概念，從而判斷是否為角點、邊緣、平滑區(qū)域。例如：道路的十字路口等。

SIFT算法尺度不變特征變換（Scale invarialt feature transform）是基于物體上的一些局部外觀的興趣點，該算法與影像的旋轉(zhuǎn)、尺度大小縮放、亮度變化無關(guān)；對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性；基于這些特性，SIFT算法在龐大的特征數(shù)據(jù)庫中，很容易辨識出物體而且鮮有誤認(rèn)。使用SIFT特征描述對于部分物體遮蔽的偵測率也相當(dāng)高，甚至只需要3個以上的SIFT物體特征就足以計算出位置與方位。

SURF算法（Speeded Up Robust Features）直譯為：加速版的具有魯棒特性的特征算法，該算法對經(jīng)典的尺度不變特征變換算法（SIFT算法）進(jìn)行了改進(jìn)，以更高效的方式改進(jìn)了特征提取和描述的方式。SURF算法采用了Haar特征以及積分圖像的概念，這大大的加速了程序的運(yùn)行時間，需要硬件或者專門的圖像處理器進(jìn)行加速。SURF算法一般應(yīng)用于計算機(jī)視覺中的物體識別、圖像拼接、圖像配準(zhǔn)以及3D重建中。

HOG算法（Histogram of Oriented Gradient） 方向梯度直方圖，是通過計算和統(tǒng)計圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征提取的算法。Hog特征結(jié)合SVM（Surpport Vector Machine）分類器特別適合于做圖像中的行人檢測。

DPM算法（Deformable Parts Model）是一個目標(biāo)檢測算法，已成為眾多分類器、分割、人體姿態(tài)和行為分類的重要部分。DPM可以看做是HOG算法的擴(kuò)展，大體思路與HOG一致。先計算梯度方向直方圖，然后用SVM訓(xùn)練得到物體的梯度模型（Model）。有了這樣的模板就可以直接用來分類了，簡單理解就是模型和目標(biāo)匹配。DPM只是在模型上做了很多改進(jìn)工作。

03常見視覺算法

VSLAM定位，SLAM（SimultaneousLocalization andMapping）是同步定位與地圖構(gòu)建，是指根據(jù)傳感器的信息，一邊計算自身位置，一邊構(gòu)建環(huán)境地圖的過程，解決在未知環(huán)境下運(yùn)動時的定位與地圖構(gòu)建問題。VSLAM（VisualSLAM算法）則更為高級，是基于camera圖像做SLAM的算法，即視覺的定位與建圖，中文也叫視覺SLAM，相當(dāng)于裝上眼睛，通過眼睛來完成定位和掃描，更加精準(zhǔn)和迅速。

Sfm（Structurefrom Motion）是一種從運(yùn)動中實現(xiàn)3D重建。也就是從時間系列的2D圖像中推算3D信息。用于自動駕駛環(huán)境稠密點云重建。

MVS（Multi-viewstereo，多視重建），立體視覺法將多個相機(jī)設(shè)置于視點，或用單目相機(jī)在多個不同的視點拍攝圖像以增加穩(wěn)健性，通常使用環(huán)視攝像頭來重建稠密點云。

VADAR（視覺點云，是SFM和MVS統(tǒng)稱），通過VADAR得到和Lidar同樣的點云，可以做更多的檢測和分割功能。目前特斯拉和mobileyeQ5均使用多個攝像頭拍攝的2D圖像進(jìn)行深度學(xué)習(xí)處理，生成3D模型，從而為自動駕駛決策提供所需的環(huán)境信息。說得簡單一點，就是依靠算法和芯片的強(qiáng)大計算量，將多個攝像頭輸出的2D畫面“升級”為3D畫面實現(xiàn)自動駕駛。

結(jié)語：

相信通過上述傳統(tǒng)攝像頭算法的介紹，大家也深深的感受到了單目攝像頭視覺傳感器要幫助我們行車更加安全、便捷，不是一個容易的事情。需要通過工程師們對攝像頭硬件的標(biāo)定，各種特征點提取軟件算法，還有芯片、視覺方面的硬件匹配等。傳統(tǒng)單目攝像頭視覺算法已經(jīng)如此的繁瑣，那么深度學(xué)習(xí)算法又是怎樣實現(xiàn)的呢？帶著這些問題，下期小編繼續(xù)為大家整理深度學(xué)習(xí)視覺算法相關(guān)技術(shù)資料，敬請期待吧！

原文標(biāo)題：新·知丨自動駕駛傳感器那點事之 攝像頭傳統(tǒng)視覺技術(shù)

文章出處：【微信公眾號：四維圖新NavInfo】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq