** 前言 **

視覺相機(jī)是機(jī)器智能/自動(dòng)化的關(guān)鍵，NVIDIA Jetson支持多個(gè)合作伙伴的Camera，這些相機(jī)包括USB、以太網(wǎng)、MIPI等接口的相機(jī)。Jetson為這些相機(jī)提供了完整的Jetpack SDK，支持用戶可以快速接入這些相機(jī)，來實(shí)現(xiàn)相應(yīng)的設(shè)計(jì)。

Jetson支持的相機(jī)列表，可以從官網(wǎng)中找到，鏈接如下所示：

選擇CSI/MIPI接口，以及Orin套件，網(wǎng)頁會(huì)出現(xiàn)Jetson Partner支持的相機(jī)列表，主要是：Sony的IMX290、IMX334、IMX179、IMX335、IMX415 ，以及Aptina的AR0234、AR0144、AR0822等。因此，比如用戶使用NVIDIA的Jetson AGX Orin開發(fā)者套件，套件的SDK中就原生的支持如上列表的傳感器CSI接入，用戶可以快速進(jìn)行自己的解決方案開發(fā)。

如果選用上述列表中的相機(jī)并搭配配套的CSI轉(zhuǎn)接板，由于Camera Partner已經(jīng)提前和NVIDIA Jetson各種型號(hào)做了對(duì)接，原廠鏡像中驅(qū)動(dòng)默認(rèn)已經(jīng)支持，可以做到即插即用。

但是如果我們選用了列表外的sensor型號(hào)，即非Camera Partner的產(chǎn)品，就無法直接使用，比如我想用Sony的IMX472、 IMX252，思特威的SC2210、SC235HGS等，則需要進(jìn)行配套的硬件開和驅(qū)動(dòng)軟件的升級(jí)。為此，奧唯思為您提供了完整的解決方案，可搭載任意相機(jī)，也可以選FPGA集成ISP。

** FPGA模擬MIPI相機(jī)接入Jetson方案 **

如下圖所示：方案采用易靈思鈦金16nm的FPGA Ti60F225，通過MIPI CSI RX采集圖像傳感器的數(shù)據(jù)，在FPGA內(nèi)部經(jīng)過一系列復(fù)雜的ISP運(yùn)算后，再通過MIPI CSI TX將圖像數(shù)據(jù)發(fā)送給后端。

其中VC-MIPI-AGX為奧唯思自研的配套NVIDIA Jetson AGX Orin開發(fā)者套件的 MIPI接入子卡。如下圖所示，為AGX的MIPI卡槽，以及我們?cè)O(shè)計(jì)的接入子卡。我們使用高速穩(wěn)定的TypeC 3.0數(shù)據(jù)線，來傳輸MIPI信號(hào)。當(dāng)前方案可支持2個(gè)MIPI CSI通道，單通道最高支持6Gbps帶寬。目前方案已經(jīng)成功接入AGX，穩(wěn)定可靠，烤機(jī)測(cè)試通過。

** 易靈思MIPI介紹 **

易靈思16nm鈦金系列FPGA的低功耗、高帶寬、小體積特點(diǎn)，充分賦能終端產(chǎn)品使其具有創(chuàng)新性和競(jìng)爭(zhēng)力。鈦金系列Ti60可支持MIPI/LVDS等接口的多攝像頭輸入、多類型屏幕驅(qū)動(dòng)、高性能RISC-V軟核等功能，適用于各種相機(jī)和傳感器系統(tǒng)等場(chǎng)景應(yīng)用。

因此我們選用了易靈思的FPGA作為主控，充分利用其高速低功耗的特性，完成了MIPI CSI的采集、ISP圖像處理，以及MIPI CSI的發(fā)送。易靈思Ti60 FPGA的MIPI PHY為1.5Gbps單通道，4 lane支持6Gbps，在85%有效帶寬下，評(píng)估有效的傳輸分辨/幀率，如下：

采用RGB888或者Bayer 8bit傳輸，各有優(yōu)缺點(diǎn)：

RGB888 8bit傳輸，AGX可以直接獲取圖像數(shù)據(jù)，好處是沒有額外的源數(shù)據(jù)處理開銷；壞處是由于Bayer的3倍帶寬，當(dāng)前FPGA方案只能支持到1080P60方案。

Bayer 8bit傳輸，帶寬是RGB888的1/3，因此可以支持更高的分辨率（4K60），同時(shí)在同等分辨率下，比RGB888可以支持更長(zhǎng)的傳輸距離；不足的是需要AGX的CPU（Neon）來處理Bayer2RGB算法，目前測(cè)試1080P120消耗了1個(gè)CPU** 43%**的資源（共12個(gè)CPU，單核資源消耗如下圖所示）。

綜合評(píng)估下，由于當(dāng)前只用了AGX 1個(gè)CPU，并且用戶的算法主要在GPU上跑CUDA，因此采用Bayer傳輸?shù)膬?yōu)勢(shì)更明顯。

** 奧唯思ISP介紹 **

NVIDIA同樣可以做完整的ISP圖像處理，甚至ASIC實(shí)現(xiàn)的ISP功能與性能相比FPGA更強(qiáng)大，但在此方案中，我們不得不采用FPGA進(jìn)行完整的ISP處理，主要原因如下：

針對(duì)選定的Sensor，NVIDIA仍需要大量的Tuning工作；

NVIDIA的ISP不支持8bit RAW輸入模式；

部分應(yīng)用工程師，并不熟悉ISP領(lǐng)域；

部分ISP算法，NVIDIA并沒有包含；

低延時(shí)的需求，需要流水線完成ISP。

鑒于此，我們采用FPGA完成了一套完整的ISP處理流程，MIPI CSI直接輸出經(jīng)過FPGA圖像處理完后的數(shù)據(jù)，NVIDIA AGX拿到RGB數(shù)據(jù)后，用戶可以直接進(jìn)行后續(xù)的應(yīng)用算法。基于易靈思FPGA的ISP圖像處理Pipeline，如下所示：

奧唯思自研的流水線ISP，相關(guān)的Feature，如下表所示：

** AGX Orin接入驅(qū)動(dòng) **

硬件方面，采用奧唯思設(shè)計(jì)的VC-MIPI-AGX子卡，實(shí)現(xiàn)了用戶MIPICSI轉(zhuǎn)AGX Samtec的輸入。軟件方面，則需要根據(jù)硬件板卡和模組設(shè)計(jì)，開發(fā)特定的Sensor驅(qū)動(dòng)適配。如果有特殊定制的控制需求，比如ISP參數(shù)的控制，則需要修改Camera框架，進(jìn)行深度定制開發(fā)。

出于對(duì)系統(tǒng)安全性的保護(hù)，Jetson出廠時(shí)的，內(nèi)核編譯打開了驅(qū)動(dòng)簽名選項(xiàng)，如果新開發(fā)的驅(qū)動(dòng)簽名證書不匹配，則驅(qū)動(dòng)ko文件無法加載。但是一般用戶無法拿到NVIDIA編譯出廠鏡像時(shí)的簽名證書，無法解決ko簽名問題。如果需要使用新的sensor模組，則需要重新編譯內(nèi)核、生成全系統(tǒng)鏡像、燒錄系統(tǒng)，工作量相當(dāng)巨大。

奧唯思為客戶解決上述軟硬件難題，并創(chuàng)造性地使用typeC 3.0線纜作為數(shù)據(jù)傳輸介質(zhì)，連接可靠，通信穩(wěn)定。基于NVIDIA Jetson AGX Orin開發(fā)者平臺(tái)，接入的自研的FPGA MIPI ISP相機(jī)連接環(huán)境。

審核編輯：劉清