導(dǎo)讀

精準(zhǔn)搜集車輛傳感器的實時數(shù)據(jù)是ADAS系統(tǒng)穩(wěn)定運行的關(guān)鍵所在。友思特 proFRAME 系統(tǒng)可以同步采集輸入數(shù)據(jù)流并輸出處理，成為車載全景環(huán)視相機(jī)從圖像采集至分析結(jié)果輸出存儲的高效閉環(huán)方案。

proFRAME 車載圖像采集與回放系統(tǒng)

ADAS系統(tǒng)如交通標(biāo)志識別、車道輔助、停車輔助和自動駕駛（AD）等功能，需要高效、精準(zhǔn)地收集車輛傳感器的實時數(shù)據(jù)，特別是來自嵌入式攝像頭的視頻數(shù)據(jù)，這些功能的驗證需要同步捕獲各個攝像頭的視頻流，添加相應(yīng)的時間戳并存儲，然后在硬件在環(huán)測試（HIL）中將這些駕駛場景回放到驗證 ADAS/AD ECU中。

針對上述內(nèi)容，proFRAME提供了完美的解決方案。

全景環(huán)視的多相機(jī)數(shù)據(jù)流包含相應(yīng)的高精度時間戳，proFRAME 提供了 bypass 功能（Tap模式），使得數(shù)據(jù)流可以同步采集輸入和輸出處理，通過 ATX4 高性能車載服務(wù)器/BRICK2 數(shù)采平臺，對數(shù)據(jù)進(jìn)行存儲、圖像處理、分析，實現(xiàn)車載全景環(huán)視相機(jī)圖像采集至分析結(jié)果輸出存儲的完整閉環(huán)。

方案特點

同步捕獲各個相機(jī)的視頻流并添加響應(yīng)時間戳進(jìn)行存儲；

同步錄制多達(dá)8個4K視頻流（包括邊帶通信I2C），并可通過外部觸發(fā)線與其他記錄設(shè)備或傳感器同步；

proFRAME系統(tǒng)在HIL中能夠基于錄制過程中的時間戳精準(zhǔn)同步地回放駕駛場景；

兼容市面上常見的串行器播放視頻流，回放根據(jù)單圖像幀時間戳信息或外部觸發(fā)進(jìn)行；

支持ROS或ADTF的HIL系統(tǒng)，提供API實現(xiàn)proFRAME與HIL系統(tǒng)的快速集成。

靈活切換的工作模式及其應(yīng)用

友思特 proFRAME 板卡有三種工作模式，通過加載不同的固件來切換，從而滿足不同場景下的應(yīng)用需求。

Capture模式（采集）

板卡處于Capture模式時，可以同時獲取最多8個相機(jī)的視頻流。

對于每一個相機(jī)視頻流的獲取鏈路如下：

前端的GMSL/FPD-Link相機(jī)的CMOS圖像傳感器捕獲光信號并轉(zhuǎn)換為電信號，生成原始圖像數(shù)據(jù)。

原始圖像數(shù)據(jù)在相機(jī)內(nèi)部經(jīng)過處理（如去噪、增益、色彩校正等）后通過相機(jī)的串行芯片進(jìn)行串行化，轉(zhuǎn)為CSI-2標(biāo)準(zhǔn)的數(shù)據(jù)格式，通過同軸線纜（Coax）傳輸?shù)桨蹇ā?/p>

在板卡上，接收到的數(shù)據(jù)通過相機(jī)適配器的解串芯片進(jìn)行解碼，將串行數(shù)據(jù)流恢復(fù)成并行的CSI-2圖像數(shù)據(jù)格式，傳送至板卡的FPGA模塊進(jìn)行處理。

除了圖像數(shù)據(jù)，相機(jī)的控制信號指令（如I2C和GPIO）也通過同軸線纜傳輸。I2C用于設(shè)備間的通信，包括配置相機(jī)的工作參數(shù)（如曝光、增益調(diào)整等），GPIO用于控制相機(jī)的行為（如相機(jī)的啟停、觸發(fā)拍攝等）。板卡也支持通過同軸線纜給相機(jī)供電（PoC）。

板卡通過PCIe（x8 Gen3）接口跟主機(jī)通信，基于proFRAME配套的API、Lib和驅(qū)動，實現(xiàn)了后續(xù)客戶端應(yīng)用的集成，包括ROS或ADTF應(yīng)用。

Replay模式（回放）

板卡處于Replay模式時，可以同時回放最多4個視頻流。

對于每一個視頻流的回放鏈路如下：

主機(jī)客戶端應(yīng)用輸出的視頻流通過PCIe接口傳輸?shù)桨蹇ǎㄟ^板卡的FPGA模塊進(jìn)行預(yù)處理，轉(zhuǎn)為CSI-2圖像數(shù)據(jù)格式。

并行的CSI-2圖像數(shù)據(jù)在相機(jī)適配器的串行芯片進(jìn)行串行化，通過切換不同的相機(jī)適配器，以GMSL或FPD-Link串行接口標(biāo)準(zhǔn)輸出。

圖像數(shù)據(jù)通過同軸線纜傳輸?shù)角岸说腅CU設(shè)備進(jìn)行解串，恢復(fù)成并行圖像數(shù)據(jù)，用于可視化或其他調(diào)試處理目的。也可以使用另一塊proFRAME板卡來重新采集捕獲回放的視頻流。

TAP模式（旁通、邊采集邊回放/記錄）

板卡處于TAP模式時，可以同時分別采集和輸出最多各4個視頻流。

對于每一個視頻流，采集的數(shù)據(jù)攜帶ns級別的高精度時間戳，采集到的數(shù)據(jù)同時分出兩路，一路通過PCIe傳到主機(jī)，一路通過另外的通道輸出，實現(xiàn)視頻流的實時采集和回放。具體的數(shù)據(jù)傳輸鏈路如下：

前端的GMSL/FPD-Link相機(jī)的CMOS圖像傳感器捕獲光信號并轉(zhuǎn)換為電信號，生成原始圖像數(shù)據(jù)。

原始圖像數(shù)據(jù)在相機(jī)內(nèi)部經(jīng)過處理（如去噪、增益、色彩校正等）后通過相機(jī)的串行芯片進(jìn)行串行化，轉(zhuǎn)為CSI-2標(biāo)準(zhǔn)的數(shù)據(jù)格式，通過同軸線纜（Coax）傳輸?shù)桨蹇ā?/p>

在板卡上，接收到的數(shù)據(jù)通過相機(jī)適配器的解串芯片進(jìn)行解碼，將串行數(shù)據(jù)流恢復(fù)成并行的CSI-2圖像數(shù)據(jù)格式，傳送至板卡的FPGA模塊進(jìn)行處理。

除了圖像數(shù)據(jù)，相機(jī)的控制信號指令（如I2C和GPIO）也通過同軸線纜傳輸。I2C用于設(shè)備間的通信，包括配置相機(jī)的工作參數(shù)（如曝光、增益調(diào)整等），GPIO用于控制相機(jī)的行為（如相機(jī)的啟停、觸發(fā)拍攝等）。板卡也支持通過同軸線纜給相機(jī)供電（PoC）。

圖像數(shù)據(jù)經(jīng)由板卡的FPGA模塊，同步分出兩路數(shù)據(jù)，一路數(shù)據(jù)經(jīng)由PCIe（x8 Gen3）接口傳輸?shù)街鳈C(jī)的客戶端應(yīng)用；一路數(shù)據(jù)重新經(jīng)過相機(jī)適配器的串行化芯片進(jìn)行串行輸出，通過同軸線纜傳輸?shù)角岸说腅CU設(shè)備進(jìn)行解串，恢復(fù)成并行圖像數(shù)據(jù)，用于可視化或其他調(diào)試處理目的。

友思特 proFRAME 系統(tǒng)方案

proFRAME Base Board 3.0 CompactPCI

第三代 proFRAME 基板以CompactPCI?串行（CPCI-S.0）形式首次亮相，其數(shù)據(jù)速率是其前代產(chǎn)品的四倍，可支持最先進(jìn)的汽車攝像頭。該基板基于 AMD Zynq? UltraScale+ ? ZU4CG MPSoC 構(gòu)建，可為其每個新型相機(jī)適配器接口提供高達(dá) 40 Gbit/s 的數(shù)據(jù)傳輸速率。

proFRAME Base Board 3.0 PCIe

具備CompactPCI?串行版本的所有高級功能，但作為常規(guī)PC系統(tǒng)的PCI Express?板均能實現(xiàn)。與新的camAD3相機(jī)適配器系列完全兼容。

了解更多？歡迎訪問官網(wǎng)，探索豐富案例：https://viewsitec.com/proframe-grabber/

關(guān)注友思特機(jī)器視覺與光電公眾號、加入行業(yè)交流群或直接聯(lián)系我們，輕松收獲更多技術(shù)干貨

審核編輯 黃宇