監(jiān)控系統(tǒng)中對(duì)更高質(zhì)量視頻圖像的需求需要在傳感器和可用視頻數(shù)據(jù)之間建立高級(jí)鏈接。僅由軟件處理組成的圖像處理系統(tǒng)無法滿足這些需求，基于ASIC的系統(tǒng)無法提供所需的靈活性。由于像素處理的計(jì)算密集型特性，使用JPEG2000編碼的基于FPGA的成像處理設(shè)計(jì)提供了一種強(qiáng)大而靈活的方法。

高清數(shù)字視頻已變得司空見慣;我們大多數(shù)人都在自己的家中擁有高清設(shè)備。然而，將該技術(shù)轉(zhuǎn)移到實(shí)時(shí)軍事監(jiān)視應(yīng)用在捕獲高清圖像和分發(fā)大量數(shù)據(jù)方面帶來了重大挑戰(zhàn)。圖像傳感器現(xiàn)在正在千兆像素領(lǐng)域生產(chǎn)，使用較小的百萬像素探測器陣列實(shí)現(xiàn)。圖像數(shù)據(jù)采集必須靈活，以便于與各種傳感器接口，并且必須與數(shù)據(jù)處理和壓縮緊密耦合才能分發(fā)數(shù)據(jù)。與傳統(tǒng)軟件或ASIC成像處理系統(tǒng)相比，利用FPGA協(xié)處理器具有許多優(yōu)勢，并且可以將復(fù)雜的算法打包到一個(gè)小型，功能強(qiáng)大的設(shè)備中。

因此，基于FPGA的處理器可以在高清圖像傳感器和低帶寬JPEG2000壓縮數(shù)據(jù)之間提供關(guān)鍵鏈路。可重構(gòu)計(jì)算的這一趨勢使得滿足機(jī)載和地面車輛平臺(tái)（如捕食者無人機(jī)、收割者無人機(jī)、蜂鳥無人機(jī)直升機(jī)、MULE自主地面機(jī)器人、浮空器等）中強(qiáng)大成像系統(tǒng)的需求成為可能?；?FPGA 的高性能計(jì)算允許軍事監(jiān)視系統(tǒng)接收和處理來自各種來源的高清傳感器數(shù)據(jù)，并使用 JPEG2000 壓縮數(shù)據(jù)以進(jìn)行傳輸。

像素處理對(duì)于 FPGA 而言是無痛的

圖像像素處理的高度計(jì)算特性可以在現(xiàn)代FPGA器件中高效實(shí)現(xiàn)。Virtex-6 SX475T FPGA 具有超過 475 K 個(gè)邏輯單元和 2，016 個(gè)嵌入式 DSP 模塊，可靈活連接到系統(tǒng)的其余部分，包括集成的 6.5 Gb 收發(fā)器以及許多其他功能強(qiáng)大的元件。這些特性允許在單個(gè)FPGA器件中將許多圖像處理功能流水線連接在一起，用于多個(gè)圖像傳感器。表1中詳述的示例圖像處理設(shè)計(jì)表明，全功能圖像處理和壓縮通道只需要不到7%的FPGA資源。

表 1：圖像處理系統(tǒng)示例 – FPGA 資源要求

（單擊圖形可縮放 1.9 倍）

圖像處理系統(tǒng)需求：夠硬嗎？

軍事監(jiān)視系統(tǒng)希望能夠查看廣闊的區(qū)域，例如大于16平方公里，因?yàn)椤巴ㄟ^蘇打吸管觀察”無法獲得太多信息。此外，監(jiān)控系統(tǒng)通常必須在距離目標(biāo)數(shù)公里的距離內(nèi)運(yùn)行，以保持安全，同時(shí)生成高分辨率圖像。所有這些都需要捕獲和處理大量的圖像數(shù)據(jù)。例如，DARPA ARGUS-IS系統(tǒng)使用368個(gè)500萬像素探測器（總計(jì)1.8千兆像素），能夠生成超過260 Gbps的原始數(shù)據(jù)。

這些數(shù)據(jù)必須在實(shí)時(shí)系統(tǒng)中捕獲和處理，通常具有極端的SWaP限制。此外，成像系統(tǒng)在捕獲原始像素?cái)?shù)據(jù)后可能需要許多其他所需的功能才能使用：

有缺陷的像素校正

彩色濾光片陣列插值

色彩校正

伽瑪校正

色彩空間轉(zhuǎn)換

圖像降噪

邊緣增強(qiáng)

視頻縮放

視頻窗口 – 對(duì)象跟蹤

穩(wěn)

視頻壓縮（JPEG2000、H.264、MPEG-4）

數(shù)據(jù)加密

用于傳輸和/或存儲(chǔ)的視頻輸出

基于FPGA處理器的可重構(gòu)計(jì)算技術(shù)非常適合滿足這些苛刻的需求。這種方法比專用軟件處理系統(tǒng)更小、更快、更高效，并且比ASIC方法更靈活、更具成本效益。圖像傳感器和軟件處理之間的基本環(huán)節(jié)非常適合FPGA技術(shù)。

適應(yīng)各種圖像傳感器接口

監(jiān)控系統(tǒng)和其他成像平臺(tái)正在迅速發(fā)展和擴(kuò)展，以利用各種傳感器進(jìn)行光學(xué)，紅外和合成孔徑雷達(dá)技術(shù)，并且圖像尺寸一直在增加。圖像傳感器的物理接口各不相同，因此處理系統(tǒng)需要一個(gè)靈活的模塊化接口，以便與這些系統(tǒng)一起擴(kuò)展和擴(kuò)展?？芍貥?gòu)計(jì)算系統(tǒng)通過支持多種格式和物理接口的傳入數(shù)據(jù)來滿足這一需求，例如，CameraLink、SDI、原始像素、LVDS、多千兆位串行接口、光纖等?；贔PGA的系統(tǒng)非常適合從各種來源和協(xié)議采集圖像數(shù)據(jù)，因?yàn)榫哂锌?a href="http://m.xsypw.cn/v/tag/1315/" target="_blank">編程I/O模塊、集成收發(fā)器和SERDES模塊。

此外，監(jiān)控系統(tǒng)可能具有許多不同的任務(wù)目標(biāo)，這些目標(biāo)需要在處理視頻數(shù)據(jù)時(shí)具有靈活性。例如，系統(tǒng)可能需要每隔幾秒鐘提供整個(gè)視場的全分辨率圖像，或者使用較小的圖像窗口跟蹤移動(dòng)目標(biāo)，該窗口以10 Hz更新。系統(tǒng)可能需要控制圖像系統(tǒng)具有的數(shù)據(jù)帶寬，以便下行鏈路或存儲(chǔ)數(shù)據(jù)以供以后傳輸?；贔PGA的圖像處理器可以在系統(tǒng)中重新配置，從而允許在不修改硬件的情況下添加升級(jí)和附加功能，例如模式匹配或運(yùn)動(dòng)檢測。與任何預(yù)定義的圖像采集卡或基于ASIC的硬件相比，這是一個(gè)很大的優(yōu)勢。圖1顯示了可重構(gòu)圖像處理系統(tǒng)的靈活性，該系統(tǒng)能夠從各種源和接口接收?qǐng)D像數(shù)據(jù)，實(shí)現(xiàn)一系列計(jì)算復(fù)雜的圖像處理功能，并通過各種接口輸出壓縮的視頻流。

圖 1：可重構(gòu)圖像處理硬件的靈活性

使用 JPEG2000 進(jìn)行前期數(shù)據(jù)壓縮

從任何系統(tǒng)中的彩色圖像傳感器接收的數(shù)據(jù)必須首先進(jìn)行插值以獲得每個(gè)像素的RGB分量，然后通常轉(zhuǎn)換為YCrCb色彩空間，以使用色度子采樣來減少數(shù)據(jù)量。然而，通過使用FPGA處理系統(tǒng)，視頻數(shù)據(jù)可以使用JPEG2000進(jìn)一步壓縮，并且在無損壓縮中將帶寬額外減少2：1，在視覺無損壓縮中減少10：1，在有損壓縮中最大可降低100：1。FPGA圖像處理器提供的壓縮數(shù)據(jù)允許系統(tǒng)輕松存儲(chǔ)，通過軟件進(jìn)一步處理，并將數(shù)據(jù)傳輸給用戶。使用 JPEG2000 進(jìn)行圖像數(shù)據(jù)壓縮可為系統(tǒng)提供卓越的結(jié)果，而無需預(yù)先進(jìn)行數(shù)據(jù)壓縮，并減少系統(tǒng)需要處理的數(shù)據(jù)。

JPEG2000編解碼器在軍事監(jiān)視應(yīng)用中特別受歡迎，因?yàn)樗峁┝朔浅８叩男阅埽脱舆t，執(zhí)行無損壓縮的能力以及其他非常有用的功能。這種壓縮標(biāo)準(zhǔn)的工作原理是使用小波變換將單個(gè)圖像幀分解成分辨率越來越低的子波段。然后將數(shù)據(jù)排列成數(shù)據(jù)包，其中包含有關(guān)連續(xù)像素組的信息。生成的圖像流提供了有用的功能，例如可選區(qū)域、可選分辨率、錯(cuò)誤恢復(fù)能力和帶寬限制，此外還允許系統(tǒng)以圖像流的壓縮格式使用它。例如，JPEG2000數(shù)據(jù)可用于遠(yuǎn)程監(jiān)控系統(tǒng)，以從相同的圖像傳感器下行鏈接小型高清圖像窗口或廣域快照的靈活組合，而無需先解壓縮數(shù)據(jù)。

它也可以在特定帶寬下使用，只需提取部分JPEG2000數(shù)據(jù)并截?cái)嗔鞯母叻直媛什糠旨纯?。這對(duì)于傳輸圖像數(shù)據(jù)非常有用，因?yàn)閳D像中最重要的信息可以使用不到20%的JPEG2000數(shù)據(jù)流來傳遞。由于每個(gè)視頻幀都經(jīng)過單獨(dú)壓縮，因此進(jìn)一步增強(qiáng)了這種誤差恢復(fù)能力，這使得數(shù)據(jù)鏈路能夠以較少的糾錯(cuò)方式運(yùn)行。因此，與其他壓縮標(biāo)準(zhǔn)相比，JPEG2000對(duì)數(shù)據(jù)丟失的擔(dān)憂較少，后者需要來自多個(gè)幀的信息進(jìn)行解碼。最后，JPEG2000數(shù)據(jù)可以在同一原始流中以不同的分辨率和質(zhì)量進(jìn)行查看。

雖然JPEG2000編碼器的實(shí)現(xiàn)相當(dāng)復(fù)雜，但FPGA提供了大量資源，可以在圖像處理設(shè)計(jì)中包含此功能。有一些 IP 核可隨時(shí)集成到 FPGA 設(shè)計(jì)中，或者 FPGA 可用于與 ADV212 ASIC（JPEG2000 片上系統(tǒng)）接口。這兩個(gè)選項(xiàng)都有自己的優(yōu)點(diǎn)和缺點(diǎn)（表2），這些編解碼器選項(xiàng)中的任何一個(gè)都可以在COTS硬件上使用，例如阿爾法數(shù)據(jù)ADM-XRC-5T2-ADV夾層FPGA板。

表 2：在 FPGA 中使用 IP 核實(shí)現(xiàn) JPEG2000 圖像壓縮時(shí)，與使用連接到 FPGA 的外部 ASIC 設(shè)備相比，需要進(jìn)行設(shè)計(jì)權(quán)衡。

將 COTS FPGA 硬件用于圖像處理器

為了 促進(jìn) 高級(jí) 圖像 數(shù)據(jù) 處理， 模 塊 化 FPGA 圖像 處理 板 （ 例如 基于 PMC/XMC 的 板 卡 ） 可以 用于 工業(yè) 標(biāo)準(zhǔn) 的 嵌入式 計(jì)算 系統(tǒng)， 包括 CompactPCI、 VME、 VXS、 VPX、 PCI、 PCI Express 和其他 外 形 規(guī)格 中的 系統(tǒng)。這些小型 （74 mm x 144 mm） 模塊可與最大的 FPGA 器件一起使用，可用于工作站開發(fā)系統(tǒng)，或直接移至堅(jiān)固耐用的部署監(jiān)控系統(tǒng)中。對(duì)于 JPEG2000 壓縮，COTS 板提供 IP 核所需的大量板載內(nèi)存和/或?qū)Ｓ?JPEG2000 專用集成電路。主機(jī)計(jì)算系統(tǒng)可以輕松控制硬件圖像處理器卡以應(yīng)用用戶設(shè)置，重新配置FPGA以進(jìn)行各種視頻操作，控制圖像窗口，命令目標(biāo)跟蹤以及接收輸出視頻流。這種COTS硬件通常提供軟件驅(qū)動(dòng)程序和API接口，使控制和數(shù)據(jù)傳輸在系統(tǒng)中無縫。

審核編輯：郭婷