作者：JASON WADE，RANDALL MILLAR

軍方依靠視頻圖像進(jìn)行態(tài)勢感知，但圖像質(zhì)量通常很差，以至于操作員可能會錯過重要細(xì)節(jié)。為顯示控制器配備實時運行圖像增強(qiáng)算法的FPGA，為觀看者提供更好的圖像。

現(xiàn)代國防能力、情報、監(jiān)視和偵察 （ISR） 的支柱依賴于由集成傳感器、飛機(jī)和人力組成的強(qiáng)大而多樣化的網(wǎng)絡(luò)。該網(wǎng)絡(luò)的價值最終取決于人類能夠清楚地看到傳感器圖像，識別重要細(xì)節(jié)并采取果斷行動。在現(xiàn)場，我們很少或根本無法控制從傳感器獲取圖像的照明和環(huán)境條件。但是，可以通過允許查看實時傳感器圖像的人實時微調(diào)視頻圖像以提取更多信息來為他們提供更多控制。

實時增強(qiáng)視頻需要巨大的計算吞吐量。它需要將復(fù)雜的圖像處理算法應(yīng)用于傳入的視頻流，而不會引入延遲。高性能現(xiàn)場可編程門陣列（FPGA）提供了一個理想的平臺，允許使用并行計算技術(shù)實現(xiàn)軟件算法。當(dāng)嵌入到智能顯示控制器中時，這些算法使操作員能夠最大程度地控制圖像質(zhì)量，并顯著提高圖像清晰度。

清晰度在旁觀者的眼中

全動態(tài)視頻 （FMV） 是軍事態(tài)勢感知的首選工具。幾乎所有軍用車輛都有自動視頻錄制功能，包括戰(zhàn)斗機(jī)、卡車和坦克等載人船只，以及無人駕駛飛機(jī)系統(tǒng)（UAS）。在移動平臺上生成高質(zhì)量圖像會帶來許多挑戰(zhàn)。除了與攝像機(jī)運動和由此產(chǎn)生的圖像透視相關(guān)的問題外，視頻圖像的質(zhì)量還可能因惡劣的環(huán)境條件、數(shù)據(jù)鏈路降級和帶寬限制而受到影響。大氣因素（如黎明、黃昏或夜間照明不佳）以及惡劣天氣（包括沙塵暴和多變的云層）可能會遮擋重要細(xì)節(jié)。

然而，傳感器圖像質(zhì)量并不是唯一的問題。觀看視頻的條件差異很大，因此帶來了另一組挑戰(zhàn)。例如，視頻流可以在明亮的陽光下、水下或屏幕上有前照燈的黑暗洞穴中觀看。因此，在顯示器本身內(nèi)提供圖像增強(qiáng)功能具有明顯的優(yōu)勢，而不是在傳感器或網(wǎng)絡(luò)上的其他地方。

確保良好圖像質(zhì)量的唯一方法是讓觀看者能夠根據(jù)自己的需要調(diào)整圖片。實現(xiàn)這一目標(biāo)的最佳方法是為戰(zhàn)術(shù)邊緣帶來實時視頻增強(qiáng)。FPGA 提供 將 這種 功能 直接 構(gòu)建 到 顯示 控制器 中 所需 的 性能、 設(shè)計 靈活 性 和 彈性。

具有實時圖像增強(qiáng)功能的視頻控制器

所有顯示控制器都執(zhí)行基本圖像處理，這意味著它們以特定分辨率接收視頻并以顯示器的原始分辨率顯示。例如，如果它是 1，920 x 1，080 的顯示器，則它需要為每一幀接收 1，920 x 1，080 像素。但是，不能保證用戶將插入與此匹配的柵格。事實上，他很可能不會。相反，傳入的視頻流的格式可能為 1，024 x 768 或類似格式。視頻處理是縮放行為，即將傳入的視頻信號從一種大小或分辨率轉(zhuǎn)換為另一種大小或分辨率，以便與顯示面板配合使用。這就是通常所說的“視頻處理”，與視頻增強(qiáng)相比，這是一項小壯舉。

視頻增強(qiáng)從視頻處理結(jié)束的地方開始。專為實時視頻增強(qiáng)而設(shè)計的視頻控制器可能從現(xiàn)成的視頻處理芯片或?qū)ｉT構(gòu)建的ASIC開始，該芯片可以預(yù)先進(jìn)行縮放和基本圖像處理。一旦該操作完成，視頻流將被傳遞到特殊用途的處理器，如FPGA以進(jìn)行增強(qiáng)。

當(dāng)然，可以選擇將視頻處理和視頻增強(qiáng)功能組合在一個ASIC中。事實上，這是消費類電視制造商經(jīng)常做的事情。但是，這種實現(xiàn)最適合基本的視頻增強(qiáng)，例如邊緣銳化，并且?guī)缀鯖]有為復(fù)雜的圖像增強(qiáng)算法留下多少空間。通過內(nèi)置于實時視頻增強(qiáng)的FPGA，可以超越傳統(tǒng)的顯示功能并提供高級增強(qiáng)功能（圖1）。

圖 1：具有內(nèi)置實時視頻增強(qiáng)功能的顯示控制器：視頻處理芯片對傳入的視頻流進(jìn)行格式化，以滿足顯示要求。FPGA運行圖像增強(qiáng)算法，以實現(xiàn)顯著更好的圖像清晰度。

驚人的算法是計算密集型的

任何熟悉照片編輯程序（如 Adobe Photoshop）的人都可以欣賞軟件算法在增強(qiáng)靜止圖像方面的強(qiáng)大功能。使用復(fù)雜的軟件算法將數(shù)學(xué)函數(shù)應(yīng)用于圖像矩陣，可以在不丟失細(xì)節(jié)的情況下揭示隱藏的視覺信息層。這是一種純粹的數(shù)學(xué)方法，利用所有可用的圖像信息，包括人眼通常不可見的部分。

在過去的幾十年中，使用直方圖操作、卷積、形態(tài)學(xué)、過采樣和欠采樣、量化和光譜處理（包括傅里葉變換和離散余弦變換 （DCT））等技術(shù)開發(fā)了大量的圖像處理算法。這些算法往往是計算密集型的。傳統(tǒng)的處理器技術(shù)無法提供滿足 FMV 所需的性能，速度高達(dá) 60 幀/秒 （fps），或每 16.67 毫秒 1 幀。處理標(biāo)清 （SD） 視頻流需要大約 150 到 200 千萬億次浮點運算，而 1，080p 流需要大約 1.2 萬億次浮點運算。這就是 FPGA 發(fā)揮作用的地方。

卷積核過濾在工作

當(dāng)使用并行處理技術(shù)重寫圖像增強(qiáng)算法并移植到FPGA時，可以實時顯著增強(qiáng)ISR視頻。在多種類型的圖像增強(qiáng)算法中，空間卷積核濾波產(chǎn)生的結(jié)果最顯著。

雖然卷積濾波的基礎(chǔ)數(shù)學(xué)很復(fù)雜，但執(zhí)行圖像卷積運算非常簡單。卷積核根據(jù)感興趣的像素值與其周圍像素的值之間的關(guān)系生成新的像素值。在卷積中，兩個函數(shù)相互疊加和相乘。其中一個函數(shù)是視頻幀圖像，另一個是卷積核。幀圖像由一大數(shù)組表示，這些數(shù)字是 x 軸和 y 軸中的像素值。卷積核是一個較小的數(shù)組，或一個掩碼，其中的值是根據(jù)所需的過濾函數(shù)（例如，模糊、銳化和邊緣檢測）分配的。此數(shù)組的大小（稱為內(nèi)核大小）確定將使用多少個相鄰像素來生成新像素。在卷積中，內(nèi)核對圖像進(jìn)行操作，以便在每次應(yīng)用掩模時創(chuàng)建一個新像素，因此必須對圖像中的每個像素重復(fù)該操作（圖 2）。

圖 2：卷積核掩碼操作：源像素被自身及其相鄰像素的加權(quán)平均值替換。

大果仁產(chǎn)生更好的結(jié)果

卷積是計算密集型的，因此大多數(shù)實現(xiàn)僅使用小內(nèi)核（3 x 3，9 x 9，16 x 16）。但是，使用獨特的非傳統(tǒng)編程技術(shù)，可以實現(xiàn)非常大的卷積核，從而產(chǎn)生更好的結(jié)果。非常大的內(nèi)核產(chǎn)生更好結(jié)果的原因與給定區(qū)域（稱為空間頻率）上亮度的范圍和變化有關(guān)。

在處理時，通過考慮以每個像素為中心的大型鄰域中的數(shù)據(jù)，大內(nèi)核包含更大的空間頻率范圍。傳統(tǒng)的小核處理只能增強(qiáng)最高空間頻率下的細(xì)節(jié)，這些頻率通常只包含圖像的光譜內(nèi)容（全色范圍），并且是噪聲普遍存在的地方。因此，小型內(nèi)核處理器必須采用高增益才能對圖像產(chǎn)生明顯的影響。高增益往往會產(chǎn)生清晰的輪廓偽像，并增加可見的噪點。大的內(nèi)核處理（在圖像的更多“肉”上操作）可以產(chǎn)生顯著的結(jié)果，增益要低得多，并具有大面積著色的額外好處，產(chǎn)生更自然的圖像，增加局部對比度，增加維度，并改善細(xì)微細(xì)節(jié)和特征的可見性。

一種大型內(nèi)核卷積算法，旨在通過消除霧霾和增強(qiáng)圖像細(xì)節(jié)來澄清圖像，使用 400 x 400 內(nèi)核。該澄清器算法的工作原理是求解一個數(shù)學(xué)方程，該方程將“完美圖像”的模型與傳感器相機(jī)捕獲的測量的不完美圖像相關(guān)聯(lián)。該技術(shù)反向工作，去除損壞的噪聲和圖像模糊，同時調(diào)整每個像素的強(qiáng)度，直到出現(xiàn)適合實時數(shù)據(jù)的最簡單的圖像。這個概念是，因為已知環(huán)境因素會扭曲圖像，如果知道扭曲是如何產(chǎn)生的，那么它可以被撤消。其他技術(shù)使用的方法可以去除失真并接近真實圖像，但僅此而已。相比之下，這種方法更進(jìn)一步，繼續(xù)將算法應(yīng)用于圖像，直到它盡可能接近完美圖像。因此，它能夠去除所有不屬于真實圖像的不必要的數(shù)據(jù)。一旦消除了環(huán)境失真，并且隨著更多真實圖像的顯現(xiàn)，就會實現(xiàn)非凡的清晰度。

追求完美的形象

FPGA 打開了通往大量復(fù)雜算法的大門，這些算法可用于實時增強(qiáng) ISR 視頻。FPGA是計算主力，非常適合軍用視頻顯示控制器應(yīng)用。它們可以承受惡劣的環(huán)境，并滿足嚴(yán)格的軍事要求，包括堅固性、溫度耐受性、可靠性和保證較長的產(chǎn)品壽命。由于 FPGA 可 重新 編 程， 因此 可 實現(xiàn) 設(shè)計 靈活 性， 因此 顯示 控制器 可以 輕松 適應(yīng) 變化 的 視頻 標(biāo)準(zhǔn) 或 特殊 任務(wù) 要求。此外，一旦部署，基于FPGA的顯示控制器可以現(xiàn)場升級，以添加附加功能和新的圖像增強(qiáng)算法。

審核編輯：郭婷