攝像頭模塊是基于 AI 的嵌入式系統中最不可或缺的部分。市面上可供選擇的攝像頭模塊多到令人難以抉擇。本文將對這一過程進行詳解，幫助您為包括 NVIDIA Jetson 在內的嵌入式應用做出正確的選擇。

選擇攝像頭的注意事項

選擇攝像頭模塊需要考慮三個關鍵方面：傳感器、接口（連接器）和光學器件。

傳感器

電子圖像傳感器分為兩大類：電荷耦合器件（CCD）和有源像素傳感器（CMOS）。CCD 傳感器只能按行讀取像素值，每行像素逐一移位到讀出寄存器中。CMOS 傳感器則可以單獨并行讀取每個像素。

在大多數情況下，CMOS 的成本和能耗更低，而且不影響圖像質量。由于可以并行讀取像素值，CMOS 還能實現更高的幀率。不過在某些特殊領域，CCD 傳感器仍占主導地位，比如像天文學這種需要長時間曝光和極低噪點圖像的領域。

電子快門

電子快門有全局快門和滾動快門這兩個選項。全局快門將每個像素同時曝光在入射光下。滾動快門按一定順序（例如從上到下）對像素行進行曝光，這可能會導致失真（圖 1）。

圖 1. 滾動快門導致螺旋槳葉片失真

全局快門不會受到物體移動造成的運動模糊和失真影響。由于曝光開始的時間點只有一個，使用全局快門更容易同步多臺攝像機。不過，使用全局快門的傳感器要比使用滾動快門的傳感器昂貴得多。

彩色或單色

在大多數情況下，單色圖像傳感器足以勝任典型的機器視覺任務，比如故障檢測、存在監測和記錄測量等。

在單色傳感器中，每個像素通常用 8 個 bits 來描述。而在彩色傳感器中，每個像素由 8 bits 紅色，8 bits 綠色和 8 bits 藍色組成。彩色傳感器需要處理的數據量是單色傳感器的三倍，因此處理時間較長，幀率也較慢。

動態范圍

動態范圍是傳感器獲取的最大和最小信號之間的比率。在上限值，像素在較高的強度值（飽和度）下呈現白色；在下限值及以下，像素呈現黑色。室內應用需要至少 80 分貝的 HDR，室外應用則需要最高 140 分貝的 HDR。

分辨率

分辨率是傳感器再現物體細節的能力。它受到多種因素的影響，如所使用的照明類型、傳感器像素大小和光學器件的性能等。物體的細節越小，所需的分辨率就越高。

像素分辨率是指圖像上每個像素等于多少毫米。分辨率越高，圖像就越清晰。攝像頭或傳感器的分辨率應能覆蓋至少兩個像素的特征區域。

高分辨率的 CMOS 傳感器往往幀率較低。即便傳感器可以達到您所需要的分辨率，如果不能達到足夠的每秒幀數，就無法捕捉到所需要的高質量圖像。因此，評估傳感器的速度非常重要。

確定用例所需分辨率的一般經驗法則如圖 2 所示。?乘數“2”表示通常希望物體上至少有兩個像素，以便成功檢測到物體。

?

圖 2. 所需的傳感器分辨率

取決于鏡頭視場和目標特征的大小

例如，假設有一張拳擊手眼睛周圍受傷的圖像。

• 分辨率= 2×（2000/4）

• 視場角（毫米） = 2000 毫米

• 目標特征（眼睛）的大小（毫米）= 4 毫米

根據 1000 x 1000 的計算結果，100 萬像素攝像頭使用 CV 或 AI 算法應該足以檢測到眼睛。

請注意，傳感器是由多行像素組成的。這些像素也稱為“光子”。像素收集到的光子數量與像素大小成正比。選擇較大的像素看似誘人，但并非在所有情況下都是最佳選擇。

表 1. 小像素和大像素的優缺點

背照式傳感器可最大程度地提高每個光電二極管捕捉和轉換的光量。在前照式傳感器中，光電二極管上方的金屬線會阻擋一些光子，從而減少捕捉到的光量。

圖 3. 前照式結構（左）

和后照式結構（右）的截面圖

幀率和快門速度

幀率是指每秒拍攝的幀數（或捕捉的圖像）（FPS）。幀率應根據每秒所需的檢測次數來確定。這與快門速度（或曝光時間）相關，快門速度是攝像頭傳感器為捕捉圖像而曝光的時間。

理論上，最大幀率等于曝光時間的倒數。但由于幀讀取、傳感器分辨率和包括電纜在內的接口數據傳輸速率所帶來的延遲，可實現的 FPS 將會較低于這個值。

通過增加額外的照明和對像素進行分檔，可以減少對大量曝光時間的需求，從而提高 FPS。

CMOS 傳感器讀取每個像素的過程比 CCD 傳感器移位寄存器中的電荷傳輸更快，因此可以實現更高的 FPS。

接口

有多種方法可以將攝像頭模塊連接到嵌入式系統。通常情況下，為了進行評估，會使用帶有 USB 和以太網接口的攝像機，因為這樣就不需要自定義驅動程序的開發。

選擇接口時的其他重要參數包括傳輸長度、數據傳輸速率和工作條件。表 2 列出了最常用的接口。每種接口都各有利弊。

表 2. 各攝像頭接口比較

光學器件

光學鏡頭的基本作用是收集物體的散射光，并在光敏圖像傳感器（CCD 或 CMOS）上再現物體的圖像。在選擇優化鏡頭時應考慮以下因素：焦距、傳感器格式、視野、光圈、主光線角、分辨能力和畸變。

鏡頭有固定的幾種標準焦距。常見的鏡頭焦距包括 6 毫米、8 毫米、12.5 毫米、25 毫米和 50 毫米。

在選擇了焦距最接近成像系統所需焦距的鏡頭后，就需要調整工作距離，使被測物對焦。短焦距鏡頭（小于 12 毫米）產生的圖像畸變較大。

如果您的應用對圖像畸變敏感，請嘗試增加工作距離并使用焦距較長的鏡頭。如果無法改變工作距離，那么在選擇優化鏡頭時就會受到一定的限制。

表 3. 攝像機鏡頭的主要類型

將鏡頭安裝到攝像機上時需要使用某種安裝系統，必須確定機械穩定性（松動的鏡頭會產生失焦圖像）以及與傳感器的距離。

為確保不同鏡頭和攝像機之間的兼容性，我們定義了以下標準鏡頭卡口。

表 4. 嵌入式空間常用的鏡頭卡口

NVIDIA 攝像頭模塊合作伙伴

NVIDIA 與全球實力雄厚的攝像頭模塊制造商建立了一個豐富的合作生態圈。詳情請查看 Jetson 合作伙伴支持的攝像頭：https://developer.nvidia.com/embedded/jetson-partner-supported-cameras?t1_supported-jetson-products=Orin

這些合作伙伴可以幫助您，為NVIDIA Jetson應用完成從概念到生產的整個成像系統設計過程。

圖 4. NVIDIA Jetson 加攝像頭模塊的組合

可滿足各行各業的不同需求

總結

本文介紹了為嵌入式應用選擇攝像頭時需要考慮的最重要的特性。這個選擇過程似乎十分艱巨，您首先要了解在設計、性能、環境和成本方面的主要限制。

在了解限制后，重點關注與用例最相關的特性。例如，如果攝像頭將被部署在遠離計算中心的地方或惡劣的環境中，應考慮使用 GMSL 接口；如果攝像頭將在弱光條件下使用，應考慮像素和傳感器尺寸較大的攝像頭模塊；如果要將攝像頭用于運動應用，可考慮使用帶全局快門的攝像頭。

想要了解更多信息，請觀看：

優化邊緣應用：揭示 Jetson 處理器與攝像頭的正確組合

https://www.e-consystems.com/webinars/optimize-your-edge-application-unveiling-the-right-combination-of-jetson-processors-and-cameras.asp

有關基于 Xavier和 Orin 的 Jetson 模塊的 AI 性能、GPU、CPU 等詳細規格，請訪問Jetson 模塊：

https://developer.nvidia.com/embedded/jetson-modules

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行，線上大會也將同期開放。點擊“閱讀原文”或掃描下方海報二維碼，關注更多會議及活動信息。