圖像傳感器上的像素可以變得多小？

我們可能不知道答案，只是它們可能會變得非常非常小。半導體加工能夠產生小至 5 納米的特征。雖然這種極小的尺寸可能不適用于圖像傳感器上的像素，但它表明我們還沒有接近尺寸限制。

在機器視覺的早期，像素為 17μm。稍后，隨著 2/3 英寸格式的 VGA 分辨率傳感器的出現，它們變成了 13μm。從那時起，更小的傳感器和更高的分辨率將像素尺寸向下推到了 10μm、7μm、3.45μ、2.2μm，甚至是今天的 0.8μm。多家圖像傳感器公司制定了 0.4μm 像素尺寸的發展路線。

圖1

圖 2- 硅晶片

是什么激發了較小的像素？ 主要是成本，這與圖像傳感器的尺寸直接相關。 一個加工過的 300 毫米晶圓成本在 4,000 到 14,000 美元之間，主要取決于“節點”或特征的大小。節點范圍從 45nm 到 5nm，較小的節點工藝成本更高。它還取決于制造晶圓所需的工藝步驟數量。此外，晶圓以至少 20 個晶圓的批次進行處理。 為了獲得經濟性，有必要增加每個晶片的圖像傳感器數量。最簡單的方法是使圖像傳感器更小。較小的圖像傳感器與更高圖像分辨率（像素的數量或行和列）相沖突。公司如何創建更小的圖像傳感器并保持或提高圖像分辨率？只能通過使像素更小。

小像素的缺點是什么？

第一個缺點是噪聲。圖像傳感中一種主要的噪聲形式是光子散粒噪聲——一種量子物理學的效應。光子散粒噪聲與光生電子數的平方根成反比。光生電子越多，光子散粒噪聲占信號的百分比就越低。 更大的像素具有更大的區域來捕獲光子和更大的容量來存儲稱為全阱容量的光生電子。因為較小的像素具有相應的較小的全阱容量，所以它們的光子散粒噪聲將成比例地放大。 小像素的另一個缺點是具有與像素尺寸相匹配的光學元件。 有一個衍射公式，鏡頭分辨率的基本限制：R = 1.22 λ f# 其中 λ 是光的波長，f# 是鏡頭的 f 值。 對于 λ=555nm，人眼最敏感的綠光，f-number = 1，非常寬的鏡頭，分辨率極限為 0.68μm。在您得出光學可以解決與小像素相稱的細節的結論之前，請意識到這是一個沒有考慮鏡頭像差的理論限制。此外，具有低 f 值的鏡頭更難設計且制造成本更高。 設計具有大光圈的衍射受限透鏡是可能的。它是一種非常復雜的鏡頭，具有非常嚴格的制造公差，并且不具備很多靈活性，例如不能夠使我們聚焦到不同的工作距離。因此，它將成為一個非常昂貴的定制鏡頭。

圖 3- 鏡頭 MTF

圖 4- 圖像傳感器的 MTF

小像素的一些優點是什么？

當我們更深入地研究分辨率時，這一點會變得很明顯。當我們研究如何將小像素分組使用時，可能會出現另一種情況。

鏡頭的調制傳遞函數 (MTF)。這顯示了鏡頭可以產生的對比度，它作為空間頻率的細節的函數。空間頻率就是有一對線，一條白色和一條黑色，寬度相等。現在這些線對中有多少可以并排放置在一毫米內。隨著線條變得更窄，更多線對將放置在一毫米內。線條的寬度代表鏡頭可以光學解析的細節。 請注意，隨著空間頻率的增加，鏡頭無法產生任何對比度。它無法解析這些細節。對于視覺系統工作，20% 的對比度通常用作鏡頭分辨率或空間頻率的目標限制。 許多人沒有意識到圖像傳感器也有 MTF。它與鏡頭不同。對比度從 100% 開始，逐漸下降到零。然后奇怪的事情發生了；它繼續下降到負值。在這個負值區域發生的情況是信息受到混疊的影響，由空間頻率、明暗線間距和像素間距影響。對比度達到零的點是奈奎斯特極限，線對的大小是像素大小的兩倍。

圖 5- 圖像傳感器和高分辨率鏡頭的 MTF

圖 6- 鏡頭和圖像傳感器的匹配 MTF 曲線

人們通常會選擇光學分辨率低于奈奎斯特極限的鏡頭。這意味著圖像傳感器獲取到了劣質的光信息，最后導致圖像邊緣輪廓損壞。精確測量系統的準確性可能會受到這種損壞的限制。 一種可能的解決方案是選擇光學分辨率極限正好在奈奎斯特極限附近的鏡頭。這可以防止圖像數據損壞。組合成像 MTF 只是兩條 MTF 曲線相乘。在鏡頭提供 20% 的對比度和圖像傳感器提供 20% 的對比度時，圖像中的對比度僅為 4%，對于許多應用來說可能太低了。

圖 7- Lens Limited MTF.

圖 8- 圖像傳感器上的拜耳濾波器模式

當圖像傳感器的奈奎斯特極限低于鏡頭的光學分辨率時，混疊不會破壞圖像，并且組合對比度可以高于匹配的傳感器和鏡頭的對比度。但是，我們不應該忘記，高像素是以圖像噪聲更大以及要傳輸和處理更多的圖像數據為代價的。 使用小像素組而不是單個像素可以提高成像能力。例如，非常常見的拜耳濾光片圖案，其中每個像素都有一個彩色濾光片，而用于三色成像的其他兩種顏色是通過插值最近鄰得到的，這會產生諸如紫邊之類的偽影。

圖 9- 顯示紫色邊緣的放大圖

圖 10- 4x4 Bayer 濾波器

假設，代替相鄰像素上的拜耳模式，一個四乘四的小相鄰像素陣列具有濾色器，并且圖像傳感器可以對來自具有相同濾色器的像素的信號進行合并，即組合。這實際上將消除紫邊，并通過分箱減少光子散粒噪聲的影響。 三個濾色器（紅色、綠色和藍色）的目的是再現人類可見的大部分色域，這些色域在視網膜上具有三種不同的顏色傳感器（視錐細胞）。對于不同的模型，看看螳螂蝦。它的眼睛有十二個不同的視錐細胞，使其能夠看到超出可見光譜的紫外線和紅外線。螳螂蝦不僅可以看到人類看不到的波長，它還具有比人類更好分顏色的潛力。螳螂蝦也能感知光的偏振。

圖 11- 螳螂蝦照片

圖 12- 多光譜和偏振濾光片圖案來源

回到四乘四的小像素組，可以使用一系列濾色器來擴展色域和辨別力，還可以感知光的偏振。這種安排將在 2D 圖像傳感器中引入執行多光譜或高光譜成像的能力。

寫在最后

總之，像素將在消費設備的成本壓力的推動下縮小，其中工程師減輕其成本的方式是將成本在大量生產中攤銷。對于大多數技術成像，像素尺寸可能會保持在 3μm 左右，這樣噪聲更易于管理，鏡頭設計和制造更實用。然而，以獨特方式使用的小像素組也可能帶來新的成像機會。

審核編輯 ：李倩