圖像傳感器是將光信號(hào)轉(zhuǎn)換為電信號(hào)的芯片,在相機(jī)、智能手機(jī)、安防監(jiān)控、汽車(chē)電子和機(jī)器視覺(jué)等市場(chǎng)中有著廣泛的應(yīng)用。圖像傳感器的工作原理主要基于光電效應(yīng)。光子通過(guò)鏡頭進(jìn)入傳感器,并被傳感器中的光電二極管吸收,產(chǎn)生電子。電子被收集并轉(zhuǎn)化為電信號(hào),經(jīng)過(guò)放大和處理,最終形成數(shù)字圖像。
來(lái)百度APP暢享高清圖片圖1、圖像傳感器工作原理(圖源:硬禾學(xué)堂)圖像傳感器按技術(shù)原理通常分為CCD(Charge-Coupled Device,電荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor,互補(bǔ)金屬氧化物場(chǎng)效應(yīng)管)和CIS(Contact Image Sensor,接觸式圖像傳感器)、ToF 3D Image Sensors(Time of Flight 3D Image Sensors,3D-ToF 圖像傳感器)和TIS(Thermal Image Sensor,熱敏圖像傳感器)五種。CCD和CMOS最為常見(jiàn),CIS一般用在掃描儀中。由于是接觸式掃描(必須與原稿保持很近的距離),只能使用LED光源,其景深、分辨率以及色彩表現(xiàn)目前都趕不上CCD感光器件,也不能用于掃描透射片。
圖2、圖像傳感器示例(圖源:濱松)
CCD具有低照度效果好、信噪比高、通透感強(qiáng)、色彩還原能力佳等優(yōu)點(diǎn),主要用于照相機(jī)、攝像機(jī)、智能交通、醫(yī)療等高端應(yīng)用。因成本高、功耗大,一定程度上制約了CCD的市場(chǎng)發(fā)展空間。隨著CMOS工藝和技術(shù)的不斷提升,加之高端CMOS的價(jià)格不斷下降,在安防高清攝像、工業(yè)和汽車(chē)等市場(chǎng),CMOS的市場(chǎng)份額越來(lái)越高。
圖3、CCD與CMOS對(duì)比表(圖源:小牛自動(dòng)化)
圖像傳感器的功能是光電轉(zhuǎn)換。關(guān)鍵的參數(shù)有像素、單像素尺寸、芯片尺寸、功耗。CMOS圖像傳感器也是一個(gè)多層結(jié)構(gòu),技術(shù)工藝上有前照式(FSI)、背照式(BSI)、堆棧式(Stack)等。前照式(FrontSide lllumination,縮寫(xiě)為FSI)結(jié)構(gòu)中,自上至下依次為片上透鏡(Micro-lens)、彩色濾光鏡(Color Filter)、電路層(Wiring Layers)和光電二極管(Photodiodes)。當(dāng)光線射入,經(jīng)過(guò)了片上透鏡和彩色濾光片后,先通過(guò)電路層(金屬排線層),最后光線才被光電二極管接收。
圖4、前照式CMOS圖像傳感器結(jié)構(gòu)背照式CMOS(Back-Illuminated CMOS或者BackSide Illumination,BSI)的金屬排線和光電二極管的位置和前照式正好相反。自上至下依次為片上透鏡(Micro-lens)、彩色濾光片(Color Filter)、光電二極管(Photodiodes)和電路層(Wiring Layers)。
圖5、背照式CMOS圖像傳感器結(jié)構(gòu)將像素單元和電路單元分別是作為獨(dú)立芯片構(gòu)建,使用30nm制程打造電路單元,65nm打造像素單元,并單獨(dú)“退火”,然后將兩個(gè)單元堆疊到一起,這就是堆疊式CMOS,也叫堆棧式,積層式(stacked CMOS)。堆疊式不僅繼承了背照式的優(yōu)點(diǎn)(像素區(qū)域依然是背照式),還克服了其在制作上的限制與缺陷。由于處理回路的改善和進(jìn)步,攝像頭也將能提供更多的功能,比如說(shuō)硬件 HDR,慢動(dòng)作拍攝等等,同時(shí)因?yàn)橄袼貐^(qū)域和電路區(qū)域分開(kāi),CMOS的尺寸變小。另一方面,相同CMOS尺寸下,像素區(qū)域能更大。以上, 堆疊式CMOS具有了高畫(huà)質(zhì),多功能,小型化的特點(diǎn)。
圖6、堆疊式CMOS圖像傳感器結(jié)構(gòu)
無(wú)論是CMOS或CCD圖像傳感器,其光電參數(shù)都可依據(jù)業(yè)界成熟的EMVA1288標(biāo)準(zhǔn)進(jìn)行評(píng)價(jià)。EMVA1288標(biāo)準(zhǔn)是歐洲機(jī)器視覺(jué)協(xié)會(huì)(EMVA)制定,為視覺(jué)行業(yè)提供相機(jī)與圖像傳感器關(guān)鍵性能參數(shù)的測(cè)試標(biāo)準(zhǔn),被中國(guó)CMVU、美國(guó)AIA、日本JIIA、德國(guó)VDMA等行業(yè)組織接受,是國(guó)際國(guó)內(nèi)通用的相機(jī)與圖像傳感器測(cè)試標(biāo)準(zhǔn)。
圖7、EMVA1288標(biāo)準(zhǔn)
接下來(lái)我們更詳細(xì)地列出圖像傳感器的光電參數(shù),以及工程師該如何理解和選型應(yīng)用。圖像傳感器主要指標(biāo)包含:
分辨率/像素?cái)?shù)量(Resolution, Number of Pixels)、像素尺寸(Pixel size)、光學(xué)尺寸(Optical Format)、像素技術(shù)(Pixel Technology)、快門(mén)類型(Shutter Type)、量子效率(Quantum Efficiency, QE)、靈敏度(Sensitivity)、暗噪聲(Dark Noise)、滿阱容量(Full Well Capacity, FWC)、動(dòng)態(tài)范圍(Dynamic Range, DR)、暗電流(Dark Current, DC)、輸出格式(Output Format)、輸出接口(Output Interface)、最大幀率(Max Frame Rate)、主光線角度(CRA)、信噪比(SNR)、光譜響應(yīng)特性(Spectral Response Characteristic)、色彩濾波陣列(Chroma)、封裝(Package)、串?dāng)_(Crosstalk)、曝光時(shí)間(Exposure Time)、增益(Gain)、色彩模式(Color Mode)、功耗(Power)和性價(jià)比(Price Quality)等。
1、分辨率/像素?cái)?shù)量(Resolution, Number of Pixels)
圖像傳感器的感光區(qū)是由多個(gè)像元排列的一維或二維矩陣,其中像元(或像素)為單個(gè)感光單元。圖像傳感器的分辨率通常由該矩陣的橫縱方向的像元數(shù)表示,如1920 x 1080,或由其乘積表示,如2百萬(wàn)分辨率(2MP)。MP:Mega Pixel,兆像素(百萬(wàn)像素)常見(jiàn)的有0.3M、1M、2M、5M、13M、20M、40M、100M(1億像素)等。像素?cái)?shù)量和分辨率是兩個(gè)密不可分的重要概念,它們的組合方式?jīng)Q定了圖像的數(shù)據(jù)量,同樣大小的圖像,分辨率越高,包含的像素越多。像素總數(shù)是指所有像素的總和,像素總數(shù)是衡量CMOS圖像傳感器的主要技術(shù)指標(biāo)之一。CMOS圖像傳感器的總體像素中被用來(lái)進(jìn)行有效的光電轉(zhuǎn)換并輸出圖像信號(hào)的像素為有效像素。有效像素總數(shù)隸屬于像素總數(shù)集合。有效像素?cái)?shù)目直接決定了CMOS圖像傳感器的分辨能力
。2、像素尺寸(Pixel size)
像素尺寸為每個(gè)像元的物理尺寸,即相鄰像元中心的間距。像元尺寸越大,能收集到的光子數(shù)越多,芯片靈敏度越高,意味著在同樣的光照條件下和曝光時(shí)間內(nèi),芯片能收集到的有效信號(hào)越多。在光強(qiáng)可控的工業(yè)應(yīng)用中,像元尺寸一般在4.5-6.5微米之間;而在微光應(yīng)用中,像元尺寸多在10微米到24微米之間,以保證足夠的靈敏度,提升圖像信噪比;在X射線成像應(yīng)用中,多采用10-16微米的像元,可有效降低所需射線劑量,減少對(duì)人體不必要的輻射。像素尺寸通常的尺寸包括14um、10um、9um、7um、6.45um、3.75um、3.0um、2.0um、1.75um、1.4um、1.2um、1.0um等。同時(shí),像元尺寸越大,滿阱越高、動(dòng)態(tài)范圍越大,圖像傳感器的成像性能越好。然而在相同分辨率下,像元尺寸越大,芯片面積越大,芯片的成本和價(jià)格也會(huì)隨著像元尺寸成平方關(guān)系增長(zhǎng)。
3、光學(xué)尺寸(Optical Format)
圖像傳感器的光學(xué)尺寸(Optical Format)是指圖像傳感器感光區(qū)域?qū)蔷€的長(zhǎng)度,一般用英寸表示。由于幾乎所有的工業(yè)鏡頭都按照傳感器的光學(xué)尺寸來(lái)進(jìn)行分類,它是圖像傳感器最常用的指標(biāo)之一。由于歷史原因,1"圖像傳感器的對(duì)角線長(zhǎng)度為16毫米(而不是我們一般認(rèn)為的25.4毫米)。例如,主流工業(yè)應(yīng)用的圖像傳感器為2/3",其感光區(qū)域?qū)蔷€長(zhǎng)度為10.7mm。根據(jù)光學(xué)尺寸的大小,面陣CMOS 圖像傳感器可以分為光學(xué)尺寸>APS-C、光學(xué)尺寸介于 1"與 APS-C 之間、光學(xué)尺寸≤1"等三類。CMOS圖像傳感器的光學(xué)尺寸,成像系統(tǒng)的尺寸就越大,這樣一來(lái),傳感器捕獲的光子多,感光性就越好,信噪比越低。常見(jiàn)的CMOS圖像傳感器尺寸有1/2.5''、1/1.8''、2/3''、1''、4/3''、1.8''。
圖8、圖像傳感器常見(jiàn)的光學(xué)尺寸4、像素技術(shù)(Pixel Technology)
像素技術(shù)是指前照式CMOS、背照式CMOS和堆棧式(Stacked)CMOS。前照式CMOS電路層位于感光二極管前面,背照式CMOS電路層位于感光二極管后面。前照式CMOS的金屬電路擋在受光面前面,這樣會(huì)損失很多光線,真正能夠被感光二極管接收和利用的光線只剩70%甚至更少。很顯然,背照式CMOS極大提高了光線利用率,可以提高傳感器靈敏度,最明顯的改善就是低照度環(huán)境下成像質(zhì)量更高。
圖9、前照式與背照式CMOS圖像傳感器區(qū)別
堆棧式CMOS圖像傳感器最大的特點(diǎn)在于它的雙層結(jié)構(gòu),即將捕捉到的光線轉(zhuǎn)換為電信號(hào)的像素部和將電信號(hào)轉(zhuǎn)換為數(shù)字信息、進(jìn)而進(jìn)行信息處理的邏輯電路部。堆棧式傳感器是在背照式基礎(chǔ)上的改進(jìn),將旁置的信號(hào)處理電路放到了底部支持基板上,騰出空間放置更多的像素。
圖10、堆棧式CMOS圖像傳感器
5、快門(mén)類型(Shutter Type)
CMOS圖像傳感器片上集成電子快門(mén),根據(jù)像素設(shè)計(jì)的不同,分為全局快門(mén)和卷簾快門(mén)。使用全局快門(mén)芯片時(shí),所有像素同時(shí)開(kāi)始曝光并同時(shí)結(jié)束,可捕捉高速運(yùn)動(dòng)物體的瞬時(shí)狀態(tài)。
圖11、兩種快門(mén)模式(圖源:影響空間)
全局快門(mén):在全局快門(mén)像素設(shè)計(jì)中,每個(gè)像素中必須集成一個(gè)信號(hào)存儲(chǔ)單元。當(dāng)曝光結(jié)束后,每個(gè)像素將其所捕捉的信號(hào)轉(zhuǎn)移至各自的存儲(chǔ)單元中,然后逐行讀出。由于在像素內(nèi)集成存儲(chǔ)單元需要相對(duì)復(fù)雜的電路結(jié)構(gòu),降低了像素內(nèi)有效感光面積,因此全局快門(mén)CMOS圖像傳感器一般噪聲較高、靈敏度和動(dòng)態(tài)范圍較低,如索尼 IMX174的讀出噪聲為7個(gè)電子,CMOSIS(已被艾邁斯歐司朗收購(gòu))的CMV系列讀出噪聲為13個(gè)電子。卷簾快門(mén):和全局快門(mén)不同,卷簾快門(mén)的每行像素開(kāi)始曝光和截止曝光是在不同時(shí)間點(diǎn)發(fā)生的,但是所有像素的實(shí)際曝光時(shí)間是相等的。因卷簾快門(mén)像素內(nèi)沒(méi)有存儲(chǔ)單元,曝光結(jié)束后,信號(hào)必須被馬上讀出。因?yàn)閭鞲衅鳠o(wú)法在同一時(shí)刻讀出所有行的信號(hào),因此曝光須逐行停止、逐行讀出。為了保證每行像素的曝光時(shí)間相同,因此每行的開(kāi)始曝光時(shí)間也需要順移。卷簾快門(mén)的工作模式如圖一所示:
因無(wú)需存儲(chǔ)單元,卷簾快門(mén)像素設(shè)計(jì)相對(duì)簡(jiǎn)單,可以最大程度優(yōu)化有效感光面積,提升傳感器的靈敏度,降低噪聲。比如BAE Systems、濱松和長(zhǎng)光辰芯光電的sCMOS傳感器在卷簾快門(mén)模式下暗噪聲都小于2個(gè)電子。是否可以使用卷簾快門(mén)對(duì)移動(dòng)物體成像一直是比較有爭(zhēng)議的話題,我們認(rèn)為應(yīng)根據(jù)具體應(yīng)用參數(shù)評(píng)估,如物體相對(duì)移動(dòng)速度、該運(yùn)動(dòng)物體在焦平面上的大小和曝光時(shí)間等。運(yùn)動(dòng)速度越快,在焦平面上的像越大,對(duì)全局快門(mén)傳感器的需求越明確,如高速工業(yè)檢測(cè)、汽車(chē)碰撞試驗(yàn)、爆炸分析、航空測(cè)繪等。反之,如使用卷簾快門(mén)芯片,在擬采用曝光時(shí)間內(nèi)物體在焦平面上的扭曲可忽略或可矯正,則應(yīng)采用卷簾快門(mén)芯片,以獲得更高的靈敏度和更低暗噪聲,提升圖像質(zhì)量。
6、量子效率(Quantum Efficiency, QE)
量子效率(QE)是描述光電器件(比如CMOS圖像傳感器)光電轉(zhuǎn)換能力的一個(gè)重要參數(shù),它是在某一特定波長(zhǎng)(比如520nm)下單位時(shí)間內(nèi)產(chǎn)生的平均光電子數(shù)與入射光子數(shù)之比。傳感器的光電轉(zhuǎn)換效率越高,其感光度就越高,圖像能夠提供的信息也更多。例如量子效率50%,意味著每2個(gè)照射到感光區(qū)域的光子可轉(zhuǎn)化成1個(gè)電子。其中,F(xiàn)F(FillFactor)為開(kāi)口因子,是每個(gè)像元中有效感光面積與像元面積的百分比。像元尺寸越大或像元設(shè)計(jì)越合理有效,F(xiàn)F越高,量子效率越高。對(duì)于背照式圖像傳感器,光信號(hào)不經(jīng)金屬遮擋,直接入射到感光區(qū)域,開(kāi)口因子為100%。因此背照式圖像傳感器的量子效率較前照式器件有大幅提升。
CCD和CMOS圖像傳感器的量子效率一般在一定波長(zhǎng)范圍內(nèi)測(cè)定,如400nm~ 800nm,峰值量子效率一般在550nm左右。在400nm以下和800nm以上,圖像傳感器的量子效率會(huì)急速下降。受硅材料能級(jí)的限制,無(wú)論CMOS還是CCD器件,量子效率在1100nm以上都下降到零。使用窄帶半導(dǎo)體材料可實(shí)現(xiàn)對(duì)紅外譜段的探測(cè),但這些材料與標(biāo)準(zhǔn)CMOS技術(shù)不兼容,因此不屬于CMOS圖像傳感器范疇。背照式圖像傳感器避免了正照器件表面二氧化硅層對(duì)紫外譜段的吸收,可實(shí)現(xiàn)對(duì)紫外譜段的探測(cè)。如在背照式工藝可對(duì)感光層表面進(jìn)行加工,如添加紫外譜段抗反射鍍膜,可在紫外譜段實(shí)現(xiàn)較高的量子效率。具備紫外探測(cè)能力的圖像傳感器在科學(xué)和工業(yè)應(yīng)用中有非常廣泛的用途,如光譜應(yīng)用或高壓設(shè)備故障檢測(cè)等。如在圖像傳感器生產(chǎn)中采用加厚襯底材料,可增加紅外譜段的吸收效率,實(shí)現(xiàn)在800nm實(shí)現(xiàn)高于40%的量子效率。7、靈敏度(Sensitivity)
靈敏度是衡量圖像傳感器光電性能的最重要指標(biāo),高靈敏度意味著可以在光照較暗或曝光時(shí)間較短的情況下得到清晰的圖像,所以在微光成像、高速成像等應(yīng)用中,應(yīng)選取具有高靈敏度的圖像傳感器芯片。由于CMOS傳感器的每個(gè)象素由四個(gè)晶體管與一個(gè)感光二極管構(gòu)成(含放大器與A/D轉(zhuǎn)換電路),使得每個(gè)象素的感光區(qū)域遠(yuǎn)小于象素本身的表面積,因此在象素尺寸相同的情況下,CMOS傳感器的靈敏度要低于CCD傳感器。
靈敏度是傳感器輸出信號(hào)相對(duì)入射光能量的變化,常用的靈敏度單位納安/勒克斯nA/Lux、伏/瓦(V/W)、伏/勒克斯(V/Lux)、伏/流明(V/lm)。因各傳感器廠家使用不同的單位,用戶很難對(duì)不同廠家芯片的靈敏度進(jìn)行比較。在比較不同傳感器的靈敏度時(shí),最客觀的單位應(yīng)該是以e-/((W/m2)·s),它表征了像素收集光子的能力和進(jìn)行光子到電子轉(zhuǎn)換的效率,只與像元尺寸和量子效率相關(guān),與圖像傳感器的其他設(shè)置無(wú)關(guān),因此可以最客觀、科學(xué)的表征傳感器的靈敏度。在EMVA1288標(biāo)準(zhǔn)中采用V/lux·s,需要注意的是電壓應(yīng)采用像素輸出電壓作為信號(hào)值。然而像素的輸出電壓與圖像傳感器的電子電壓轉(zhuǎn)換增益(Conversion Gain)相關(guān),轉(zhuǎn)換效率越高,靈敏度越高。因此如采用V/lux·s表征靈敏度時(shí),須明確是像素輸出電壓,并標(biāo)明轉(zhuǎn)化增益。由于DN為傳感器輸出的最終數(shù)字信號(hào),在不確定數(shù)字信號(hào)的放大倍數(shù)及模擬數(shù)字轉(zhuǎn)換效率的情況下,一般不無(wú)法用DN/((W/m2)·s)來(lái)客觀的表示傳感器靈敏度。另一種是指器件所能傳感的對(duì)地輻射功率(或照度),與探測(cè)率的意義相同,單位可用W(瓦)或Lux(勒克斯)表示。Sensitivity常作為sensor暗光表現(xiàn)的常用指標(biāo)。
8、暗噪聲(Dark Noise)
暗噪聲,又稱作時(shí)域暗噪聲或讀出噪聲,是指像素在完全黑暗環(huán)境中、最短曝光時(shí)間內(nèi)、幀與幀之間、同一像素輸出的不一致性,它表征了圖像傳感器對(duì)于微弱信號(hào)的極限探測(cè)能力。如sCMOS器件的暗噪聲為1.5個(gè)電子,量子效率為50%,則該探測(cè)器的極限探測(cè)能力為3個(gè)光子。當(dāng)有充足光照或光照條件可控,暗噪聲就不再重要了,因?yàn)樗鼤?huì)被光信號(hào)的散粒噪聲所淹沒(méi)。以sCMOS器件為例,光信號(hào)為20000個(gè)光子,有效光信號(hào)為10000個(gè)電子,對(duì)應(yīng)100個(gè)電子的散粒噪聲,遠(yuǎn)超過(guò)1.5個(gè)電子的暗噪聲。這時(shí)圖像的信噪比將完全取決于光信號(hào)和光散粒噪聲。整個(gè)成像鏈路中的電路和元件都會(huì)對(duì)噪聲有所貢獻(xiàn)。主要貢獻(xiàn)噪聲包括散粒噪聲、FPN噪聲,讀出噪聲等。Shot noise是由于入射光子的時(shí)間和空間上的分布的統(tǒng)計(jì)特性導(dǎo)致的,光子是玻色子,滿足玻色-愛(ài)因斯坦分布,在可見(jiàn)波段附近,滿足hv>>kT,其分布可以用經(jīng)典的泊松分布描述。Fano noise是光子激發(fā)多個(gè)載流子產(chǎn)生的,對(duì)于高能光子,其每一份光子可以激發(fā)出多個(gè)電子,因此低入射功率下可以看到其一份一份光子的光電轉(zhuǎn)換過(guò)程。對(duì)于可見(jiàn)波段附近, Fano noise的影響幾乎可以忽略不計(jì)(以硅為例,估算得到其Fano noise小于0.01e-)。除了隨著波長(zhǎng)減小Fano噪聲增加外,隨著功率的增加fano噪聲也會(huì)增加趨勢(shì)。FPN noise是由于器件之間的差異性導(dǎo)致的噪聲,是一個(gè)不會(huì)隨著時(shí)間變化的固定噪聲。與shot noise不同的是,F(xiàn)PN噪聲正比于信號(hào),而不是信號(hào)的開(kāi)方。因此FPN的抑制對(duì)實(shí)現(xiàn)HDR十分重要。FPN的產(chǎn)生原因主要有三個(gè)方面,一是圖像傳感器感光像素的性能差異,二是讀出電路的差異,三是光學(xué)元件的影響(比如有顆粒或者結(jié)構(gòu)件導(dǎo)致的衍射干涉)。不過(guò)換一個(gè)思路想,也可以通過(guò)設(shè)計(jì)特定的光學(xué)元件來(lái)特意引入FPN,此時(shí)相當(dāng)于FPN是一個(gè)像素陣列分辨率大小的矩陣,相當(dāng)于在感光同時(shí)實(shí)現(xiàn)乘加運(yùn)算。Read noise讀出噪聲是讀出鏈路引入的噪聲,它不是輸入信號(hào)的函數(shù),只與讀出電路有關(guān)。最終總的噪聲是所有噪聲源的疊加,可以通過(guò)PTC曲線的分析對(duì)器件的噪聲鏈路實(shí)現(xiàn)分析。
9、滿阱容量(Full Well Capacity, FWC)
滿阱是指像素所能收集并容納的電子個(gè)數(shù)的極限。滿阱容量直接決定了圖像傳感器的最大信噪比。當(dāng)光信號(hào)足夠強(qiáng),使得像素在較短曝光時(shí)間內(nèi)達(dá)到滿阱時(shí),信噪比最高。此時(shí),噪聲被光信號(hào)的散粒噪聲主導(dǎo),所以最大信噪比為
因此:在微光應(yīng)用和高速應(yīng)用中,應(yīng)選取低暗噪聲和高靈敏度的圖像傳感器;而在光照充足或?qū)τ谧畲笮旁氡扔忻鞔_要求的應(yīng)用,應(yīng)選取滿阱容量高的圖像傳感器。
10、動(dòng)態(tài)范圍(Dynamic Range, DR)
動(dòng)態(tài)范圍是圖像傳感器成像質(zhì)量最重要的指標(biāo)之一,表征了傳感器對(duì)強(qiáng)光和弱光同時(shí)分辨的能力。 圖像傳感器的動(dòng)態(tài)范圍高,就可以探測(cè)更寬光強(qiáng)范圍內(nèi)的場(chǎng)景信息,圖像的細(xì)節(jié)更豐富。動(dòng)態(tài)范圍是滿阱與暗噪聲的比值,一般用分貝表示:
動(dòng)態(tài)范圍包括單幅動(dòng)態(tài)范圍(intra-scene)和最大動(dòng)態(tài)范圍。單幅動(dòng)態(tài)范圍是在同一增益設(shè)置下滿阱容量和暗噪聲的比值;而最大動(dòng)態(tài)范圍是芯片所能達(dá)到的最大滿阱與最小暗噪聲的比值。像素尺寸越大,滿阱越高,動(dòng)態(tài)范圍越高,圖像傳感器的光電性能越好。用戶需要注意區(qū)分“動(dòng)態(tài)范圍”和“最大信噪比”兩個(gè)參數(shù),動(dòng)態(tài)范圍是滿阱除以暗噪聲、最大信噪比是滿阱除以達(dá)到滿阱光強(qiáng)時(shí)的光散粒噪聲,因此探測(cè)器動(dòng)態(tài)范圍往往遠(yuǎn)大于最大信噪比。
11、暗電流(Dark Current, DC)
暗電流為像素在單位時(shí)間內(nèi)受熱激發(fā)產(chǎn)生的電子的均值,單位為e-/s/pix。暗電流噪聲為在一定曝光時(shí)間內(nèi)產(chǎn)生的暗電流的平方根,例一個(gè)圖像傳感器的暗電流為36e-/s/pix,曝光時(shí)間為100秒,則暗電流為3600e-,暗電流噪聲為60e-。因此,隨著曝光時(shí)間的增加,暗電流噪聲會(huì)超越暗噪聲,對(duì)圖像質(zhì)量產(chǎn)生很大的影響。暗電流和傳感器的工作溫度關(guān)系密切。因此對(duì)于長(zhǎng)曝光時(shí)間應(yīng)用,如天文觀測(cè)、熒光成像等,一般會(huì)對(duì)圖像傳感器進(jìn)行制冷,使其工作溫度在零下30度左右;對(duì)于科學(xué)級(jí)應(yīng)用,甚至?xí)禍氐搅阆?0度,以減小暗電流噪聲對(duì)圖像質(zhì)量的影響。
12、輸出格式(Output Format
)12.1、RAW(或RAWRGB)
CMOS圖像傳感器輸出的原始圖像格式是RAW。RAW圖像就是CMOS圖像感應(yīng)器將捕捉到的光源信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)的原始數(shù)據(jù)。RAW文件是一種記錄了數(shù)碼相機(jī)傳感器的原始信息,同時(shí)記錄了由相機(jī)拍攝所產(chǎn)生的一些原數(shù)據(jù)(Metadata,如ISO的設(shè)置、快門(mén)速度、光圈值、白平衡等)的文件。RAW是未經(jīng)處理、也未經(jīng)壓縮的格式,可以把RAW概念化為“原始圖像編碼數(shù)據(jù)”或更形象的稱為“數(shù)字底片”。
12.2、RGB
RGB565,每個(gè)像素用16位表示,RGB分量分別使用5位、6位、5位(常用也就是上說(shuō)的RGB)。
RGB555,每個(gè)像素用16位表示,RGB分量都使用5位(剩下1位不用)。
RGB24,每個(gè)像素用24位表示,RGB分量各使用8位。
RGB32,每個(gè)像素用32位表示,RGB分量各使用8位(剩下8位不用)。ARGB32,每個(gè)像素用32位表示,RGB分量各使用8位(剩下的8位用于表示Alpha通道值)。
12.3、YUVYUV三個(gè)字母中,其中"Y"表示明亮度(Luminance或Luma),也就是灰度值。而"U"和"V"表示的則是色度(Chrominance或Chroma),作用是描述影像色彩及飽和度,用于指定像素的顏色。YUV存儲(chǔ)格式有兩大類,planar(平面格式)和packed(打包格式)。13、輸出接口(Output Interface)
13.1、MIPI,移動(dòng)行業(yè)處理器接口,是MIPI聯(lián)盟發(fā)起的為移動(dòng)應(yīng)用處理器制定的開(kāi)放標(biāo)準(zhǔn)。串行數(shù)據(jù),速度快,抗干擾,主流輸出接口。13.2、LVDS,低壓差分信號(hào)技術(shù)接口。
13.3、DVP,并口傳輸,速度較慢,傳輸?shù)膸挼汀?/p>
13.4、Parallel,并行數(shù)據(jù),含12位數(shù)據(jù)信號(hào),行場(chǎng)同步信號(hào)和時(shí)鐘信號(hào)。
13.5、HISPI,高速像素接口,串行數(shù)據(jù)。
13.6、SLVS-EC,由SONY公司定義,用于高幀率和高分辨率圖像采集,它可以將高速串行的數(shù)據(jù)轉(zhuǎn)化為DC(Digital Camera)時(shí)序后傳遞給下一級(jí)模塊VICAP(Video Capture)。SLVS-EC串行視頻接口可以提供更高的傳輸帶寬,更低的功耗,在組包方式上,數(shù)據(jù)的冗余度也更低。在應(yīng)用中SLVS-EC接口提供了更加可靠和穩(wěn)定的傳輸。
14、最大幀率(Max Frame Rate)
幀率指的是單位時(shí)間所記錄或者播放的圖片的數(shù)量,最大幀率指每秒可以輸出多少幀的峰值。盡管有時(shí)會(huì)要求每秒60幀,但大多數(shù)傳輸使用的速度為每秒30-40幀。幀速率和分辨率密切相關(guān),并影響需要處理的數(shù)據(jù)量。連續(xù)播放一系列圖片就會(huì)產(chǎn)生動(dòng)畫(huà)效果,根據(jù)人類的視覺(jué)系統(tǒng),當(dāng)圖片的播放速度大于15幅/秒的時(shí)候,人眼就基本看不出來(lái)圖片的跳躍。在達(dá)到24幅/s~30幅/s時(shí)就已經(jīng)基本覺(jué)察不到閃爍現(xiàn)象了。每秒的幀數(shù)或者幀率表示CMOS圖像傳感器在處理圖像時(shí)每秒鐘能夠更新的次數(shù)。高的幀率可以得到更流暢、更逼真的視覺(jué)體驗(yàn)。
15、主光線角度(CRA)
從鏡頭的傳感器一側(cè),可以聚焦到像素上的光線的最大角度被定義為主光角(CRA),鏡頭軸心線附近接近零度,與軸心線的距離越大,角度也隨之增大。CRA與像素在傳感器的位置是相關(guān)的。如果lens的CRA小于CMOS Sensor的CRA,一定會(huì)有偏色現(xiàn)象。lens的CRA一般略大于CMOS Sensor的CRA。拍明芯城是快速撮合的元器件交易平臺(tái),過(guò)去數(shù)年已積累了豐富的優(yōu)勢(shì)貨源。我們聚焦服務(wù)元器件長(zhǎng)尾客戶群,讓每一家芯片原廠或分銷(xiāo)商的每一款芯片,在Design In、Design Win和流通中更高效,幫助工程師的方案選型、試樣及采購(gòu),為電子產(chǎn)業(yè)供需略盡綿薄之力。
16、信噪比(SNR)
信噪比主要決定于入射光的亮度級(jí)(事實(shí)上,在亮度很低的情況下,噪聲可能比信號(hào)還要大)。所以,信噪比應(yīng)該將所有的噪聲源都考慮在內(nèi),有些資料中常常忽略散粒噪聲,而它恰恰是中、高信號(hào)電平的主要噪聲來(lái)源。CMOS sensor的數(shù)據(jù)手冊(cè)一般都會(huì)提供信噪比參數(shù)SNR,如下所示。信噪比的典型值為45~55dB,若為50dB,則圖像有少量噪聲,但圖像質(zhì)量良好;若為60dB,則圖像質(zhì)量?jī)?yōu)良,不出現(xiàn)噪聲,信噪比越大說(shuō)明對(duì)噪聲的控制越好。這個(gè)參數(shù)關(guān)系地圖像中噪點(diǎn)的數(shù)量,信噪比越高,給人感覺(jué)畫(huà)面越干凈,夜視的畫(huà)面中點(diǎn)狀的噪點(diǎn)就越少。
17、光譜響應(yīng)特性(Spectral Response Characteristic)
CMOS圖像傳感器的信號(hào)電壓Vs和信號(hào)電流Is是入射光波長(zhǎng)λ的函數(shù)。光譜響應(yīng)特性就是指CMOS圖像傳感器的響應(yīng)能力隨波長(zhǎng)的變化關(guān)系,它決定了CMOS圖像傳感器的光譜范圍。18、色彩濾波陣列(Chroma)常見(jiàn)的色彩濾波陣列:RGGB:一個(gè)紅光、一個(gè)藍(lán)光、兩個(gè)綠光濾波器。每個(gè)像素只能感應(yīng)一種顏色的光,但是當(dāng)對(duì)外輸出的時(shí)候,需要知道這個(gè)像素的RGB值,就只能通過(guò)周?chē)袼厝ビ?jì)算,這個(gè)計(jì)算和轉(zhuǎn)換是靠ISP去完成的,進(jìn)而得出這個(gè)像素的RGB的值。這樣每個(gè)像素雖然只感應(yīng)了一種光,但是每個(gè)像素經(jīng)過(guò)處理后傳輸?shù)酵饷婧缶褪怯蠷GB的信息了。這些原始的感光數(shù)據(jù)成為RAW data。
RCCC:75% 為透射,其余 25% 為只感受紅光的濾波器。RCCC 的優(yōu)點(diǎn)是光靈敏度高,適用于弱光環(huán)境。由于 RCCC 只有紅色光濾波器,因此主要用在對(duì)于紅色標(biāo)識(shí)敏感的場(chǎng)合,比如交通燈檢測(cè)。
RCCB:50% 為透射,其余紅光藍(lán)光濾波器各占 25%。RCCB 的弱光敏感性比 RCCC 稍差,但分辨色彩的能力更好,采集的圖像既可以用于機(jī)器分析,也可以用于人眼觀察。
Mono:100% 透射。Mono不能分辨色彩。Mono 配置的弱光靈敏度最高,僅用于對(duì)顏色無(wú)識(shí)別要求的場(chǎng)合,如駕駛員狀態(tài)檢測(cè)等。
RGB NIR:把RGGB中的一個(gè)G換成了NIR。
19、封裝(Package)
CSP: 芯片級(jí)封裝,芯片感光面被一層玻璃保護(hù),CSP對(duì)灰塵點(diǎn)要求相對(duì)低點(diǎn) sensor表面如果還有灰塵點(diǎn)可以返工修復(fù),制程設(shè)備成本較低、制程時(shí)間短,但是光線穿透率不佳、價(jià)格較貴、高度較高、背光穿透鬼影現(xiàn)象。COB: 將裸芯片用導(dǎo)電或非導(dǎo)電膠粘附在互連基板上,然后進(jìn)行引線鍵合實(shí)現(xiàn)其電連接。COB可將鏡片、感光芯片、ISP以及軟板整合在一起,封裝測(cè)試后可直接交給組裝廠,但是制作過(guò)程中容易遭受污染,對(duì)環(huán)境要求較高,制程設(shè)備成本較高、良品率變動(dòng)大、制程時(shí)間長(zhǎng),無(wú)法維修等。
BGA: 球形觸點(diǎn)陳列,表面貼裝型封裝。球柵網(wǎng)格陣列封裝.
LGA: 平面網(wǎng)格陣列封裝.
PGA: 插針網(wǎng)格陣列封裝.Fan-out:扇出晶圓級(jí)封裝。
PLCC:帶引線的塑料芯片載體.表面貼裝型封裝。
20、串?dāng)_(Crosstalk)
串?dāng)_有兩種成分:光學(xué)串?dāng)_(Optical Crosstalk)和電學(xué)串?dāng)_ (Blooming)。光學(xué)串?dāng)_成分來(lái)源于漫射光或?qū)嵌让舾械钠衔⑼哥R陣列。不考慮電學(xué)串?dāng)_成分的前提下,波長(zhǎng)較長(zhǎng)的光發(fā)生光電轉(zhuǎn)換生成信號(hào)電荷的區(qū)域較深,可能會(huì)擴(kuò)散到相鄰的像素。減少該類電荷擴(kuò)散的方法,包括:
20.1、在保持表面對(duì)紅光光譜響應(yīng)率的條件下,使有效光電轉(zhuǎn)換深度變淺。例如,使用正向偏置n型襯底。
20.2、在像素間加入隔離區(qū)。例如,對(duì)于CMOS圖像傳感器可以采用更高滲雜度的p型隔絕區(qū)包圍光電二極管區(qū)域。對(duì)于小像素來(lái)說(shuō),通常會(huì)制作片上微型透鏡以增加靈敏度。微型透鏡能將入射光線匯聚到光電二極管區(qū)域的中心上,因此也能減少串?dāng)_。
21、曝光時(shí)間(Exposure Time)
曝光時(shí)間越長(zhǎng),圖像傳感器接收到的光照時(shí)間越長(zhǎng),亮度也會(huì)越高。
22、增益(Gain)
增益指的是信號(hào)放大的倍率。增益通常分為數(shù)字增益和模擬增益,大部分CMOS同時(shí)具有這兩種增益,每種增益可以獨(dú)立調(diào)節(jié)倍數(shù),例如4×的模擬增益和2×的數(shù)字增益,最終效果是兩個(gè)相乘。由于增益放大信號(hào)的同時(shí),也會(huì)放大噪聲,因此并不是越高的增益越好,需要綜合場(chǎng)景進(jìn)行考慮,特別是機(jī)器視覺(jué)的使用場(chǎng)景下,高噪聲容易帶來(lái)誤報(bào),反而影響效果。
23、色彩模式(Color Mode)
色彩模式分為黑白(Mono),彩色(Color)兩種類型。彩色模式的傳感器大多數(shù)采取Bayer形式的數(shù)據(jù)格式,Bayer格式的數(shù)據(jù)需要進(jìn)行色彩還原,最左上的2x2或者2x1區(qū)域定義為Bayer格式,如RGGB或RG。
24、功耗(Power)CMOS傳感器通常比CCD傳感器具有更低的功耗。這是因?yàn)镃MOS傳感器的每個(gè)像素單元都有自己的轉(zhuǎn)換電路,可以獨(dú)立工作,只有在需要時(shí)才會(huì)被激活。而CCD傳感器需要額外的電荷傳輸器件來(lái)逐行傳輸電荷,因此消耗更多的功耗。25、性價(jià)比(Price Quality)無(wú)論是CMOS或是CCD,市場(chǎng)在售的圖像傳感器的價(jià)格比全定制圖像傳感器要低得多。如果非要定制,除非變化很小,那么定制CCD圖像傳感器的價(jià)格一般低于定制CMOS的價(jià)格。
①、汽車(chē)圖像傳感器選型
除了以上通用的選型準(zhǔn)則,不同的行業(yè)應(yīng)用有著不同的要求,下面我們一起來(lái)探討為汽車(chē)應(yīng)用選擇圖像傳感器時(shí)最重要的考慮因素。
1、分辨率
你不一定要最高的分辨率,因?yàn)檫@些數(shù)據(jù)會(huì)給處理系統(tǒng)帶來(lái)負(fù)擔(dān),并減慢反應(yīng)時(shí)間。
考慮你的應(yīng)用是否需要識(shí)別車(chē)道線或前方100米處的行人——我們發(fā)現(xiàn)在交通應(yīng)用中,1080p分辨率是一個(gè)很好的中間點(diǎn)。這種分辨率可以很好地了解周?chē)氖澜纾遥词故?0個(gè)攝像機(jī)系統(tǒng),你的處理器也可以對(duì)收到的數(shù)據(jù)做出很好的反應(yīng)。
2、像素大小
這與感光度有關(guān)。像素大小通常會(huì)被忽略,它決定了圖像感應(yīng)在黑暗中捕獲光線的能力。我們有幾個(gè)傳感器可以在昏暗的月光下使用,像素大小足夠大,您可以很好地捕獲圖像。
3、高動(dòng)態(tài)范圍
這使傳感器可以同時(shí)看到明暗區(qū)域。想想在橋下開(kāi)車(chē)的例子。圖像傳感需要能夠看到橋前,橋下和橋外的場(chǎng)景。橋下可能是黑暗的,橋的前后可能是亮的。高動(dòng)態(tài)范圍感應(yīng)使您能夠準(zhǔn)確地捕獲所有數(shù)據(jù)。
4、幀速率
這是指?jìng)鞲衅髅棵肟梢暂敵龆嗌賻1M管有時(shí)會(huì)要求每秒60幀,但大多數(shù)視頻數(shù)據(jù)使用的幀速率為每秒30-40幀。幀速率和分辨率密切相關(guān),并影響需要處理的數(shù)據(jù)量。
5、彩色濾光片陣列
這項(xiàng)技術(shù)可設(shè)置對(duì)顏色(或光的波長(zhǎng))的敏感度。它指的是傳感器中像素的色度和特異性,并指示每個(gè)像素對(duì)光波長(zhǎng)的特異性。正在開(kāi)發(fā)新的彩色濾光片陣列以改善傳感器的響應(yīng)能力。
6、減輕LED閃爍
這就是傳感器如何管理環(huán)境中的閃爍光。例如,此功能可將幀捕獲與場(chǎng)景中的外部LED同步,例如在停車(chē)燈處。這項(xiàng)技術(shù)可通過(guò)信號(hào)燈的LED自動(dòng)調(diào)整圖像傳感器的定時(shí)。
7、全局快門(mén)
這是一種同時(shí)捕獲圖像傳感器中所有像素的快門(mén)。它對(duì)于眼睛跟蹤和駕駛員監(jiān)控應(yīng)用特別重要。與滾動(dòng)關(guān)閉相比,這是一個(gè)不同的圖像捕獲過(guò)程。
②、機(jī)器視覺(jué)圖像傳感器的選型
機(jī)器視覺(jué)應(yīng)用中,一般幀頻>50fps,拍攝距離短,生產(chǎn)環(huán)境光強(qiáng)可控,曝光時(shí)間較短,一般采用全局快門(mén)圖像傳感器,除特殊應(yīng)用外,動(dòng)態(tài)范圍60dB可以滿足大多數(shù)機(jī)器視覺(jué)的要求。在高速自動(dòng)化生產(chǎn)線上應(yīng)用的機(jī)器視覺(jué)產(chǎn)品,對(duì)幀頻要求都在150-300fps之間。由于機(jī)器視覺(jué)產(chǎn)品用量較大,對(duì)于芯片的價(jià)格有較高的要求。機(jī)器器視覺(jué)傳感器的選型有什么方便快捷的技巧嗎?
Teledyne FLIR將目前可用的機(jī)器視覺(jué)傳感器用顏色編碼整理成一張便于理解的周期表,從分辨率、像素尺寸、幀率和光學(xué)格式等各個(gè)維度的傳感器技術(shù)規(guī)格進(jìn)行橫行和縱向?qū)Ρ龋奖愎こ處焸円荒苛巳坏倪M(jìn)行快速選型,達(dá)到事半功倍的效果。此表涵蓋超過(guò)100種常用的機(jī)器視覺(jué)傳感器品類,包括第三代Sony Pregius、第四代Sony Pregius S、e2v、onsemi、OmniVision、CMOSIS和GPixel,而且在視覺(jué)上區(qū)分了CCD、CMOS卷簾快門(mén)和CMOS全局快門(mén)傳感器。
圖像傳感器供需,歡迎常來(lái) 拍明芯城元器件商城https://www.iczoom.com/ 看看
審核編輯 黃宇
-
圖像傳感器
+關(guān)注
關(guān)注
68文章
1917瀏覽量
129699 -
電信號(hào)
+關(guān)注
關(guān)注
1文章
840瀏覽量
20673
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論