ISP(Image Signal Processing, 圖像信號處理器)是連接圖像傳感器與終端呈現的關鍵樞紐。車載攝像頭的傳統 ISP 通過一系列數字圖像處理算法(運行在PipeLine),對圖像傳感器輸出的原始信號進行優化,處理圖像噪聲、亮度、色彩等要素,實現攝像頭畫面的校正、色彩還原、圖像增強、3A統計等基礎處理。但面對復雜場景下更完美畫質的追求,傳統 ISP的技術瓶頸逐漸顯現 — 例如傳統ISP無法抑制Sensor或者ISP高增益模式下的噪點,因此一般其增益會限制在36dB,最大不超過42dB,從而會影響攝像頭的可見性,在低照場景下能見度低,難以在極暗光環境下實現清晰成像。
為了解決行業痛點,眾多廠家開始探索AI在ISP的應用。例如安防行業先期推出的AI-ISP能夠在NPU上進行深度學習處理,NPU核上能夠完成降噪、超分辨率、去霧等深度學習算法,深度學習處理后接回ISP-PipeLine完成后續處理。使用這類AI-ISP后,能夠利用其超強的降噪能力,增加增益使用范圍,從而獲得更好的可見性,低照下也能取得極好的能見度,并且可以大幅增加產品的信噪比,對于非絕對低照環境也可以提升畫質:
但上述AI-ISP由于算法處理鏈路較長(涉及NPU-DDR-ISP)增加了延時,為了降低延時更適應車載應用,海康定制的車載AI-ISP創新地把AI模塊串到ISP-Pipeline中,其深度學習算法直接在ISP-Pipeline中運行,大幅節省了處理時間,可做到時延小于5ms(約1/10FPS)。
海康定制的車載AI-ISP可以應用到車載多類攝像頭產品當中,比如環視攝像頭、OMC攝像頭、流媒體攝像頭等,使得用戶獲得更好的觀感體驗。
AI-ISP在車載的應用場景
3M環視攝像頭(低照場景)
傳統ISP無法抑制Sensor高增益模式下的噪點;車載AI-ISP在顯著提升感光度的同時精準抑制噪聲,達成亮度與畫質的雙重躍升。
全彩OMC攝像頭(低照場景)
傳統OMC Sensor選用RGB-IR方案,由于低照度效果受限需要開啟紅外補光,在紅外模式下,使用IR來感光,不僅失去了色彩信息,且感光分辨率也只有全畫幅的1/4;全彩OMC使用AI-ISP取消了紅外模式,既保證了低照度效果,又保留了色彩信息,并且感光分辨率能夠保留全畫幅提升畫面清晰度。
-
處理器
+關注
關注
68文章
19825瀏覽量
233800 -
ISP
+關注
關注
6文章
491瀏覽量
52867 -
AI
+關注
關注
88文章
34457瀏覽量
275875
原文標題:AI技術在車載的應用—AI-ISP點亮黑夜
文章出處:【微信號:WHSTsensor,微信公眾號:森思泰克】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
北京君正穿戴式ISP芯片的核心技術

AI-ISP夜光成像全面提升黑光成像效果,解決夜晚夜間邊防哨所監控

評論