日前，在由黑芝麻智能主辦的“2023智能汽車芯片高峰論壇”上，黑芝麻智能圖像科學總監王超發表主題為“黑芝麻智能NerualIQ ISP技術讓汽車洞察秋毫”的演講，全面解析這一技術。

近日，黑芝麻智能發布了武當系列智能汽車跨域計算平臺及其首款芯片C1200。C1200的特色之一在于搭載了黑芝麻智能新一代自研NeuralIQ ISP模塊，為圖形計算提供更精準的數據。在由黑芝麻智能主辦的“2023智能汽車芯片高峰論壇”上，公司圖像科學總監王超發表主題為“黑芝麻智能NerualIQ ISP技術讓汽車洞察秋毫”的演講，全面解析這一技術。

通常情況下，ISP有很多常見的處理模塊，比如白平衡、自動曝光控制、自動對焦等。黑芝麻智能的NeuralIQ ISP在安防、手機、汽車三大場景具有全平臺的處理能力。三種場景對ISP的要求不盡相同。王超介紹，針對車載應用，黑芝麻智能對ISP進行了三大方面的優化。

算法優化

算法層面的優化涉及到無幀延時的多幀降噪、夜晚去運動模糊、高亮高飽和區域色彩和細節保持、不同光譜sensor的色彩一致性四個方面。

黑芝麻智能設計了無幀延時的多幀降噪，去噪的同時保持多幀圖像的特征。在ISP里盡量保留多幀圖像共有的信息，使得對外界環境的可讀性得到提升。

運動模糊的寬度取決于在曝光時間內運動物體投影在像素平面上的寬度，針對夜晚環境下的運動模糊情況，黑芝麻智能采用了減曝光+增增益+多幀降噪的方案，使得夜晚運動模糊時的圖像質量得到更進一步提高。

交通環節有很多重要信息都是比較高亮、高飽和的信息，黑芝麻智能通過算法改進實現了顏色矯正、細節保持，從而為后端的感知算法提供更加準確的數據。

有效的色彩管理手段（AWB/CCM/3DLut等）不只使得常見光譜種類的sensor的輸出圖像的色彩一致，針對不同光譜種類sensor的數據也可以做到色彩一致化。黑芝麻智能通過RGBIr的色彩處理和恢復，在即使有紅外影響的情況下，也可以得到和人類感知比較一致的顏色，為后端感知算法提供更加一致的輸入。

IP設計優化

算法上優化之外，黑芝麻智能在ISP的IP設計上也進行了優化。比如，車載環境下需要應用的相機越來越多，黑芝麻智能通過IP設計手段，使用可以共享的邏輯來處理多個數據，讓一系列的計算邏輯可以被復用，以此方式減少芯片面積。

同時，黑芝麻智能的NeuralIQ ISP支持在線處理模式，可以用來減少車載圖像的處理數據延時。簡單而言，從第一個數據輸入到ISP輸出第一個數據，在線處理模式的延時一般小于2毫秒。

全面的ISP IQ調試流程

對于ISP的調試工作，黑芝麻智能為NeuralIQ ISP模塊設置了模組性能檢查，模組參數標定和調優，并配備調試工具。

模組性能檢查涉及模組缺陷、MTF、DOF、炫光、紅外、漏光等。模組參數標定和調優包括鏡頭暗角標定（LSC）、色彩校正矩陣標定（CCM）、白平衡標定（AWB）、噪聲標定和調試。

在此基礎上，黑芝麻智能會對NeuralIQ ISP進行客觀和主觀的測試工作。客觀從鏡頭亮度陰影、鏡頭色度陰影、色彩準確性、白平衡準確性和灰階測試幾方面展開。主觀測試則是在車載的主觀場景下進行，例如白天、黑夜、日落等光照環境，隧道、車庫出入口、交通信號燈、車道線、十字路口等特殊環境，以及顛簸路面、反光路面、極暗光照等極端環境。

NeuralIQ ISP是黑芝麻智能兩大核心自研IP之一，適用于智能駕駛環視感知、前視感知、駕駛監控等應用場景。王超表示：“希望我們的ISP能夠使接入的車載相機得到更合理的圖像效果，提供給后端感知算法使用，幫助自動駕駛能夠更順利地向前一步。”