（文章來源：獵云網）

4月8日，阿里達摩院宣布推出自研ISP圖像處理器，并且在夜間等具有挑戰性的環境下圖像識別精準率比業界主流產品有10%以上的提升。ISP處理器是攝像頭的關鍵組件，阿里達摩院進入這個領域的邏輯是什么？

ISP是圖像信號處理器（Image Signal Processor）的簡稱，目前已經被廣泛應用于我們每個人的智能手機當中。大家都知道現在有海量的嵌入式設備都帶攝像頭，近至我們的智能手機、很多的大眾消費級的顯示器，當然也包含正在研發當中的智能駕駛系統，以及各種公共場所上的監控設備，遠至在近地軌道上運行的眾多微型衛星，可以說圖像信號的獲取和處理是一個極為廣泛存在的需求。圖像信號處理器能夠對攝像頭拍攝到的畫面做不同程度的分析，并對畫面做不同程序的增強和改善。

以現在的智能手機為例，大家幾乎每天都會使用自己的智能手機來拍照，而現在的各家智能手機廠商，都并不直接研發攝像頭模組，都是采購歐菲光，索尼等第三方廠商的攝像頭模組，有時候不同的智能手機用了同一個廠家、同一個型號的攝像頭，但是照片呈現出來的質量仍然有非常明顯的不同，這很大程度上就是因為各家廠商使用的ISP的好壞導致的。

對于大家比較熟悉的智能手機日常拍照的場景，手機芯片內置的ISP會進行自動人臉對焦，自動色調映射等一系列功能，這其中有很多講究，都會直接影響到最終照片質量，例如ISP的自動圖像銳化，如果銳化太多，則照片會有比較明顯的“扎眼”的感覺，如果銳化太少，則照片整體會有一種朦朧感，給人的感受是這個手機的拍照系統捕捉細節的能力不足。而眾多消費者們每天拍照的場景條件千奇百怪五花八門，沒有一種自動銳化技術是放之四海皆準的，ISP必須能夠自動地檢測識別場景中的一些特征來決定銳化進行到何種程度。這類ISP研發中的難點反應到產品上，就是大家經常會爭論的各家智能手機拍照系統的“出片風格”、“出片質量”了。

在當前流行的在自動駕駛系統構架設計中，總的來說一般都會有一個很強的人工智能系統，去判斷拍照系統傳回的當前場景信息，例如當前場景存在哪些車輛，行人，障礙物，估計速度，估計距離等等。讓這個人工智能系統要想實現高度準確判斷的前提，是拍照系統傳回的當前場景信息盡可能準確無誤。

可以說相比手機這樣的大眾消費品，自動駕駛更加需要ISP。因為對于手機來說，ISP只是決定照片質量的好壞，無非是一個觀感問題，而在高速運動的車輛上，如果ISP不能準確地將場景特征暴露給后繼系統部件，導致的結果就可能會是災難性的。

例如，由于車輛會處在高速運動當中，所以攝像頭拍攝到的照片往往會帶有一定的“拖尾”或者“重影”，這對于圖像處理系統中的后繼算法去識別物體特征是不利的，因此ISP的重要職責之一就是減少這種“拖尾”和“重影”。這在ISP當中是一個非常重要的子領域叫做“運動估計”。

再例如，如果是在夜間行車，那么由于當前攝像頭傳感器技術的限制，夜間的成像往往會暴露比日間成像更多的問題，攝像頭傳感器為了捕捉更多的場景細節，就不得不延長曝光時間，提高進光量，但這樣一來又會帶來明顯的噪點。例如在這組對比圖片中，左圖經過處理后明顯暴露出了更多的場景信息，樹木，草地的細節和邊緣都更加清晰銳利，但與此同時在背景的夜空中，在遠處的建筑上，都存在著更多的噪點。

再考慮到自動駕駛系統中應用的電子元器件還有經過車規級驗證，難度又更上一層樓。據筆者所知，一些車規級電子元器件需要耐受125度的工作溫度，而一般大眾消費級市場上的芯片，例如Intel的CPU，只要求100度，接近這個溫度就會觸發過熱保護，電腦會自動掉電重啟。與此同時車規級芯片對可靠性也有額外要求，因此可以毫不夸張地說，ISP在整個自動駕駛系統中的地位是至關重要的，ISP的研發也是非常具有技術含量和挑戰性的一個領域。

經過20年的發展，阿里從一家電商公司發展成為一家科技巨頭公司，并且今天已經開始扮演全社會數字經濟的基礎設施。今天的阿里不僅在業務范圍上進行橫向擴張，同時在業務深度上也在進行縱向擴張。所以我們看到過去幾年里，阿里進入了芯片等基礎研研究領域，成立了達摩院，設立了平頭哥半導體公司，并且在量子計算等很多前沿的領域展開研究。

自動駕駛毫無疑問是未來十年中可能帶來顛覆性變化的賽道，阿里沒有理由缺席，更不要說阿里的很多業務場景也需要自動化升級。而頂級的自動駕駛系統，必然是軟件-硬件的配合（人工智能算法 + 傳感器），同樣也有硬件-硬件間的配合（多傳感器融合）。

理想的自動駕駛系統需要在復雜的道路光線環境/惡劣天氣環境下仍然可以得到滿足深度學習算法所需要的圖像數據，這需要算法設計和硬件設計之間的相互配合，與此同時，預知圖像傳感器的曝光時間極其重要，可以保證雷達掃描到某一位置時刻同時觸發圖像傳感器曝光，這需要硬件與硬件之間的相互配合。因此達摩院選擇了自研ISP去追求這一極致。

從目前接觸到的評測結果來看，達摩院的自研ISP已經毫無疑問地躋身業界一流水平，經過自研ISP與深度學習算法的互相配合，夜間場景的識別準確率提升了十個百分點。不要小瞧這十個百分點的提升，這背后有深層算法的創新，對于提升自動駕駛設備的感知能力有著巨大的提升作用。
（責任編輯：fqj）