4月8日，阿里達(dá)摩院宣布自主研發(fā)出用于車載攝像頭的ISP處理器，保障自動(dòng)駕駛車輛在夜間擁有更好的“視力”，“看”得更清晰，從而大幅提升自動(dòng)駕駛安全性。這款I(lǐng)SP處理器的背后技術(shù)是達(dá)摩院獨(dú)有的3D降噪和圖像增強(qiáng)算法。目前，該處理器已經(jīng)用于自動(dòng)駕駛物流車，路測性能達(dá)到業(yè)界領(lǐng)先水平。

ISP處理器是攝像頭的關(guān)鍵組件，阿里達(dá)摩院進(jìn)入這個(gè)領(lǐng)域的邏輯是什么？

什么是ISP？

ISP是圖像信號(hào)處理器（Image Signal Processor）的簡稱，目前已經(jīng)被廣泛應(yīng)用于我們每個(gè)人的智能手機(jī)當(dāng)中。大家都知道現(xiàn)在有海量的嵌入式設(shè)備都帶攝像頭，近至我們的智能手機(jī)、很多的大眾消費(fèi)級的顯示器，當(dāng)然也包含正在研發(fā)當(dāng)中的智能駕駛系統(tǒng)，以及各種公共場所上的監(jiān)控設(shè)備，遠(yuǎn)至在近地軌道上運(yùn)行的眾多微型衛(wèi)星，可以說圖像信號(hào)的獲取和處理是一個(gè)極為廣泛存在的需求。圖像信號(hào)處理器能夠?qū)z像頭拍攝到的畫面做不同程度的分析，并對畫面做不同程序的增強(qiáng)和改善。

以現(xiàn)在的智能手機(jī)為例，大家?guī)缀趺刻於紩?huì)使用自己的智能手機(jī)來拍照，而現(xiàn)在的各家智能手機(jī)廠商，都并不直接研發(fā)攝像頭模組，都是采購歐菲光，索尼等第三方廠商的攝像頭模組，有時(shí)候不同的智能手機(jī)用了同一個(gè)廠家、同一個(gè)型號(hào)的攝像頭，但是照片呈現(xiàn)出來的質(zhì)量仍然有非常明顯的不同，這很大程度上就是因?yàn)楦骷覐S商使用的ISP的好壞導(dǎo)致的。

對于大家比較熟悉的智能手機(jī)日常拍照的場景，手機(jī)芯片內(nèi)置的ISP會(huì)進(jìn)行自動(dòng)人臉對焦，自動(dòng)白平衡，自動(dòng)色調(diào)映射等一系列功能，這其中有很多講究，都會(huì)直接影響到最終照片質(zhì)量，例如ISP的自動(dòng)圖像銳化，如果銳化太多，則照片會(huì)有比較明顯的“扎眼”的感覺（因?yàn)檎掌薪^大多數(shù)物體邊緣都被優(yōu)化的太過于銳利），如果銳化太少，則照片整體會(huì)有一種朦朧感，給人的感受是這個(gè)手機(jī)的拍照系統(tǒng)捕捉細(xì)節(jié)的能力不足。而眾多消費(fèi)者們每天拍照的場景條件千奇百怪五花八門，沒有一種自動(dòng)銳化技術(shù)是放之四海皆準(zhǔn)的，ISP必須能夠自動(dòng)地檢測識(shí)別場景中的一些特征來決定銳化進(jìn)行到何種程度。這類ISP研發(fā)中的難點(diǎn)反應(yīng)到產(chǎn)品上，就是大家經(jīng)常會(huì)爭論的各家智能手機(jī)拍照系統(tǒng)的“出片風(fēng)格”、“出片質(zhì)量”了。

為什么自動(dòng)駕駛需要ISP？

在當(dāng)前流行的在自動(dòng)駕駛系統(tǒng)構(gòu)架設(shè)計(jì)中，總的來說一般都會(huì)有一個(gè)很強(qiáng)的人工智能系統(tǒng)，去判斷拍照系統(tǒng)傳回的當(dāng)前場景信息，例如當(dāng)前場景存在哪些車輛，行人，障礙物，估計(jì)速度，估計(jì)距離等等。讓這個(gè)人工智能系統(tǒng)要想實(shí)現(xiàn)高度準(zhǔn)確判斷的前提，是拍照系統(tǒng)傳回的當(dāng)前場景信息盡可能準(zhǔn)確無誤。

可以說相比手機(jī)這樣的大眾消費(fèi)品，自動(dòng)駕駛更加需要ISP。因?yàn)閷τ谑謾C(jī)來說，ISP只是決定照片質(zhì)量的好壞，無非是一個(gè)觀感問題，而在高速運(yùn)動(dòng)的車輛上，如果ISP不能準(zhǔn)確地將場景特征暴露給后繼系統(tǒng)部件，導(dǎo)致的結(jié)果就可能會(huì)是災(zāi)難性的。

例如，由于車輛會(huì)處在高速運(yùn)動(dòng)當(dāng)中，所以攝像頭拍攝到的照片往往會(huì)帶有一定的“拖尾”或者“重影”，這對于圖像處理系統(tǒng)中的后繼算法去識(shí)別物體特征是不利的，因此ISP的重要職責(zé)之一就是減少這種“拖尾”和“重影”。這在ISP當(dāng)中是一個(gè)非常重要的子領(lǐng)域叫做“運(yùn)動(dòng)估計(jì)”。

再例如，如果是在夜間行車，那么由于當(dāng)前攝像頭傳感器技術(shù)的限制，夜間的成像往往會(huì)暴露比日間成像更多的問題，攝像頭傳感器為了捕捉更多的場景細(xì)節(jié)，就不得不延長曝光時(shí)間，提高進(jìn)光量，但這樣一來又會(huì)帶來明顯的噪點(diǎn)。例如在這組對比圖片中，左圖經(jīng)過處理后明顯暴露出了更多的場景信息，樹木，草地的細(xì)節(jié)和邊緣都更加清晰銳利，但與此同時(shí)在背景的夜空中，在遠(yuǎn)處的建筑上，都存在著更多的噪點(diǎn)。

再考慮到自動(dòng)駕駛系統(tǒng)中應(yīng)用的電子元器件還有經(jīng)過車規(guī)級驗(yàn)證，難度又更上一層樓。據(jù)筆者所知，一些車規(guī)級電子元器件需要耐受125度的工作溫度，而一般大眾消費(fèi)級市場上的芯片，例如Intel的CPU，只要求100度，接近這個(gè)溫度就會(huì)觸發(fā)過熱保護(hù)，電腦會(huì)自動(dòng)掉電重啟。與此同時(shí)車規(guī)級芯片對可靠性也有額外要求，因此可以毫不夸張地說，ISP在整個(gè)自動(dòng)駕駛系統(tǒng)中的地位是至關(guān)重要的，ISP的研發(fā)也是非常具有技術(shù)含量和挑戰(zhàn)性的一個(gè)領(lǐng)域。

達(dá)摩院為什么要自研ISP？

經(jīng)過20年的發(fā)展，阿里從一家電商公司發(fā)展成為一家科技巨頭公司，并且今天已經(jīng)開始扮演全社會(huì)數(shù)字經(jīng)濟(jì)的基礎(chǔ)設(shè)施。今天的阿里不僅在業(yè)務(wù)范圍上進(jìn)行橫向擴(kuò)張，同時(shí)在業(yè)務(wù)深度上也在進(jìn)行縱向擴(kuò)張。所以我們看到過去幾年里，阿里進(jìn)入了芯片等基礎(chǔ)研研究領(lǐng)域，成立了達(dá)摩院，設(shè)立了平頭哥半導(dǎo)體公司，并且在量子計(jì)算等很多前沿的領(lǐng)域展開研究。

自動(dòng)駕駛毫無疑問是未來十年中可能帶來顛覆性變化的賽道，阿里沒有理由缺席，更不要說阿里的很多業(yè)務(wù)場景也需要自動(dòng)化升級。而頂級的自動(dòng)駕駛系統(tǒng)，必然是軟件-硬件的配合（人工智能算法 + 傳感器），同樣也有硬件-硬件間的配合（多傳感器融合）。

理想的自動(dòng)駕駛系統(tǒng)需要在復(fù)雜的道路光線環(huán)境/惡劣天氣環(huán)境下仍然可以得到滿足深度學(xué)習(xí)算法所需要的圖像數(shù)據(jù)，這需要算法設(shè)計(jì)和硬件設(shè)計(jì)之間的相互配合，與此同時(shí)，預(yù)知圖像傳感器的曝光時(shí)間極其重要，可以保證雷達(dá)掃描到某一位置時(shí)刻同時(shí)觸發(fā)圖像傳感器曝光，這需要硬件與硬件之間的相互配合。因此達(dá)摩院選擇了自研ISP去追求這一極致。

從目前接觸到的評測結(jié)果來看，達(dá)摩院的自研ISP已經(jīng)毫無疑問地躋身業(yè)界一流水平，經(jīng)過自研ISP與深度學(xué)習(xí)算法的互相配合，夜間場景的識(shí)別準(zhǔn)確率提升了十個(gè)百分點(diǎn)。不要小瞧這十個(gè)百分點(diǎn)的提升，這背后有深層算法的創(chuàng)新，對于提升自動(dòng)駕駛設(shè)備的感知能力有著巨大的提升作用。

阿里的戰(zhàn)略

觀察一家企業(yè)的戰(zhàn)略，需要一個(gè)長時(shí)段的維度。從這個(gè)角度出發(fā)，阿里自研ISP處理器，可能是阿里“芯”戰(zhàn)略的關(guān)鍵一步。

阿里已經(jīng)先后發(fā)布了自研RISCV CPU，自研AI加速芯片，再加上自研ISP處理器的面世，一顆片上系統(tǒng)芯片（SoC）需要的幾大件都擺到了臺(tái)面上。

所以，現(xiàn)在這幾個(gè)大件已經(jīng)可以很明顯地拼出阿里在芯片戰(zhàn)略領(lǐng)域的初步輪廓：阿里將會(huì)拿出自研的AliSoC，進(jìn)一步地與同樣正在深耕硬件領(lǐng)域的Google，Amazon等國際頂級廠商展開更多競爭。

十年前的阿里，大眾認(rèn)知里還只有電商淘寶。差不多五年前，大家認(rèn)知里加上了金融（支付寶），拉近到三年前，大家又接納了阿里云計(jì)算。從達(dá)摩院宣布成立到現(xiàn)在短短幾年時(shí)間，阿里又在極度依賴技術(shù)積累的核心硬件領(lǐng)域開始彎道超車，可能用不了幾年，大家又會(huì)接納阿里成了一家成功的芯片公司，一家擁有核心技術(shù)的新經(jīng)濟(jì)基礎(chǔ)設(shè)施公司。

唯一不變的是變化。且待阿里“芯”光燦爛。

達(dá)摩院自研ISP處理器，使得車載攝像頭在白天和夜間的圖像識(shí)別能力大幅提升。根據(jù)達(dá)摩院自動(dòng)駕駛實(shí)驗(yàn)室的路測結(jié)果顯示，使用達(dá)摩院ISP處理器，車載攝像頭在夜間這個(gè)最富有挑戰(zhàn)的場景下，圖像物體檢測識(shí)別能力比業(yè)內(nèi)主流處理器有10%以上的提升，原本模糊不清的標(biāo)注物也得以清晰識(shí)別。

“車載攝像頭圖像質(zhì)量的大幅提升，提高了自動(dòng)駕駛的檢測識(shí)別能力，進(jìn)一步保障了自動(dòng)駕駛的安全性。”達(dá)摩院自動(dòng)駕駛實(shí)驗(yàn)室高級技術(shù)專家廣瞻指出，通過達(dá)摩院獨(dú)有的3D降噪和圖像增強(qiáng)算法，達(dá)摩院ISP處理器幫助扮演自動(dòng)駕駛車輛“眼睛”角色的攝像頭，有了更好的“視力”，夜間環(huán)境下看得更清晰。

行業(yè)專家指出，由于成本較低，并且技術(shù)成熟，車載攝像頭成為自動(dòng)駕駛市場上應(yīng)用最廣泛的傳感器。性能強(qiáng)大的ISP處理器，將提升自動(dòng)駕駛產(chǎn)業(yè)鏈的智能化水平。

一 解構(gòu)達(dá)摩院 ISP 處理器技術(shù)

每當(dāng)杭州夜色降臨，來自達(dá)摩院自動(dòng)駕駛實(shí)驗(yàn)室的無人車便上路，這些搭載著阿里自研 ISP 芯片的車輛在夜路上逐步優(yōu)化升級。所謂 ISP （Image Signal Processor），即圖像信號(hào)處理器，是車載攝像頭的重要構(gòu)成組件，主要作用是對前端圖像傳感器 CMOS 輸出的信號(hào)進(jìn)行運(yùn)算處理。ISP 處理器一般運(yùn)用在安防，自動(dòng)駕駛，手機(jī)、相機(jī)等領(lǐng)域，在手機(jī)、相機(jī)等傳統(tǒng)領(lǐng)域中，一般用作拍照，對實(shí)時(shí)性要求不高，在這種情況下，往往可以采取例如夜間長曝光時(shí)間的方法來達(dá)到較好的拍攝效果。而在安防領(lǐng)域，場景往往是固定的，背景不涉及到運(yùn)動(dòng)，但自動(dòng)駕駛場景全天候都處在運(yùn)動(dòng)狀態(tài)中，此外，自動(dòng)駕駛尤其注重安全，因此，對于圖像質(zhì)量、數(shù)據(jù)傳輸和處理速度要求較高，需達(dá)到實(shí)時(shí)性要求。達(dá)摩院自動(dòng)駕駛實(shí)驗(yàn)室，高級技術(shù)專家 丁虎平（廣瞻）向機(jī)器之心介紹，目前白天場景 ISP 芯片表現(xiàn)良好，但在夜間、陰天、道路光線復(fù)雜、天氣惡劣等極端情況下，ISP 芯片需要路測去發(fā)現(xiàn)并解決問題。根據(jù)達(dá)摩院自動(dòng)駕駛實(shí)驗(yàn)室的路測結(jié)果顯示，使用達(dá)摩院 ISP 處理器，車載攝像頭在夜間這個(gè)最富挑戰(zhàn)的場景下，圖像識(shí)別能力比業(yè)內(nèi)主流 ISP 處理器有 10% 以上的大幅度提升，原本模糊不清的標(biāo)志物也得以清晰識(shí)別，降低漏檢、誤檢的可能。

測試顯示，達(dá)摩院 ISP 處理器 （左） 能夠識(shí)別更多的標(biāo)志物車載攝像頭圖像識(shí)別能力的大幅提升，進(jìn)一步保障了自動(dòng)駕駛的安全性，背后的技術(shù)是達(dá)摩院獨(dú)有的 3D 降噪和圖像增強(qiáng)算法。

達(dá)摩院ISP處理器路測效果3D 降噪技術(shù)是由原先傳統(tǒng)的 2D 技術(shù)升級，即在原有的幀內(nèi)降噪的基礎(chǔ)上，增加了幀與幀之間降噪的功能，使圖像明暗部分的細(xì)節(jié)都更加清晰、更接近人眼看到的實(shí)際效果，運(yùn)動(dòng)估計(jì)是 3D 降噪的重要環(huán)節(jié)，精準(zhǔn)的運(yùn)動(dòng)估計(jì)可以最大程度減小場景中運(yùn)動(dòng)物體因?yàn)閹g降噪引入的運(yùn)動(dòng)拖尾。達(dá)摩院在此基礎(chǔ)上，同時(shí)對圖像的噪聲水平進(jìn)行準(zhǔn)確估計(jì)，通過噪聲估計(jì)用以指導(dǎo)降噪強(qiáng)度，在保證降噪效果的同時(shí)最大程度保留物體結(jié)構(gòu)以及邊緣信息。在圖像增強(qiáng)方面，達(dá)摩院針對夜間場景，引入局部對比度增強(qiáng)處理，在控制曝光時(shí)間的同時(shí)，對圖像局部進(jìn)行對比度拉伸，既保證整體圖像結(jié)構(gòu)和細(xì)節(jié)，又可以減輕因長曝光引起的運(yùn)動(dòng)模糊。丁虎平向機(jī)器之心介紹道，局部對比度增強(qiáng)處理是達(dá)摩院在圖像增強(qiáng)上的特色，與整體圖像增強(qiáng)不同的是，它將圖像分割成若干區(qū)域，針對局部區(qū)域的灰度特征進(jìn)行增強(qiáng)處理。他表示，目前在車規(guī)級圖像處理器領(lǐng)域，該款芯片處于業(yè)界一流水平。

二 自動(dòng)駕駛領(lǐng)域「后發(fā)者」阿里

早在 2014 年左右，彼時(shí)阿里巴巴在智能汽車領(lǐng)域的布局還較為保守——希望首先給汽車加裝智能操作系統(tǒng)，讓其具備智能操控、感知、服務(wù)等能力，相對成熟后再發(fā)力自動(dòng)駕駛。阿里一直在自主研發(fā)車載操作系統(tǒng) AliOS，這一操作系統(tǒng)為斑馬智行以及榮威系列互聯(lián)網(wǎng)汽車提供了支持。2014 年，AliOS 與上汽深度合作，2015 年，斑馬網(wǎng)絡(luò)由阿里巴巴集團(tuán)和上汽共同發(fā)起的智聯(lián)網(wǎng)汽車基金投資成立，斑馬智行便是由斑馬網(wǎng)絡(luò)所打造的基于 AliOS 的智聯(lián)網(wǎng)汽車開放平臺(tái)；2016 年 7 月，阿里同上汽合作發(fā)布了「全球首款量產(chǎn)互聯(lián)網(wǎng) SUV」榮威 RX5，基于 AliOS 打造的斑馬智行系統(tǒng)也首次出現(xiàn)在大眾面前；

榮威 RX5 中控搭載 斑馬智行系統(tǒng)2017 年 12 月，阿里和福特汽車正式簽署戰(zhàn)略合作，雙方依托阿里達(dá)摩院對前沿基礎(chǔ)科技的研究，整合云計(jì)算、人工智能等技術(shù)，通過 AliOS 操作系統(tǒng)與汽車的結(jié)合，提升駕駛體驗(yàn)。除了在車聯(lián)網(wǎng)領(lǐng)域的發(fā)力，阿里在 2015 年年底起，也開始了在自動(dòng)駕駛領(lǐng)域的布局。至今，經(jīng)過四年多的打磨，現(xiàn)階段阿里達(dá)摩院自動(dòng)駕駛實(shí)驗(yàn)室聚焦在末端無人物流的場景，并已經(jīng)將無人配送車產(chǎn)品逐步落地在大學(xué)校園。雖然相比百度，騰訊，阿里的自動(dòng)駕駛路線「姍姍來遲」，但好在阿里的技術(shù)的場景積淀較為豐厚。對于自動(dòng)駕駛而言，環(huán)境感知、高精度定位、決策規(guī)劃、智能控制等都是必備技術(shù)，這也是達(dá)摩院自動(dòng)駕駛團(tuán)隊(duì)布局的方向。談道為何從 ISP 芯片角度切入研發(fā)，丁虎平向機(jī)器之心表示，從自動(dòng)駕駛視覺場景角度看，ISP 要實(shí)現(xiàn)的是在復(fù)雜的道路光線環(huán)境/惡劣天氣環(huán)境下仍然可以得到滿足深度學(xué)習(xí)算法所需要的圖像數(shù)據(jù)；從傳感器融合角度，預(yù)知圖像傳感器的曝光時(shí)間極其重要，可以保證雷達(dá)掃描到某一位置時(shí)刻同時(shí)觸發(fā)圖像傳感器曝光；而當(dāng)前市面上已有的車規(guī)級圖像處理器圖像處理效果不能滿足自動(dòng)駕駛深度學(xué)習(xí)算法的這些需求。而這款自研芯片正是達(dá)摩院在環(huán)境感知上的研究突破，它可以解決現(xiàn)有硬件方案性能不足的問題，進(jìn)一步提升自動(dòng)駕駛系統(tǒng)的安全性。ISP 處理器就是達(dá)摩院在環(huán)境感知上的研究突破，它可以解決現(xiàn)有硬件方案低照度場景圖像質(zhì)量不足的問題，進(jìn)一步提升自動(dòng)駕駛系統(tǒng)的安全性。此外，在丁虎平看來，阿里巴巴經(jīng)濟(jì)體擁有豐富的物流場景，例如淘寶、天貓、餓了么、盒馬等這些業(yè)務(wù)都離不開物流配送，加之菜鳥本身也是一個(gè)智慧物流平臺(tái)，這為自動(dòng)駕駛研發(fā)團(tuán)隊(duì)提供了大量場景經(jīng)驗(yàn)。目前，達(dá)摩院 ISP 處理器已在自動(dòng)駕駛物流車業(yè)務(wù)場景落地，未來可能會(huì)落地新零售如自動(dòng)收銀機(jī)、智能家具等場景，據(jù)丁虎平介紹，當(dāng)遷移到相關(guān)場景時(shí)，需要對 ISP 處理器相關(guān)模塊或算法進(jìn)行定制化即可。ISP 處理器除了對自身業(yè)務(wù)的促進(jìn)，對于行業(yè)來講意義也不小，據(jù)高工智能產(chǎn)業(yè)研究院 （GGII） 研究院預(yù)估，攝像頭隨著 ADAS 滲透率的提升，市場規(guī)模由 2016 年的 20 億元增長到 2020 年的 58 億元，年復(fù)合增長率為 30%，搭載于其中的 ISP 處理器對于整個(gè)自動(dòng)駕駛行業(yè)而言無疑有著重要推動(dòng)作用。據(jù)機(jī)器之心了解，當(dāng)前，該款芯片主要用于自動(dòng)駕駛物流車的相機(jī)系統(tǒng)中，未來是否出售或者 license IP 給其他廠商要遵循集團(tuán)的相關(guān)政策。

三 從玄鐵到 ISP 處理器達(dá)摩院的布局之道

2018 年 9 月，阿里巴巴宣布合并中天微、達(dá)摩院團(tuán)隊(duì)，成立平頭哥半導(dǎo)體芯片公司。中天微成立于 2001 年，旨在發(fā)展 32 位高性能低功耗嵌入式 CPU、以芯片架構(gòu)授權(quán)為核心業(yè)務(wù)的集成電路設(shè)計(jì)公司，2018 年 4 月被阿里全資收購；達(dá)摩院是阿里在全球多點(diǎn)設(shè)立的科研機(jī)構(gòu)，立足基礎(chǔ)科學(xué)技術(shù)的研究，成立于 2017 年 10 月。成立至今，平頭哥已發(fā)布基于 RISC-V 的處理器 IP Core 玄鐵 910、SoC 芯片平臺(tái)「無劍」和含光 800 芯片。

平頭哥發(fā)布 AI 芯片—含光 8002019 年 10 月，平頭哥宣布開源低功耗微控制芯片（MCU）設(shè)計(jì)平臺(tái)，其中包含處理器、基礎(chǔ)接口 IP、操作系統(tǒng)、軟件驅(qū)動(dòng)和開發(fā)工具等模塊，搭載基于 RISC-V 架構(gòu)的玄鐵 902 處理器，能提供 UART、SPI、I2C 等多種 IP 及驅(qū)動(dòng)，還可讓用戶快速集成、驗(yàn)證，減少基礎(chǔ)模塊開發(fā)成本。阿里旗下的業(yè)務(wù)涵蓋電商、物流、云計(jì)算、大數(shù)據(jù)等等。用戶規(guī)模龐大，圖像視頻分析、搜索等各種業(yè)務(wù)場景都亟待 AI 專用芯片，其中圖像和視頻對算力的需求尤其大，這為阿里研發(fā) AI 芯片提供了絕佳平臺(tái)。

此前平頭哥接連推出的玄鐵、無劍、含光都是芯片領(lǐng)域的不同產(chǎn)品，玄鐵解決指令集、算法等架構(gòu)問題，無劍是一個(gè)芯片開發(fā)平臺(tái)，它提供芯片開發(fā)的基礎(chǔ)設(shè)施，含光 800 是平頭哥真正意義的第一款 AI 芯片。

而此次推出的 ISP 是車載圖像處理器，主要用于自動(dòng)駕駛場景。除了應(yīng)用場景不同，玄鐵 910、無劍 SoC 平臺(tái)可以幫助其它企業(yè)研發(fā)定制芯片，含光 800 則是云端 AI 推理芯片，目前都已經(jīng)完成市場對外輸出。

據(jù)丁虎平透露，達(dá)摩院這一款 ISP 處理器目前首先滿足自身自動(dòng)駕駛業(yè)務(wù)需求，未來對外輸出形式尚未確定，「也有可能成為 SoC 芯片的一部分」，丁虎平補(bǔ)充說道。

責(zé)任編輯：gt