2月6日,上海保隆科技有限公司(保隆科技)聯(lián)合上海芯侖光電科技有限公司(芯侖科技)、武漢大學(xué)共同發(fā)布的汽車動(dòng)態(tài)傳感器(DVS,Dynamic Vision Sensor)正是基于圖像傳感器能否像人眼一樣主動(dòng)感知真實(shí)世界這樣的大膽技術(shù)假設(shè)。
如果我們希望人工智能像人一樣思考,那么圖像傳感器能否像人眼一樣主動(dòng)感知真實(shí)世界?
2月6日,上海保隆科技有限公司(保隆科技)聯(lián)合上海芯侖光電科技有限公司(芯侖科技)、武漢大學(xué)共同發(fā)布的汽車動(dòng)態(tài)傳感器(DVS,Dynamic Vision Sensor)正是基于這樣的大膽技術(shù)假設(shè)。傳統(tǒng)圖像傳感器基于幀的概念,原理性的缺陷導(dǎo)致運(yùn)動(dòng)信息缺失、海量無(wú)效數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)輸出,從而帶來(lái)巨大的數(shù)據(jù)傳輸和存儲(chǔ)壓力、運(yùn)算資源的浪費(fèi)、系統(tǒng)整體能耗和成本的上升、以及穩(wěn)定性的缺陷;DVS采用新型的仿生原理圖像傳感器芯片,全時(shí)全速追蹤運(yùn)動(dòng)物體,有效過(guò)濾冗余背景信息,輸出運(yùn)動(dòng)物體的結(jié)構(gòu)化場(chǎng)景信息,實(shí)現(xiàn)感知端預(yù)處理,減輕后端信號(hào)處理算法的復(fù)雜度,并使用更低的計(jì)算資源處理器來(lái)實(shí)現(xiàn)實(shí)時(shí)處理能力。保隆科技將其形容為“超眼”。
低數(shù)據(jù)流,剔除冗余數(shù)據(jù):道路兩邊靜止的車輛和建筑(非動(dòng)態(tài)數(shù)據(jù))“消失”
DVS為L(zhǎng)4、L5高級(jí)別自動(dòng)駕駛感知系統(tǒng)提供了一條新的技術(shù)路線。國(guó)際上開發(fā)DVS的代表性公司包括瑞士的Inilabs、法國(guó)的Prophesee以及三星,此次保隆發(fā)布的DVS 屬于自主研發(fā),集成了芯侖科技的芯片技術(shù)和武漢大學(xué)的算法技術(shù)。相比于保隆科技當(dāng)天發(fā)布的77G及24G毫米波雷達(dá)、雙向前視系統(tǒng)、紅外熱成像夜視儀、駕駛員預(yù)警系統(tǒng)、車用人臉識(shí)別系統(tǒng)等產(chǎn)品,保隆科技汽車電子單元總監(jiān)李威表示,DVS是保隆科技“引領(lǐng)戰(zhàn)略”下的傳感器產(chǎn)品,是保隆科技的技術(shù)創(chuàng)新,也是自動(dòng)駕駛行業(yè)的技術(shù)創(chuàng)新。
據(jù)芯侖科技聯(lián)合創(chuàng)始人、CTO陳守順博士介紹,此次發(fā)布的DVS核心技術(shù)是模仿人眼視神經(jīng),以事件為驅(qū)動(dòng)原理,可如人眼一般主動(dòng)看世界:
· 無(wú)固定觀察頻率
· 靈敏響應(yīng)速度
· 脈沖式信息讀取和輸出
· 像素電路間并行處理
· 主動(dòng)特征提取,無(wú)多余背景信息
每個(gè)像素電路獨(dú)立檢測(cè)光強(qiáng)水平,無(wú)需曝光,不受幀率約束。當(dāng)光強(qiáng)發(fā)生變化時(shí),便以極快的反應(yīng)速度(5納秒)輸出一個(gè)包含(X、Y、A、T)的事件(event)數(shù)據(jù)。
進(jìn)出隧道瞬間,不受光照強(qiáng)烈變化影響,仍可捕捉路面信息
尤需指出的是,該DVS可實(shí)現(xiàn)多種模式同時(shí)輸出:
圖像模式(Picture Mode):與傳統(tǒng)圖像傳感器一致的全副圖像,兼容傳統(tǒng)圖像處理算法和硬件。
動(dòng)態(tài)模式(Motion/Event Mode):動(dòng)態(tài)特征脈沖信號(hào)通過(guò)自然光強(qiáng)變化的判定輸出二值化的動(dòng)態(tài)特征區(qū)域信息(X、Y、A、T)。
光流模式(Optical Flow Mode):獨(dú)有的密集光流模式,無(wú)需降維,從芯片上得到光流向量場(chǎng)信息。
高架上行駛,完整捕捉道路標(biāo)線和交通標(biāo)識(shí)
自動(dòng)駕駛、尤其是L4、L5高度自動(dòng)駕駛,面臨大量對(duì)實(shí)時(shí)和高速處理要求高、算力不可達(dá)的場(chǎng)景,以及一些邊緣性場(chǎng)景(Corner Case),基于上述原理和核心技術(shù),DVS動(dòng)態(tài)視覺傳感器有能力解決。比如特斯拉Model S將卡車誤判為白云、Uber自動(dòng)駕駛車輛夜晚撞死橫穿馬路的行人、以及自動(dòng)駕駛車輛進(jìn)出隧道光強(qiáng)變化等場(chǎng)景。保隆科技汽車電子單元總監(jiān)李威表示,他們將特別選取一些場(chǎng)景,在封閉測(cè)試場(chǎng)內(nèi)對(duì)DVS的性能開展測(cè)試。
極暗場(chǎng)景下,也可清晰顯示部分物體的移動(dòng)
據(jù)李威透露,當(dāng)前保隆科技已完成DVS攝像頭本體、處理器平臺(tái)的研發(fā)集成工作,正在進(jìn)行運(yùn)算平臺(tái)的優(yōu)化,預(yù)計(jì)今年底可完成,明年將提供標(biāo)準(zhǔn)化的產(chǎn)品,進(jìn)行小批量的量產(chǎn)。今年將為包括商用車、乘用車、特種車輛的合作伙伴提供定制化產(chǎn)品,進(jìn)行裝車試用。宇通客車是保隆DVS的重要合作伙伴,宇通汽車智能研究院副院長(zhǎng)彭能嶺博士出席發(fā)布會(huì),對(duì)DVS在自動(dòng)駕駛領(lǐng)域的應(yīng)用前景、以及與保隆的合作研發(fā)均充滿希望。
-
圖像傳感器
+關(guān)注
關(guān)注
68文章
1973瀏覽量
130601 -
動(dòng)態(tài)數(shù)據(jù)
+關(guān)注
關(guān)注
0文章
6瀏覽量
8540
原文標(biāo)題:動(dòng)態(tài)視覺傳感器(DVS):高級(jí)自動(dòng)駕駛的“超眼”
文章出處:【微信號(hào):IV_Technology,微信公眾號(hào):智車科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
CMOS圖像傳感器的制造步驟

從溫度計(jì)到AI感知中樞:解碼傳感器分類的“感官革命”
探秘傳感器類型:開啟智能感知新視界

深度剖析傳感器仿真
攝像頭捕獲 2D 圖像,深度傳感器拉長(zhǎng)距離

盤點(diǎn)圖像傳感器選型八大要點(diǎn)
感知世界,智創(chuàng)未來(lái) 靈途科技受邀參加2024世界傳感器大會(huì)

評(píng)論