本期主講人為速感科技CTO張一茗，畢業(yè)于北航，師從中國(guó)慣性技術(shù)領(lǐng)域的著名專家馮培德院士，多年組合導(dǎo)航定位系統(tǒng)研究經(jīng)驗(yàn)，為資深SLAM研究員，學(xué)術(shù)研究上發(fā)表多篇相關(guān)領(lǐng)域論文。

今天和大家探討的是視覺(jué)SLAM技術(shù)的一些現(xiàn)狀和應(yīng)用的趨勢(shì)。

大概從幾個(gè)方面來(lái)講一下SLAM的實(shí)現(xiàn)和應(yīng)用：第一個(gè)是從傳感器的角度，第二個(gè)是從算法實(shí)現(xiàn)的角度，第三個(gè)是從搭載硬件傳感器平臺(tái)上來(lái)說(shuō)這些問(wèn)題。

首先介紹下速感科技，我們2014年成立，在國(guó)內(nèi)算是最早做SLAM相關(guān)AI技術(shù)應(yīng)用的一個(gè)團(tuán)隊(duì)，專注于機(jī)器視覺(jué)人工智能在實(shí)際消費(fèi)類和工業(yè)類產(chǎn)品中的應(yīng)用，整合了一套定位、導(dǎo)航、路徑規(guī)劃、場(chǎng)景感知的算法。

傳感器的角度

首先，現(xiàn)在深度傳感器或者攝像頭種類非常繁多，這里簡(jiǎn)單列了一下我所了解的深度攝像頭的一些路線對(duì)比。

從大類上可以分成三種：兩種帶主動(dòng)光源——帶結(jié)構(gòu)光的攝像頭和飛行時(shí)間法的攝像頭；還有一種是基于多目的被動(dòng)光深度攝像頭。

結(jié)構(gòu)光實(shí)際上歷史悠久的一種方案，像精度比較高的有投影光柵相位法、動(dòng)態(tài)編碼結(jié)構(gòu)光的方法，還有單目結(jié)構(gòu)光、雙目結(jié)構(gòu)光、掃描式結(jié)構(gòu)光等等，它們各有各的優(yōu)缺點(diǎn)。

在高精度測(cè)量上，很多人偏向用投影光柵相位法或者動(dòng)態(tài)編碼結(jié)構(gòu)光的方式，比如說(shuō)動(dòng)態(tài)編碼結(jié)構(gòu)光，它會(huì)將6個(gè)或12個(gè)有不同編碼相位的Pattern投射到被測(cè)物體上面，然后用兩個(gè)攝像頭捕捉被投物體表面的紋理變化，再通過(guò)相位的計(jì)算，來(lái)計(jì)算出相當(dāng)高精度的深度信息。

這種深度信息精度大概能夠達(dá)到微米級(jí)，但是成本相對(duì)來(lái)說(shuō)也會(huì)比較高，有兩個(gè)原因：一是對(duì)投影儀光機(jī)要求高一些；另一個(gè)是對(duì)攝像頭分辨率和鏡頭要求比較高，在消費(fèi)類里大家一般不會(huì)使用這么高精度的方式。

另外一種方法是投影光柵相位法，與動(dòng)態(tài)編碼結(jié)構(gòu)光相比更加簡(jiǎn)單，比如說(shuō)非常有名的傅里葉變換輪廓術(shù)的方式。

除此之外還有單目結(jié)構(gòu)光，最近特別火的iPhoneX中采用的就是單目結(jié)構(gòu)光的方案。

還有成本相對(duì)比較低，精度比較適宜的雙目結(jié)構(gòu)光，目前廣泛應(yīng)用在各種各樣的機(jī)器人上。

還有掃描結(jié)構(gòu)光，它的精度比較高，成本也相對(duì)可控，比較適合在工業(yè)產(chǎn)品上使用的，有的是線掃描，有的是點(diǎn)掃描，而且可以達(dá)到相對(duì)比較高的精度。

像Google和聯(lián)想合作的Phab2 Pro的Tango手機(jī)，背后用的PMD家的Time of Flight攝像頭，在很多工業(yè)領(lǐng)域，像雷達(dá)，是用飛行時(shí)間法獲得深度信息，叫飛行時(shí)間法。

最后一種就是被動(dòng)的雙目。

算法實(shí)現(xiàn)的角度

三角法

先說(shuō)一下三角法的法則。

三角法的本質(zhì)是一個(gè)解三角形的數(shù)學(xué)問(wèn)題。

左側(cè)是一個(gè)比較有名的專利，是國(guó)外一家做清潔機(jī)器人公司在激光雷達(dá)上申請(qǐng)的一個(gè)專利。

這個(gè)專利描述的幾個(gè)基本點(diǎn)是：首先它有一個(gè)旋轉(zhuǎn)軸，帶著一個(gè)旋轉(zhuǎn)平臺(tái)，上面有一個(gè)光源，有一個(gè)傳感器，然后有一個(gè)處理器，光源向外發(fā)射一個(gè)準(zhǔn)直的激光點(diǎn)，通過(guò)透鏡在傳感器的CMOS上成像。

因?yàn)槿欠ǖ脑恚瑢?dǎo)致障礙物越近在CMOS上的成像越偏左側(cè)，利用這種原理能夠測(cè)出跟被測(cè)點(diǎn)的距離信息，然后讓這個(gè)旋轉(zhuǎn)軸高速旋轉(zhuǎn)，就可以獲得一個(gè)360度連續(xù)的深度信息。

這個(gè)方法在當(dāng)年來(lái)看是非常有創(chuàng)意的一個(gè)想法，也是被大家廣泛接受的一個(gè)雷達(dá)設(shè)計(jì)方式。但是有一點(diǎn)，這個(gè)雷達(dá)設(shè)計(jì)方式依然處在專利保護(hù)期范圍內(nèi)，所以有一點(diǎn)比較危險(xiǎn)：當(dāng)量特別大時(shí)候會(huì)有一定的專利問(wèn)題。

非三角測(cè)量

后面這種叫非三角測(cè)量，它是基于飛行時(shí)間法（Time of Flight）的激光雷達(dá)設(shè)計(jì)邏輯，飛行時(shí)間法的設(shè)計(jì)邏輯簡(jiǎn)單來(lái)說(shuō)就是打出一束光，光在空間中前進(jìn)時(shí)需要時(shí)間，大概是30,000km/s，通過(guò)計(jì)算光的飛行時(shí)間，解算出往返的距離，最終得到被測(cè)點(diǎn)到探測(cè)物體的距離信息，這是它的基本邏輯。

右側(cè)有兩個(gè)圖，代表著ToF（Time of Flight）雷達(dá)的兩種技術(shù)流派，它們的本質(zhì)都是有一顆光源向外打出一個(gè)時(shí)間調(diào)制的光脈沖，然后反射回來(lái)，但是大家持有不同的光路和專利。

像右上角這個(gè)圖，它采用的邏輯是用更小的發(fā)散孔徑，打到被測(cè)物體上，反射的時(shí)候有個(gè)凹面鏡，凹面鏡將發(fā)散的光斑匯聚在下方的APT二極管上，采集高靈敏度的光飛行時(shí)間，最終就能夠得到那一點(diǎn)的距離信息。

右下方的雷達(dá)，實(shí)際上是采用同心光路的一個(gè)邏輯，它旋轉(zhuǎn)的是平面度非常高的一面鏡子，這個(gè)鏡子旋轉(zhuǎn)的時(shí)候把下方的光源以及接收器做了光路的重疊和反射，讓這個(gè)光路的設(shè)計(jì)在體積上更瘦一些。但是這樣會(huì)浪費(fèi)透鏡的一部分有效空間，所以效率會(huì)相對(duì)較低。

目前基于飛行時(shí)間法的激光雷達(dá)主要是這兩種基本邏輯。

深度圖測(cè)量方法

這幅圖是一種精度相對(duì)比較高的深度圖測(cè)量方法，也就是傅里葉變換輪廓術(shù)的方式，它的邏輯是向被測(cè)物體投射出一系列條紋狀的Pattern。

這個(gè)Pattern有一些特點(diǎn)，它在橫向上光強(qiáng)是以正弦波的方式在空間中存在的，看起來(lái)就和雙縫衍射的邏輯差不多，投射出這個(gè)Pattern后，會(huì)在空間中形成一個(gè)主頻，這個(gè)主頻也跟背景噪聲有關(guān)。

用傅里葉變換的方式把被射物體的照片拍攝下來(lái)，分析出其中的主頻，把噪聲剔除掉，最終計(jì)算每個(gè)點(diǎn)理論和實(shí)際的一個(gè)相位差，就可以得到一個(gè)深度信息。

相對(duì)來(lái)說(shuō)還是有很多好處。深度圖的分辨率可以做得很高，因?yàn)槊總€(gè)相位點(diǎn)上都可以提供一些有效的信息，但是對(duì)比蘋果iPhone X的這種方法，它其實(shí)投射的并不是干涉條紋的Pattern，而是點(diǎn)Pattern。

優(yōu)點(diǎn)是更小的體積，更好的功耗控制，在亮光下效果更好，缺點(diǎn)是深度圖的稠密度不是特別高，但是對(duì)于手機(jī)來(lái)說(shuō)是無(wú)所謂的，因?yàn)樗恍枰鲆粋€(gè)特別高精度特別稠密的深度圖，所以也是夠用的。

這里是Apple的TrueDepth專利里的一些內(nèi)容，比如它采用84°FOV的攝像頭來(lái)捕捉中間這幅圖里的點(diǎn)Pattern，這是Apple 2013年收購(gòu)Prime sense買的專利，并基于這個(gè)專利做了一個(gè)改進(jìn)，實(shí)現(xiàn)了一個(gè)效果很不錯(cuò)的深度圖采集。

當(dāng)時(shí)為了使這個(gè)深度攝像頭有更好的成像效果，他們還針對(duì)光源、光路、DOE做了很多特定的設(shè)計(jì)，比如采用垂直面槍的激光發(fā)射器，它能夠在溫度發(fā)生變化的時(shí)候具有更好的溫漂表現(xiàn)，一度大概只漂零點(diǎn)零幾個(gè)納米，因?yàn)?a href="http://m.xsypw.cn/v/tag/4854/" target="_blank">光學(xué)的東西特別怕折射率發(fā)生了變化，如果頻率發(fā)生了變化，之前標(biāo)定好的一些Pattern都會(huì)失效，所以它用VCSEL（Vertical Cavity Suface Emitting Laser）光源的方式將Projector投射出來(lái)的結(jié)構(gòu)光更加穩(wěn)定，而且它還利用反射鏡的方式，在不增加手機(jī)厚度的情況下增加了整個(gè)光程，就是隱形地將整個(gè)焦距拉大，這樣投射出去的效果也會(huì)更好一些。

基于線的測(cè)量

剛剛說(shuō)了兩種深度攝像頭，一個(gè)是基于相位法的，一個(gè)是基于點(diǎn)陣法的，其實(shí)還有一些基于線的。

比如SICK公司的一個(gè)叫RULER的產(chǎn)品，它的邏輯是有一顆攝像頭，還有線激光，但是它的線激光會(huì)打到一個(gè)旋轉(zhuǎn)的鏡子上，通過(guò)鏡子的旋轉(zhuǎn)，使線激光反射到空間中不同的位置。

當(dāng)鏡子旋轉(zhuǎn)一圈的時(shí)候，這個(gè)線激光也可以在空間中進(jìn)行一次掃描，攝像頭會(huì)連續(xù)拍下很多張照片，通過(guò)將這些圖片得到的深度信息進(jìn)行疊加可以得到一個(gè)精度很高的三維圖形。這種方法在工業(yè)分揀、工業(yè)深度檢測(cè)的一些領(lǐng)域得到了很多應(yīng)用，也是一種特別有創(chuàng)意的用法。

還有其他與之類似的邏輯，比如RealSense當(dāng)年出的R200的邏輯，也是利用了一面鏡子，只不過(guò)這面鏡子有點(diǎn)特殊，它是利用MEMS工藝制作出來(lái)的鏡子，和TI的DLP一樣，其實(shí)是使用微機(jī)電系統(tǒng)搭建了一個(gè)非常非常小的鏡子放在硅基的芯片上，然后兩邊的諧振梁進(jìn)行彎曲，控制鏡子的反射角度，然后它旁邊有一個(gè)激光器，時(shí)刻往鏡子上打一個(gè)點(diǎn)激光，這個(gè)鏡子被控制成一個(gè)非常高頻的調(diào)制模式，就像老式電視CRT的那個(gè)被投，迅速進(jìn)行行列掃描，再在空間中投射出一個(gè)點(diǎn)狀的Pattern，被攝像頭采集到之后就可以解算出一個(gè)有用的深度信息。

這個(gè)最大的好處是能節(jié)省很大的體積，因?yàn)樗恍枰哥R，在很多光源下的效率上也會(huì)高一些。

基于雙目結(jié)構(gòu)光的深度攝像頭

然后是現(xiàn)在機(jī)器人上用的比較多的方式：基于雙目結(jié)構(gòu)光的深度攝像頭。

據(jù)說(shuō)蘋果接下來(lái)采用的也是這種技術(shù)，它的基本邏輯和單目結(jié)構(gòu)光差不多，只不過(guò)多了一個(gè)攝像頭，但是有很多好處：首先是沒(méi)有專利問(wèn)題，其次是對(duì)產(chǎn)品的良率要求比較低，因?yàn)閱文拷Y(jié)構(gòu)光是相當(dāng)于利用點(diǎn)陣投射器，在攝像頭之間進(jìn)行了一個(gè)三角測(cè)量。

但是雙目攝像頭實(shí)際上是利用兩顆攝像頭和被射物體點(diǎn)進(jìn)行深度測(cè)量，這里最大的差別就在于將投射器和光源的標(biāo)定要求降低了很多，不需要在生產(chǎn)的時(shí)候進(jìn)行繁瑣的標(biāo)定以及不需要對(duì)光源提出這么高的要求，可以用更低的生產(chǎn)成本生產(chǎn)出這個(gè)深度攝像頭，而且它有一個(gè)非常可觀的深度圖效果。

左側(cè)兩幅比較黑的圖像分別是左側(cè)攝像頭和右側(cè)攝像頭看到的紅外波段的圖像，右側(cè)這副是兩顆攝像頭合并出來(lái)的深度圖，可以看到它的效果是相當(dāng)理想的。

基于面陣攝像頭

再一種就像大疆Spark飛機(jī)上用的TIme of Flight基于面陣攝像頭，有基于相位法的，有脈沖法的，核心邏輯跟雷達(dá)是一樣的，投射出一個(gè)面狀的光源，測(cè)量不同點(diǎn)的反射光程差，然后測(cè)量距離。

這也是一種聰明的方法，它可以用更低的標(biāo)定成本來(lái)實(shí)現(xiàn)整個(gè)攝像頭的生產(chǎn)。

以ZED為例，它做了一個(gè)被動(dòng)的雙目攝像頭，這種攝像頭相對(duì)來(lái)說(shuō)很簡(jiǎn)單很容易做，但是有個(gè)缺陷，就是特別怕沒(méi)有紋理或者有重復(fù)紋理的情況，對(duì)于白墻、棋盤格這種類似的東西特別敏感，而且需要一個(gè)算力相對(duì)比較強(qiáng)的上位機(jī)來(lái)進(jìn)行深度圖的解算，也算是一個(gè)比較耗算力的計(jì)算方式，但是它應(yīng)該是所有設(shè)計(jì)方案中成本最低的一種。

其他傳感器

為了實(shí)現(xiàn)整套SLAM，除了攝像頭以外，其他傳感器也是特別關(guān)鍵的，比如說(shuō)IMU（Inertial Measurement Unit），主要由陀螺儀和加速器構(gòu)成。

對(duì)于陀螺儀來(lái)說(shuō)，它是非常有用的一種器件，精度變化范圍特別大，像手機(jī)里面用的這種陀螺儀，一般是180°/小時(shí)的零偏穩(wěn)定性，但是精度比較高的一些地方，比如在工業(yè)領(lǐng)域用小直徑的光學(xué)陀螺，它可以達(dá)到大約1°/小時(shí)的精度，導(dǎo)彈上用的通常是零點(diǎn)幾度/小時(shí)，洲際戰(zhàn)略導(dǎo)彈大概會(huì)用百分之一以下甚至千分之幾的零偏穩(wěn)定性。

現(xiàn)在有很多人在研究原子陀螺這種方式，利用原子干涉效應(yīng)可以達(dá)到十的負(fù)八次方的精度，這是相當(dāng)可觀的。

如果按照這個(gè)精度來(lái)算，一個(gè)純靠慣性器件計(jì)算微距離的設(shè)備，連續(xù)使用它兩年，它定位的誤差也才達(dá)到幾米。

但是陀螺儀有很多弊端，比如零偏、噪聲的問(wèn)題，它的誤差是會(huì)累積的，這個(gè)也是需要在算法里做一些互補(bǔ)融合。

加速度計(jì)也是里面一種關(guān)鍵的器件，它的特點(diǎn)和人的感受其實(shí)略有不同，它只能測(cè)量表面力，所以它默認(rèn)輸出量里會(huì)包含重力加速度，這是一個(gè)比較麻煩的事情，所以大家通常會(huì)認(rèn)為加速度計(jì)的直接輸出量叫比力，而不叫加速度，因?yàn)樗⒉淮斫^對(duì)的加速度，它的公式為

這里的是地球自然角速度，是當(dāng)前物體相對(duì)于地球的經(jīng)緯度，這是因?yàn)楫?dāng)一個(gè)物體在地球上運(yùn)動(dòng)的時(shí)候，它其實(shí)是一個(gè)有向心加速度的現(xiàn)象，所以一個(gè)物體在地球表面運(yùn)動(dòng)的時(shí)候會(huì)產(chǎn)生一定的加速度，干擾到它的存在。

這里的原理其實(shí)還挺多的，比如擺式積分式、振弦式、振梁式的等等，目前來(lái)說(shuō)精度比較高的還是這種壓電式的加速度計(jì)，因?yàn)榧铀俣扔?jì)它會(huì)帶來(lái)二階導(dǎo)的誤差，所以大家并不在意它的誤差，但這是相比陀螺儀來(lái)說(shuō)，因?yàn)橥勇輧x的誤差相比它來(lái)說(shuō)要多一階積分，所以陀螺儀的精度更被大家所看重。

大家在實(shí)際用的時(shí)候，通常會(huì)特別在意IMU的一些特性，比如它的標(biāo)度因數(shù)誤差，就是它的刻度系數(shù)誤差，比如MEMS工藝的IMU，其實(shí)很難保證每個(gè)軸都是完全正交的，這個(gè)就需要標(biāo)定出非正交性的一些誤差，零偏是一個(gè)最基本的誤差，還有溫度漂移的誤差。

溫漂誤差相對(duì)來(lái)說(shuō)更加可怕一些，首先對(duì)于MEMS器件，它的溫漂一致性特別差，同一個(gè)批次的，比如說(shuō)飛機(jī)上的MPU-6050，它本身的精度還不錯(cuò)，可能非正交性誤差等等其他一致性還不錯(cuò)，但是同一批次不同芯片，它的溫漂一致性會(huì)差別特別大，甚至升溫形成或者降溫形成整個(gè)過(guò)程，它的溫漂也是不一樣的，比如這塊IMU放在手機(jī)里面，用戶在使用的時(shí)候芯片會(huì)發(fā)熱，溫度升高的時(shí)候，它的零偏是逐漸變化的，這個(gè)時(shí)候它的差別就特別大，這個(gè)時(shí)候就需要大家能夠動(dòng)態(tài)估計(jì)這些器件的一個(gè)誤差，才能夠做到一個(gè)更好的補(bǔ)償。

SLAM技術(shù)的崛起和發(fā)展

單目SLAM和多目SLAM

目前主流的SLAM還是希望用視覺(jué)和慣性器件來(lái)做這個(gè)組合，大家用得比較多的也是單目SLAM和多目SLAM兩條主線。

單目SLAM相對(duì)來(lái)說(shuō)，它的優(yōu)勢(shì)是體積可以做得特別小，成本很低，基本上一個(gè)主芯片、一個(gè)攝像頭、一個(gè)IMU就可以把一個(gè)東西給做出來(lái)，但是有個(gè)致命的缺點(diǎn)，就是沒(méi)有尺度的這個(gè)問(wèn)題。雖然這個(gè)問(wèn)題現(xiàn)在來(lái)說(shuō)可以解決了，但是通常它還是沒(méi)有雙目SLAM那么準(zhǔn)。

還有一個(gè)問(wèn)題就是，在一個(gè)陌生區(qū)域做原地旋轉(zhuǎn)的時(shí)候，它會(huì)造成尺度無(wú)法確立的問(wèn)題。它也有一些解法，但是這個(gè)問(wèn)題相對(duì)來(lái)說(shuō)比較難解決，對(duì)算法的挑戰(zhàn)要更高。

對(duì)于雙目或者多目SLAM來(lái)說(shuō)，因?yàn)樗莾蓚€(gè)攝像頭經(jīng)過(guò)事先的標(biāo)定，它知道自己的兩個(gè)眼睛的差距有多大，所以從魯棒性和穩(wěn)定性來(lái)說(shuō)其實(shí)要更好一些，但是缺點(diǎn)就是對(duì)計(jì)算的要求更高，對(duì)于性能要求比較高的場(chǎng)合，用雙目或多目攝像頭更合適一些，比如HoloLens就很明智地選擇四顆小視場(chǎng)角的攝像頭的這種方式來(lái)進(jìn)行SLAM定位，這能保證它在更多場(chǎng)景下定位不出問(wèn)題。

雷達(dá)SLAM

雷達(dá)SLAM就不多講了，推薦一個(gè)比較有名的論文，是基于雷達(dá)、慣性器件、衛(wèi)星導(dǎo)航設(shè)備（GNSS）來(lái)做的一個(gè)組合融合，現(xiàn)在目前來(lái)說(shuō)用RTK這種衛(wèi)星導(dǎo)航的方式可以做到一個(gè)厘米級(jí)的定位精度，前提是在沒(méi)有太多的多徑干擾、遮擋比較少的情況下。

這是一個(gè)相對(duì)來(lái)說(shuō)比較有效的模型，它的前提是需要盡可能事先建立一個(gè)場(chǎng)景的三維地圖。要能夠提高它的匹配精度，應(yīng)該在室外無(wú)人駕駛中用得比較多。

目前的SLAM也在朝著傳統(tǒng)的純建模和深度學(xué)習(xí)組合的方式在前進(jìn)，這也是大家的一個(gè)共識(shí)，怎么把這個(gè)事情融合到一塊還是有很多的學(xué)問(wèn)。

比如說(shuō)這幅圖里面，首先它會(huì)分支出幾條不同的線，一條線是在定位丟失的情況下做一個(gè)重定位，另外一條線是用來(lái)更新神經(jīng)網(wǎng)絡(luò)模型，然后進(jìn)行標(biāo)注，最終形成一個(gè)場(chǎng)景語(yǔ)義地圖。同時(shí)也會(huì)用傳統(tǒng)的方式，將圖像送到SLAM中進(jìn)行位置姿態(tài)的估計(jì)，其中會(huì)有很多的耦合和數(shù)據(jù)的內(nèi)循環(huán)，整個(gè)架構(gòu)會(huì)相對(duì)復(fù)雜一些，這也是SLAM目前發(fā)展的一個(gè)挑戰(zhàn)。

SLAM具體落地應(yīng)用的框架

這里講一些SLAM具體落地應(yīng)用的框架，因?yàn)橹挥蠸LAM是不夠的，它只能做定位和一定程度上的建圖，而且很多時(shí)候都是用稀疏點(diǎn)云的方式來(lái)進(jìn)行建圖，這對(duì)于導(dǎo)航來(lái)說(shuō)還是不夠的。

對(duì)于實(shí)際的應(yīng)用場(chǎng)景，對(duì)于魯棒性的要求非常高，所以通常情況下我們更傾向采用這種多級(jí)的保護(hù)機(jī)制，比如在機(jī)器人上最差也要有里程計(jì)這樣的東西，讓它能夠知道自己在哪，雖然不是特別準(zhǔn)，但是它能夠提供一個(gè)基礎(chǔ)的信息，即使它在那一瞬間視覺(jué)信息完全失效，它也能夠堅(jiān)持一會(huì)兒。

同時(shí)利用一些慣性和外界的信息，比如說(shuō)超聲、碰撞信息等等，進(jìn)行地圖的更新和融合，再把定位信息、各種不同傳感器和地圖的信息根據(jù)類似歷史濾波的邏輯做一個(gè)定位功能的增強(qiáng)，有了這些之后，會(huì)把這些地圖、機(jī)器人位置送給導(dǎo)航模塊來(lái)進(jìn)行路徑規(guī)劃和任務(wù)的處理。

總之，只有SLAM還是不夠的，需要窮盡各種各樣的方法對(duì)傳感器進(jìn)行魯棒性的提升。

現(xiàn)在，無(wú)論是Sparse SLAM還是Dense SLAM甚至Semantic SLAM已經(jīng)逐漸發(fā)展得很龐大了，對(duì)算力的要求越來(lái)越高，整體的趨勢(shì)都得到一致的認(rèn)同。

具體的難點(diǎn)相對(duì)來(lái)說(shuō)也比較明確，其中一個(gè)比較大的難點(diǎn)就是算力問(wèn)題，算力問(wèn)題一直以來(lái)都是SLAM比較頭疼的一個(gè)問(wèn)題，但是也有很多解決的方法，比如Cortex A系列ARM有一個(gè)方案，它就是用ARM SISC指令集和GPU，然后基于OpenGL進(jìn)行加速，比如在一些矩陣運(yùn)算和濾波算子的一些加速上其實(shí)還是有不少提升的。

但是它的缺點(diǎn)在于從數(shù)據(jù)搬運(yùn)角度來(lái)說(shuō)做的優(yōu)化還不夠多，所以看起來(lái)CPU算得快了，但是數(shù)據(jù)送得不夠快，所以相對(duì)來(lái)說(shuō)整個(gè)算力的提升也就是幾倍的提升。

異構(gòu)處理器

還有一些比較有名的異構(gòu)處理器，現(xiàn)在有各種各樣的SPU，一些老牌的廠商也會(huì)做自己的一些加速器，比如CEVA XM系列，就是用VPU加SPU組合的邏輯，配合他們的Vector DRAM提高數(shù)據(jù)搬運(yùn)速率，同時(shí)也通過(guò)更高位寬的寄存器實(shí)現(xiàn)更高的處理效率，同時(shí)用Scalar Prcessing Unit進(jìn)行邏輯上的調(diào)度，提高它的片內(nèi)數(shù)據(jù)搬運(yùn)的成本，以提高整個(gè)芯片效率。

目前基于這個(gè)處理器能做到一個(gè)類似于將YOLO網(wǎng)絡(luò)實(shí)現(xiàn)大約10Hz的幀率，還是一個(gè)挺好用的方案，像之前被Intel收購(gòu)的Movidius，也出了一個(gè)叫計(jì)算神經(jīng)棒的東西，能將各種網(wǎng)絡(luò)布置到它的芯片上。

比較有意思的是，它的芯片上有兩個(gè)小的類似Scalar Processing Unit，或者類似ARM小調(diào)度處理器，專門負(fù)責(zé)片內(nèi)的數(shù)據(jù)調(diào)度，旁邊有十二個(gè)Vector Processors，它同時(shí)在芯片上還做了好多外置的圖像處理算法加速器，比如有圖像特征等等。

它們都放在這個(gè)片子上，大家在用的時(shí)候可以實(shí)現(xiàn)一個(gè)更靈活的加速，因?yàn)楹吮容^多。大疆早期也是用這個(gè)去做的，但是它的缺點(diǎn)就是RISC那套邏輯用的也不是ARM的，是歐洲航天局的，所以生態(tài)鏈不是特別完善，好多工具也不是特別完整，用起來(lái)比較吃力一些，但是這個(gè)片子的設(shè)計(jì)架構(gòu)和邏輯在當(dāng)時(shí)是非常新穎和有創(chuàng)新性的，直到現(xiàn)在也還是非常有代表性的一個(gè)片子。

在有了算法、處理器、傳感器之后，整個(gè)SLAM還是需要生態(tài)，首先前端有Camera的一些預(yù)處理邏輯，有各種各樣的傳感器接到它的Sensor Interface上，同時(shí)需要接到各種執(zhí)行器件上，比如電機(jī)、工業(yè)上的機(jī)械臂等等，它腦子里要有用Real-Time Loop，負(fù)責(zé)各種實(shí)時(shí)性的調(diào)度，比如高精度的傳感器時(shí)間戳的采集和對(duì)準(zhǔn)，以及高實(shí)時(shí)性器件的執(zhí)行和反饋。

它后端還需要有一個(gè)相對(duì)來(lái)說(shuō)比較強(qiáng)的后端集群優(yōu)化或者深度學(xué)習(xí)執(zhí)行，整體來(lái)說(shuō)還是一個(gè)比較龐大的框架，但是任何一個(gè)機(jī)器人都需要這個(gè)框架，否則也不能夠達(dá)到一個(gè)穩(wěn)定的應(yīng)用，

舉個(gè)例子，我們目前有一個(gè)單目的模塊，這個(gè)模塊其實(shí)是3cm x 8cm，核心硬件比較簡(jiǎn)單，有處理器、DDR、Flash、攝像頭、IMU和WIFi，在主芯片上面做了一個(gè)On Chip的實(shí)時(shí)的SLAM。

它其實(shí)描述的是一個(gè)用單目攝像頭在一個(gè)家庭環(huán)境中進(jìn)行的一系列定位以及全覆蓋的路徑規(guī)劃，能夠?qū)崿F(xiàn)整個(gè)家庭環(huán)境全覆蓋的清掃功能，就是基于這樣一個(gè)3刀左右芯片來(lái)實(shí)現(xiàn)的。

SLAM發(fā)展的挑戰(zhàn)

SLAM以后發(fā)展還有很多挑戰(zhàn)

視覺(jué)SLAM中依然沒(méi)有很好解決的一個(gè)問(wèn)題就是暗光問(wèn)題，比如怎么去實(shí)現(xiàn)低照度下的CMOS環(huán)境感知。

我們目前用的是一個(gè)3um x 3um大的像元尺寸，但是在個(gè)位數(shù)勒克斯光照強(qiáng)度暗室下，就是暗環(huán)境下，vSLAM還是會(huì)退化，所以這也是目前的一個(gè)挑戰(zhàn)。

未來(lái)SLAM發(fā)展方向第一點(diǎn)就是和AI、語(yǔ)義的結(jié)合，無(wú)論是Semantic還是和安防功能的結(jié)合、還是和服務(wù)功能的結(jié)合，比如說(shuō)SLAM運(yùn)作的過(guò)程中可以通過(guò)深度學(xué)習(xí)識(shí)別各種不同的動(dòng)態(tài)障礙物，然后進(jìn)行SLAM的一個(gè)精度的增強(qiáng)或者說(shuō)進(jìn)行一個(gè)場(chǎng)景的識(shí)別；比如說(shuō)可以識(shí)別出廚房、臥室、客廳，進(jìn)行場(chǎng)景的自動(dòng)劃分，然后提供未來(lái)指令型任務(wù)的輸入和輸出，同時(shí)還可以在家里做一些安防功能，比如看門窗有沒(méi)有關(guān)好。

SLAM下一步更需要的是一個(gè)更適合的處理器，首先最好是在On-chip方式上實(shí)現(xiàn)Deep Learning，目前有些case能做出來(lái)，但是相對(duì)來(lái)說(shuō)成本比較高，生態(tài)鏈也不夠完善，需要有更多公司進(jìn)來(lái)把產(chǎn)業(yè)鏈做得更加開(kāi)放、方便一些。

其實(shí)從處理器的角度來(lái)說(shuō)，希望有各種各樣的異構(gòu)處理器，一方面能夠保證算力性能，比如用更高配置的ARM核、DSP核進(jìn)行算力上的增強(qiáng)，同時(shí)也希望有類似MCU的這種Cortex M系列的處理器核，提高它的實(shí)時(shí)性性能，這樣它才能夠容易地應(yīng)用在各種各樣的場(chǎng)景中。

在硬件上也需要有更高精度的IMU，提高整個(gè)慣性測(cè)量的性能。還需要更快的數(shù)據(jù)傳輸和數(shù)據(jù)存儲(chǔ)，SLAM隨著地圖的增大，它的數(shù)據(jù)量是迅速增加的，如果不能夠?qū)⑦@些數(shù)據(jù)通信和存儲(chǔ)的效率提高的話，瓶頸還是比較大，需要各種各樣的行業(yè)協(xié)力才能把SLAM做得更好。