電子發燒友網報道(文/梁浩斌)人形機器人的運動能力,已經進入了“軍備競賽”階段,各家紛紛展出自家機器人的行走、跳舞,甚至空翻等能力,并不斷用新的動作刷新人們對于人形機器人的能力理解。
然而運動能力歸運動能力,人形機器人目前主要還是需要預設固定程序運行,離真正要實現具身智能還很遠。要實現具身智能,還需要AI、算力、感知的配合。最近速騰聚創、銳思智芯分別推出了創新形態的機器視覺傳感器。
速騰聚創AC1:姿態、深度、色彩信息三合一
今年年初的發布會上,速騰聚創發布了一個面向機器人視覺的全新傳感器解決方案Active Camera,這個方案包含傳感器硬件、運算核心、AI算法等的智能生態。在3月28日,速騰聚創終于發布了Active Camera的首款產品AC1,以及AI-Ready生態。
在傳感器硬件上,AC1集成了IMU姿態傳感器、深度傳感器(固態激光雷達+CMOS)以及一個RGB相機,在單一模塊中提供深度信息、圖像色彩信息和運動姿態信息,并實現硬件級融合,將三大信息的時間和空間進行同步對齊。
AC1提供120°x60°超大融合視場角,較傳統3D相機高出70%;色彩FOV達到144°×78°;測距能力達到70米,是傳統3D相機的6倍;測距精度3cm@1σ測距精度穩定不隨距離衰減,可精準還原遠近物體形狀大小,幫助機器人實現準確的路徑規劃。
同時AC1避免了傳統3D相機存在的強光干擾問題,能夠在100KLux陽光下工作,克服強光干擾問題,適應更豐富的場景。
面向機器人開發者用戶,速騰聚創打造了AI-Ready生態,通過AC Studio為Active Camera用戶提供包括驅動程序、數據標定、數據融合在內的開源工具包,以及SLAM、高階多模態感知等開源算法,支持用戶深度二次開發,并通過專用跨平臺軟件AC Viewer,提供最佳的數據融合、SLAM、目標檢測等功能體驗。
同時,AI-Ready生態將提供避障類目標數據集、認知識別類數據集,幫助開發者訓練模型算法,快速完成場景功能化的二次開發,以及方案部署。
同時,WIKI以開發者文檔方式全面收錄Active Camera與AI-Ready生態的信息;數據集提供多種場景下的訓練數據,將在后續逐步上線,供開發者免費使用。AI-Ready生態幫助行業升級機器人項目流程,讓軟件快速迭代的開發模式驅動機器人產品化商業化落地。
AC1通過融合多傳感器,在硬件上實現了出廠的傳感器標定,以及軟件上實現了數據融合和對齊,實際上這在技術上也有一定的難點。
此前我們在《激光雷達+攝像頭融合傳感器,有沒有搞頭?》一文里介紹了京瓷展示的世界上第一個實現光軸對齊的攝像頭+激光雷達融合傳感器,通過對齊兩種傳感器的光軸,實現激光雷達和攝像頭無視差的數據融合。
但在實際產品中,由于激光雷達通過發射激光束并接收反射回來的信號來測量距離,生成點云數據;而攝像頭則捕捉環境的二維圖像。這兩種傳感器的數據格式不同,坐標系也不同,使得直接對齊它們的光軸變得極為復雜。
從速騰聚創對AC1的描述中,同樣是實現了固態激光雷達和相機數據的硬件級融合,這對于用戶來說是體驗上的躍升,無需再通過后端處理將數據進行融合,將大大提高開發效率。
同時,AC1也不僅適用于人形機器人,在無人機、倉儲機器人、清潔機器人、配送機器人等領域都有很大的應用前景。
銳思智芯:全局曝光機器感知融合式圖像傳感器
銳思智芯在3月31日發布了全球首款將全局曝光圖像技術與EVS事件感知技術實現像素級融合的融合視覺傳感器——ALPIX-Pizol。
ALPIX-Pizol是一款1/4英寸、由1.3M GESP全局事件感知像素組成的視覺傳感器。這款傳感器的特殊之處在于,在單個圖像傳感器中集成了圖像、事件和融合三種工作模式,可以單獨進行圖像和事件模式,也可以同時輸出圖像和事件數據,以及模式間的快速切換。
在全局曝光圖像傳感模式中,ALPIX-Pizol可以輸出1.3MP/120 fps圖像,全局曝光的方式也避免了卷簾曝光帶來的果凍效應。
事件感知模式中,ALPIX-Pizol能夠在全分辨率下最高1000fps的事件信號,高效捕捉運動信息,在暗光高速環境下,可輸出高時間分辨率無模糊事件流,輔助提升影像質量。
而融合視覺模式中,支持同時輸出圖像和事件數據,也支持模式間快速切換,從而在各種光照環境下穩定地為視覺AI提供高質量圖像數據和高時間分辨率的變化/運動數據。
同時針對AI視覺場景的低功耗需求,ALPIX-Pizol在三種模式中都提供低功耗的設置,比如低功耗事件感知模式中支持e.g. <1.5 mW @VGA 30 fps的感知,可以直接提取機器需要的特征數據,在傳感器側和處理器側均可極大降低功耗和算力需求。
由于支持不同的模式,在實際應用中可以根據需求來快速切換模式,以減少數據冗余和算力消耗。比如在事件模式下,僅感知變化信息,單位時間生成的時間數據量僅為傳統圖像傳感器的10%-20%,大大降低算力、傳輸帶寬和存儲壓力,提高系統能效。
對于機器人應用而言,可以在完成不同工作時采用不同的模式,比如需要抓取運動物體時使用事件模式,在行走等需要避障的場景就需要開啟融合模式,修正因運動造成的畫質問題,實現復雜光照環境中的識別。
當然除了機器人應用,在手機和運動相機等應用中,ALPIX-Pizol可以提供影像增強能力,實現EVS AI-enhanced 圖像/視頻去模糊、視頻插幀、AI-ISP等功能,利用多模態數據輔助生成AI-Motion運動感知應用。
在工業視覺中,ALPIX-Pizol提供無畸變全局曝光圖像 + 高時間分辨率的事件數據,支持低光、暗光場景高速產線檢測和快速3D掃描、建模等數據。
小結:
人形機器人要實現商業化,需要滿足通用場景,在各種復雜環境下的感知能力就十分關鍵。近期推出的這些創新的機器視覺傳感產品,代表了當前市場需求的一些方向,以及傳感器行業在機器人應用上的一些探索。但最終隨著人形機器人行業的迭代和發展,相信也將會繼續出現更多創新形態的傳感器產品。
-
傳感器
+關注
關注
2557文章
51931瀏覽量
760090 -
機器人
+關注
關注
212文章
29069瀏覽量
210303 -
人形機器人
+關注
關注
4文章
597瀏覽量
17111
發布評論請先 登錄
相關推薦
基于IMX219和IWR6843ISK的人形機器人毫米波雷達感應和傳感器融合

漢威科技助力:傳感器技術為人形機器人打造智能感知新生態

伺服電動缸在人形機器人中的應用
【「具身智能機器人系統」閱讀體驗】2.具身智能機器人的基礎模塊
一文講透人形機器人常用的四類感知傳感器:視覺、力/力矩、觸覺、IMU

評論