佐思汽研發(fā)布《2023年人形機器人產(chǎn)業(yè)研究報告》。主要從以下幾方面進行研究：

AI人形機器人主要構(gòu)成及應(yīng)用場景；

AI大模型賦能人形機器人技術(shù)路徑；

主機廠和其他廠商AI人形機器人產(chǎn)品布局對比；

產(chǎn)品硬件拆解及軟件分析；

AI人形機器人的發(fā)展趨勢等。

與機械臂、AGV相比，AI人形機器人應(yīng)用場景更具通用性

AI人形機器人是指由AI大模型賦能，具有與人類似外觀和運動方式的機器人。AI大模型從語音、視覺、決策、控制等多方面與人形機器人結(jié)合，使機器人具備理解指令并執(zhí)行指令的功能。 借助AI大模型賦能，AI人形機器人應(yīng)用場景更具通用性。 例如，2023年8月，智元機器人推出的遠征A1，由百億級參數(shù)的WorkGPT大模型賦能，擁有理解指令，并對指令進行任務(wù)編排和執(zhí)行閉環(huán)能力。預(yù)計2024年商用，并率先用于工業(yè)制造領(lǐng)域如3C 制造、 汽車制造，隨后逐步走向to C應(yīng)用如家庭場景。 2022年8月，小米推出的Cyberone。其搭載自研Mi-Sense 深度視覺模組+ AI 交互算法，擁有三維空間感知能力，實現(xiàn)身份、手勢和表情識別。此外，在情緒感知上，其能識別85 種環(huán)境語義和 6 大類 45 種人類情緒。未來將率先用于小米智能制造工廠、同時還支持多種應(yīng)用場景，如家庭助理、陪伴機器人、教育輔助等。

智元機器人元征A1應(yīng)用場景示例

AI人形機器人大模型從VLM向VLA進化

2023年7月，谷歌DeepMind推出了機器人模型Robotics Transformer 2 (RT-2)，這是一個視覺-語言-動作（VLA）模型，實現(xiàn)了視覺語言模型與機器人動作的結(jié)合。它能夠指導機器人識別視覺和語言，讓其理解指令并做出正確的操作。

與視覺語言模型（VLM）相比，VLA的主要進化之處在于將機器人動作直接作為模型token輸出，省去了VLM模型將輸出的指令翻譯成動作控制信號的步驟。

RT-2的架構(gòu)和訓練

來源：DeepMind

RT-2一方面吸收了VLM語義推理、問題解決、視覺解釋能力，另一方面能從真實的機器人動作中實現(xiàn)具身任務(wù)推理，且兩方面能夠相互促進。

訓練方式上，RT-2通過將機器人動作拆解為文本token的形式，實現(xiàn)了直接與視覺語言數(shù)據(jù)混合后輸入VLM進行聯(lián)合微調(diào)。

RT-2不僅是對現(xiàn)有VLM模型的簡單而有效的修改，還展示了構(gòu)建通用物理機器人的前景，讓機器人可以推理、解決問題和解釋信息，以在現(xiàn)實中執(zhí)行各種任務(wù)。

谷歌DeepMind RT-2大模型

來源：DeepMind

與汽車行業(yè)聯(lián)動，主機廠押注人形機器人賽道

AI人形機器人可與汽車行業(yè)聯(lián)動。如在汽車生產(chǎn)上，用于新能源汽車工廠裝配底盤、打螺絲，提升工廠智能化水平，降低人力成本；在汽車銷售環(huán)節(jié)上，用于門店為顧客介紹產(chǎn)品，提升品牌形象。

目前，已有包括特斯拉、小鵬和小米在內(nèi)的廠商推出了AI人形機器人。此外，比亞迪也于2023年9月入股人形機器人公司上海智元新創(chuàng)技術(shù)有限公司，未來智元科技的機器人遠征A1可在比亞迪工廠參與外觀檢測流程、進行裝配底盤等汽車裝配線上作業(yè)。

部分主機廠及其他廠商AI人形機器人產(chǎn)品布局

來源：佐思汽研《2023年人形機器人產(chǎn)業(yè)研究報告》

由于人形機器人與汽車之間存在技術(shù)同源，主機廠在汽車行業(yè)積累的技術(shù)經(jīng)驗可直接復(fù)用到這一賽道上。 首先在軟件方面，主機廠可將車端算法復(fù)用至人形機器人上。 例如，特斯拉人形機器人Optimus采用與FSD同樣的神經(jīng)網(wǎng)絡(luò)“占用網(wǎng)絡(luò)”來對三維環(huán)境進行建模。FSD算法在處理傳感器數(shù)據(jù)時，具備對道路、車輛和行人等物體進行識別的能力，可幫助機器人在執(zhí)行任務(wù)時識別和定位物體。此外，Optimus的神經(jīng)網(wǎng)絡(luò)訓練是完全端到端的，可直接從視頻輸入中獲取信息，并輸出控制指令。根據(jù)2023年9月特斯拉公布的視頻，Optimus已可僅依賴視覺對物體進行分類，并完成簡單的瑜伽動作。 小鵬汽車在車端感知上采用激光雷達、毫米波雷達、攝像頭、超聲波等多種傳感器，及自研的深度學習算法，實現(xiàn)對周圍環(huán)境的高精度地圖構(gòu)建和實時動態(tài)追蹤。該技術(shù)可使人形機器人具備在復(fù)雜道路穩(wěn)定行走的能力，及對障礙物和危險物的規(guī)避和應(yīng)對能力。 此外，小鵬采用多種模塊，如規(guī)劃、決策、控制、校準等，及自研的強化學習和多智能體協(xié)同算法，實現(xiàn)了對車輛運行的安全和保障。該技術(shù)可使人形機器人具備在不同場景下自主完成任務(wù)的能力，以及與其他機器人或設(shè)備協(xié)同工作的能力。

小鵬AI人形機器人

來源：小鵬

其次在硬件方面，主機廠可將電動汽車供應(yīng)鏈復(fù)用到人形機器人上。如共用汽車芯片、電池、攝像頭等，并對汽車電機電器、熱管理等做適應(yīng)性更改，以降低機器人制造成本。

例如特斯拉人形機器人的“大腦”搭載D1芯片（同為特斯拉車機的芯片），單芯片算力可達362TFLOPs，為機器人提供算力保障；頭部擁有3顆Autopilot攝像頭（魚眼攝像頭+左右攝像頭），分別控制左中右三個方向的畫面；電池組借鑒了電子產(chǎn)品與汽車產(chǎn)品的設(shè)計，將所有電池的電子設(shè)備集中到電池組的單個PCB中，從傳感、融合、充電管理匯集到一個系統(tǒng)中。

Optimus人形機器人大腦芯片D1架構(gòu)

來源：特斯拉