塵土飛揚的建筑工地；霧氣彌漫的田野；擁擠的倉庫；傾盆大雨；崎嶇不平的地形。讓自動設(shè)備能夠可靠地實時感知并適應上述充滿挑戰(zhàn)的真實應用場景，需要哪些關(guān)鍵要素？

恩智浦與Au-Zone Technologies攜手迎接挑戰(zhàn)，不僅需要構(gòu)建一個能在高壓環(huán)境下穩(wěn)定運行的感知系統(tǒng)，還要確保系統(tǒng)能快速集成并靈活擴展。

雙方合作下，Au-Zone研發(fā)并推出Raivin模塊——集成雷達傳感、視覺處理和邊緣AI推理的3D感知系統(tǒng)，該模塊已準備投入量產(chǎn)。Raivin專為復雜操作環(huán)境而設(shè)計，使機器能夠?qū)崟r處理復雜的環(huán)境數(shù)據(jù)并作出決策，在高壓條件下提供穩(wěn)定的感知能力。

借助預訓練的AI感知模型和統(tǒng)一的軟硬件架構(gòu)，Raivin簡化了智能感知的部署，為可擴展的自主系統(tǒng)向邊緣發(fā)展邁出了重要的一步。

自主系統(tǒng)的下一步發(fā)展需要更強大、更精準且更具成本效益的實時3D空間感知能力。我們與恩智浦攜手合作，專為這一需求打造了Raivin。——Brad Scott Au-Zone Technologies首席執(zhí)行官

實時感知的共同愿景

自主性和物理AI的演進已超越傳統(tǒng)感知解決方案的能力范疇。許多現(xiàn)有系統(tǒng)仍依賴單一傳感器協(xié)議棧，在復雜且不可預測的環(huán)境中提供有限且不穩(wěn)定的感知支持。

僅使用攝像頭的系統(tǒng)在低能見度或光照不足時性能下降。激光雷達雖然具備高精度，但成本高昂且能耗較大。雷達在惡劣天氣下表現(xiàn)可靠，卻缺乏精確物體分類所需的分辨率。

我們與Au-Zone攜手應對挑戰(zhàn)，共同研發(fā)了這款邊緣AI傳感器融合系統(tǒng)，實現(xiàn)高置信度、低延遲的感知能力。

視覺技術(shù)提供了豐富的語義理解能力，可實現(xiàn)物體檢測、分類與分割。同時，雷達則補充了連續(xù)的深度信息和運動跟蹤能力，即使在低能見度環(huán)境下仍能穩(wěn)定運行。Raivin通過融合這些信號與AI推理，構(gòu)建了一個同步的、具備上下文感知能力的3D世界模型，從而賦予實時決策更高的置信度。

盡管多傳感器系統(tǒng)帶來了諸多優(yōu)勢，但自主應用仍受限于其對現(xiàn)實世界刺激的響應速度。低延遲至關(guān)重要，這類工作負載無法容忍因云處理或傳感器刷新率過低而導致的延遲。

只有將雷達和視覺技術(shù)與邊緣AI處理整合于同一個單元，我們才能打造足夠快速、可靠且強大的系統(tǒng)，以滿足下一代自主應用的需求。

Raivin體現(xiàn)了系統(tǒng)級思維，將雷達、視覺和邊緣AI設(shè)計為一個統(tǒng)一、確定性的流程。這一方法使在復雜環(huán)境中實現(xiàn)實時感知成為可能。——Altaf Hussain 恩智浦運輸與移動細分市場市場總監(jiān)

統(tǒng)一的軟硬件協(xié)議棧

Raivin從一開始就是合作研發(fā)的成果。其全協(xié)議棧設(shè)計涵蓋從芯片到軟件的各個層面，采用協(xié)同開發(fā)方式，以確保在邊緣實現(xiàn)一致、高效的性能。

Raivin模塊是一款商用AI感知解決方案，將雷達模塊、視覺數(shù)據(jù)處理和邊緣AI整合為一個可直接部署的單元。

恩智浦提供高性能、可擴展的計算和傳感基礎(chǔ)

i.MX 8M Plus應用處理器采用四核Arm Cortex-A53及神經(jīng)處理單元，在高達2.3 TOPS的計算能力下高效執(zhí)行AI推理，并支持基于視覺的分類、分割及場景理解。

S32R294雷達微控制器符合ISO26262 ASIL D安全等級要求，憑借雙e200z7應用內(nèi)核及鎖步e200z4安全內(nèi)核，提供實時雷達信號處理及傳感器融合能力。

RFCMOS雷達收發(fā)器工作于76-81GHz頻段，即使在復雜多變或惡劣環(huán)境下，仍能確保穩(wěn)定、可靠的空間感知能力。

Au-Zone提供邊緣AI軟件協(xié)議棧與開發(fā)工具

Raivin模塊采用Au-Zone的EdgeFirst Studio開發(fā)，專為傳感器融合模型的多模態(tài)數(shù)據(jù)收集、AI輔助標注、訓練、驗證及部署而設(shè)計，無需深厚的機器學習專業(yè)知識。

其中，EdgeFirst Perception Stack通過預訓練模型與工作流程優(yōu)化軟件，幫助工程師加速開發(fā)進程。開發(fā)人員可在集成環(huán)境中標注數(shù)據(jù)集、微調(diào)模型并驗證性能。這種端到端方法能夠顯著減少開發(fā)工作量，降低設(shè)計人員實現(xiàn)復雜、多模態(tài)AI感知系統(tǒng)的技術(shù)門檻。

最終，打造出一款高集成度的3D感知系統(tǒng)，在低延遲、低功耗方面實現(xiàn)了優(yōu)化，并支持部署在邊緣。

Raivin能夠在復雜多變或惡劣環(huán)境下穩(wěn)定運行。觀看方案演示，了解該模塊如何在邊緣提供可信賴的空間感知能力，點擊這里>>

真實應用場景中的突破性表現(xiàn)

在CES 2025上，Raivin在現(xiàn)場演示中接受了嚴苛的測試，重現(xiàn)自動設(shè)備每日所面臨的各類環(huán)境挑戰(zhàn)，包括天氣變化、動態(tài)運動以及視覺障礙等：

在霧霾環(huán)境下，雷達依然能夠穩(wěn)定執(zhí)行目標檢測、跟蹤與空間感知。

在強光條件下，融合引擎確保精準的目標跟蹤能力。

在模擬降雨環(huán)境中，雷達與AI協(xié)同工作，以保持高精度感知。

在復雜、雜亂的場景中，雷達實時追蹤速度，而AI與視覺系統(tǒng)則協(xié)同分割和分類人員、設(shè)備及障礙物。

在模擬降雨期間，雷達與AI緊密協(xié)作，以補償視覺退化，確保系統(tǒng)在低能見度環(huán)境下仍具備可靠的感知能力。

大規(guī)模簡化傳感器融合

長期以來，傳感器融合一直是復雜的過程，需要分散的工具、定制化流程以及深厚的專業(yè)知識。Raivin顛覆了這一傳統(tǒng)。

預訓練的AI模型被集成到Au-Zone的EdgeFirst Studio，工程師可輕松實現(xiàn)雷達與視覺的融合，而無需從零構(gòu)建。該軟件支持數(shù)據(jù)集管理、訓練與驗證，只需要很少的編碼與機器學習基礎(chǔ)設(shè)施，就能實現(xiàn)快速的迭代開發(fā)。同時，它還能作為數(shù)據(jù)收集平臺，助力針對不同對象和工作環(huán)境探索定制化解決方案。

同時，該即用型硬件解決方案經(jīng)過優(yōu)化，專為邊緣AI處理設(shè)計，消除了對定制實現(xiàn)與硬件權(quán)衡的顧慮。Raivin現(xiàn)已商用，為OEM提供經(jīng)過驗證的可擴展3D感知系統(tǒng)。

無論是應用于移動機器人、精準農(nóng)業(yè)還是車隊車輛，Raivin模塊均可通過單一平臺快速集成AI驅(qū)動的感知能力。

憑借高效的邊緣處理、預訓練的AI模型以及集成式軟硬件設(shè)計，Raivin大大簡化了機器人、農(nóng)業(yè)和車隊車輛等應用中的傳感器融合部署。——Brad Scott Au-Zone Technologies首席執(zhí)行官

Raivin支持技術(shù)創(chuàng)新

Raivin代表著技術(shù)革新與合作升級。通過將雷達、視覺和邊緣AI深度融合至同一平臺，Raivin模塊等解決方案加速智能感知的部署，提升可擴展性，并確保其在真實應用場景中的適用性。

如需構(gòu)建或集成類似系統(tǒng)，歡迎探索Au-Zone的EdgeFirst Studio，了解其如何簡化邊緣AI的部署流程。

本文作者

Altaf Hussain，恩智浦半導體運輸與移動細分市場市場總監(jiān)。Altaf在企業(yè)、服務提供商和工業(yè)應用的應用工程、產(chǎn)品營銷和業(yè)務開拓方面擁有30多年的經(jīng)驗。他目前擔任恩智浦運輸與移動部門的負責人，該部門專注于移動機器人、機器視覺和倉庫物流自動化領(lǐng)域。Altaf致力于制定系統(tǒng)解決方案，幫助客戶借助自主移動機器人加速自動化進程。他擁有英國倫敦南岸大學的電氣與電子工程學士學位。