如何在嵌入式系統(tǒng)上玩轉(zhuǎn) AI，到底是獨(dú)立部署？云端部署？一直是一個(gè)爭(zhēng)議不斷地問(wèn)題。同時(shí)，隨著人形機(jī)器人技術(shù)的快速發(fā)展，移動(dòng)設(shè)備對(duì)智能化的需求也變得尤為迫切。在這樣一個(gè)背景下，RT-Thread AI 團(tuán)隊(duì)經(jīng)歷對(duì)大量芯片廠商和下游應(yīng)用業(yè)務(wù)公司的咨詢(xún)和討論，認(rèn)為在可預(yù)見(jiàn)的未來(lái)，AI 會(huì)產(chǎn)生一種端側(cè)和云端混合部署的形態(tài)，即大規(guī)模、大參數(shù)模型運(yùn)行在云端，如大語(yǔ)言模型，而中小規(guī)模、中小參數(shù)模型則運(yùn)行在端側(cè)，形成一種分布式 AI 部署的形態(tài)。本章將以智能小車(chē)的整個(gè)開(kāi)發(fā)過(guò)程為例，向大家全景展示如何通過(guò)這種分布式 AI 的部署方式，最終實(shí)現(xiàn)傳統(tǒng)小車(chē)的智能化過(guò)程。在這個(gè)過(guò)程中，我們將最大限度的保留原有小車(chē)硬件資源，而通過(guò) RT-Thread AIOS 架構(gòu)，最終實(shí)現(xiàn)大模型和端側(cè)小模型協(xié)作，將傳統(tǒng)小車(chē)智能化。

2硬件與軟件架構(gòu)

硬件上，智能小車(chē)的車(chē)控部分搭載了意法半導(dǎo)體最基礎(chǔ)的 STM32407VET 芯片，該模塊結(jié)合藍(lán)牙模塊、OLED 顯示屏、激光雷達(dá)等模塊，同時(shí)將 RT-Thread AIOS 框架集成在該芯片上，實(shí)現(xiàn)小車(chē)和云端大語(yǔ)言模型的交互。同時(shí)，小車(chē)配備了 Vision-Board 開(kāi)發(fā)板，為智能小車(chē)構(gòu)建了一個(gè)高性能的機(jī)器視覺(jué)模塊。Vision-Board 開(kāi)發(fā)板搭載 Cortex-M85 架構(gòu)的 RA8D1 處理器，配備 LCD 顯示屏和攝像頭，能夠進(jìn)行實(shí)時(shí)圖像處理和顯示，通過(guò)串口和 STM32407VET 芯片進(jìn)行交互。軟件上，兩款芯片均使用了 RT-Thread 實(shí)時(shí)操作系統(tǒng)作為控制系統(tǒng)，提供了一系列應(yīng)用組件和驅(qū)動(dòng)框架，如 TCP/IP 協(xié)議棧，虛擬文件系統(tǒng)，POSIX 接口，圖形用戶(hù)界面，F(xiàn)reeModbus 主從協(xié)議棧，CAN 框架，動(dòng)態(tài)模塊等。通過(guò)對(duì)智能小車(chē)車(chē)控功能語(yǔ)義級(jí)別的學(xué)習(xí)和應(yīng)用，最終通過(guò)云端的大模型控制小車(chē)實(shí)現(xiàn)各種復(fù)雜功能。在大模型方面，智能小車(chē)采用基于開(kāi)源大模型 SenseVoiceSmall 和通義千問(wèn)大模型的微調(diào)模型進(jìn)行聯(lián)合處理。其中，SenseVoiceSmall 作為一個(gè)輕量化的語(yǔ)音識(shí)別模型，能夠高效地將語(yǔ)音實(shí)時(shí)轉(zhuǎn)化為文本。通義千問(wèn)則對(duì)文本內(nèi)容進(jìn)行智能解析和理解，最終轉(zhuǎn)換成小車(chē)可執(zhí)行的邏輯和指令。在端側(cè)的計(jì)算機(jī)視覺(jué)方面，為達(dá)到智能感知的效果，智能小車(chē)采用 openMV 進(jìn)行圖像處理，其搭載的處理器和攝像頭可以輕松勝任小車(chē)的諸多功能，通過(guò) openMV 實(shí)現(xiàn)了循跡、色塊追蹤、二維碼識(shí)別、人臉追蹤等功能，同時(shí)可以在 LCD 顯示器上迅速、直觀地看到 openmv 圖像處理的過(guò)程。

智能小車(chē)支持 C/Python 等多種編程語(yǔ)言，提供豐富的接口，方便開(kāi)發(fā)者靈活調(diào)用各類(lèi)功能模塊。

3

一些例子

語(yǔ)音控制基于 SenseVoiceSmall 和通義千問(wèn)實(shí)現(xiàn)，深度融合了 AI 技術(shù)，用戶(hù)通過(guò)語(yǔ)音指令對(duì)小車(chē)進(jìn)行控制，不僅可以在多種模式之間隨心切換，還能精準(zhǔn)控制小車(chē)的運(yùn)動(dòng)狀態(tài)。常用的模式包括循跡、色塊追蹤、二維碼識(shí)別、人臉追蹤、雷達(dá)避障、雷達(dá)跟隨以及雷達(dá)走直線等。

3.1

示例 1：智能小車(chē)底盤(pán)控制

通過(guò)語(yǔ)音識(shí)別切換到尋跡模式后，智能小車(chē)通過(guò)攝像頭實(shí)時(shí)采集圖像，智能分析路面狀況，精準(zhǔn)識(shí)別并追蹤指定路線。

3.2

示例 2：目標(biāo)追蹤

在色塊追蹤模式中，智能小車(chē)能夠識(shí)別特定顏色的物體，并自動(dòng)調(diào)整運(yùn)動(dòng)軌跡以追蹤目標(biāo)。小車(chē)還可以識(shí)別并獲得二維碼中的信息。

智能小車(chē)具備人臉識(shí)別功能，能夠人臉?shù)浫胂到y(tǒng)中。錄入后，小車(chē)便能自動(dòng)追蹤庫(kù)中包含的目標(biāo)人物，智能地跟隨其移動(dòng)。

以上功能充分展示了機(jī)器視覺(jué)在智能小車(chē)中的靈活應(yīng)用，通過(guò)與小車(chē)的互動(dòng)，能夠深入理解圖像處理和物體識(shí)別等關(guān)鍵技術(shù)。

3.3

示例 3：激光雷達(dá)應(yīng)用

為了一步提升小車(chē)的智能化水平和環(huán)境感知能力，我們?cè)谛≤?chē)上加裝了激光雷達(dá)，這使小車(chē)能夠?qū)崟r(shí)獲取距離信息，從而更有效地避開(kāi)障礙物，加裝激光雷達(dá)后，小車(chē)的整體性能得到了顯著提升。

例如，基于激光雷達(dá)的避障功能，即使小車(chē)在一個(gè)狹小的空間內(nèi)，也可以行動(dòng)自如。

上文中我們提到了人臉追蹤功能，在激光雷達(dá)加持下，即使我們沒(méi)有錄入人臉也可以實(shí)現(xiàn)跟蹤，啟動(dòng)雷達(dá)跟蹤可以使小車(chē)跟蹤附近的一個(gè)物體并保持一定距離。

另外，雷達(dá)走直線模式通過(guò)對(duì)參照物體的識(shí)別來(lái)實(shí)現(xiàn)小車(chē)的直線運(yùn)動(dòng)。小車(chē)能夠以其左側(cè)的物體平面作為參照，保持穩(wěn)定的直線行駛。如果需要更換其他角度作為參照，只需對(duì)代碼進(jìn)行相應(yīng)修改或直接修改雷達(dá)角度即可。

3.4

總結(jié)：

我們已經(jīng)展示的功能顯示了在 RT-Thread AIOS 框架上，可以通過(guò)語(yǔ)音交互對(duì)基于 RT-Thread OS 的設(shè)備進(jìn)行智能化，最終使得系統(tǒng)理解指令、執(zhí)行指令實(shí)現(xiàn)指令發(fā)出者的控制目標(biāo)。此外，用戶(hù)也可以自行增加定制的源語(yǔ)級(jí)控制函數(shù)到 AIOS 框架中，并通過(guò)云端大模型進(jìn)行理解和學(xué)習(xí)，最終通過(guò)語(yǔ)音交互進(jìn)行控制，使得系統(tǒng)變得更加靈活、智能。