描述

這是在使用 32 位浮點(diǎn)精度的微控制器上訓(xùn)練深度學(xué)習(xí)模型的嘗試。我們通過構(gòu)建一個(gè)機(jī)器人來實(shí)現(xiàn)這一點(diǎn)，該機(jī)器人學(xué)習(xí)如何使用深度強(qiáng)化學(xué)習(xí)以最小距離跟隨最近的障礙物。訓(xùn)練過程的演示可以在這里找到。

訓(xùn)練過程的演示可以在這里找到。該項(xiàng)目的靈感來自于Pete Warden ( Google TensorFlow)、Neil Tan (ARM) 在微控制器上運(yùn)行神經(jīng)網(wǎng)絡(luò)所做的工作。

介紹

實(shí)時(shí)機(jī)器學(xué)習(xí) (RTML) 是指主動(dòng)解釋和學(xué)習(xí)實(shí)時(shí)到達(dá)的數(shù)據(jù)。它要求代理人根據(jù)先前的知識(shí)解決不熟悉的問題，并經(jīng)常做出實(shí)時(shí)決策。我們在嵌入式系統(tǒng)的開發(fā)和部署環(huán)境中討論 RTML。

目前，地球上活躍著近 150 億個(gè)嵌入式處理器，它們收集并有時(shí)處理大量數(shù)據(jù)。這些數(shù)據(jù)中的大部分都被丟棄了，因?yàn)檫@些微型計(jì)算機(jī)通常不具備在其上運(yùn)行復(fù)雜解釋任務(wù)的硬件功能。出于這個(gè)原因，數(shù)據(jù)通過無線網(wǎng)絡(luò)發(fā)送到功能更強(qiáng)大的中央計(jì)算機(jī)進(jìn)行處理。但是這種形式的基于云的架構(gòu)（其中邊緣設(shè)備僅執(zhí)行數(shù)據(jù)收集）可能由于以下原因而變得不利：

• 發(fā)送數(shù)據(jù)需要邊緣設(shè)備和中央計(jì)算機(jī)之間的通信。這個(gè)過程對處理器來說是非常耗能的，因此只能間歇性地完成
• 由于無線通信協(xié)議的設(shè)計(jì)方式，傳輸數(shù)據(jù)時(shí)的延遲保證權(quán)衡是不可避免的。這可能會(huì)嚴(yán)重延遲從數(shù)據(jù)中采取關(guān)鍵行動(dòng)的時(shí)間。
• 關(guān)于數(shù)據(jù)包從微處理器到達(dá)和被微處理器接收所花費(fèi)的時(shí)間，無線通信協(xié)議也具有不確定的行為，這對于需要關(guān)鍵響應(yīng)的任務(wù)來說也是非常不希望的。
• 這種不確定的通信鏈路要求微處理器幾乎一直處于活動(dòng)狀態(tài)，這是空閑功耗的主要來源之一。

這就是深度學(xué)習(xí)的力量所在。深度學(xué)習(xí)算法實(shí)現(xiàn)中最大最密集的操作是矩陣乘法，硬件高效實(shí)現(xiàn)已經(jīng)存在并且完全受算術(shù)限制。即使使用現(xiàn)有技術(shù)，微處理器和 DSP 也能夠在不到一毫瓦的情況下處理數(shù)千萬或數(shù)億次計(jì)算，而且更高效的低能耗加速器即將出現(xiàn)。經(jīng)過訓(xùn)練后，這些模型能夠運(yùn)行復(fù)雜的推理任務(wù)并保持對噪聲的穩(wěn)健性，這是實(shí)時(shí)數(shù)據(jù)的典型特征。通過在邊緣設(shè)備中加入深度學(xué)習(xí)功能使邊緣設(shè)備更智能，將解決所有源于數(shù)據(jù)交換的問題，并使其成為從現(xiàn)實(shí)世界數(shù)據(jù)中快速做出重要決策的合適且可靠的候選者。設(shè)備在部署到現(xiàn)場后還可以進(jìn)行持續(xù)改進(jìn)。

以下是深度學(xué)習(xí)框架如何在資源受限的嵌入式系統(tǒng)上開發(fā)和運(yùn)行的一些更廣泛的方法：

• 現(xiàn)有算法的內(nèi)存高效實(shí)現(xiàn)
• 低精度量化訓(xùn)練/推理
• 訓(xùn)練期間的低精度乘法
• 使用修剪和霍夫曼編碼壓縮神經(jīng)網(wǎng)絡(luò)
• 使浮點(diǎn)數(shù)學(xué)對 AI 硬件高效

在本項(xiàng)目中，我們重點(diǎn)介紹第一種方法，并簡要介紹第二種方法。據(jù)我們所知，這將是第一個(gè)開發(fā)用于在具有平臺(tái)獨(dú)立性的嵌入式系統(tǒng)上訓(xùn)練和運(yùn)行推理的深度學(xué)習(xí)庫。

使用深度策略梯度網(wǎng)絡(luò)進(jìn)行強(qiáng)化學(xué)習(xí)

有關(guān)策略梯度網(wǎng)絡(luò)的精彩介紹，請參閱本教程。所有用于矩陣操作和實(shí)施深度學(xué)習(xí)算法的庫都是用 C++ 自定義編寫的。

對于這個(gè)項(xiàng)目，網(wǎng)絡(luò)構(gòu)建如下：

• 輸入層的維度為 1x1。它攜帶超聲波傳感器測量到的最近障礙物的距離。
• 隱藏層的維度為 3x1，具有 RELU 激活。
• 輸出層的維度為 5x1，具有 softmax 激活，對應(yīng)于機(jī)器人可以行進(jìn)的 5 種可能速度。

訓(xùn)練在每一集之后進(jìn)行，其中網(wǎng)絡(luò)對 5 個(gè)動(dòng)作進(jìn)行采樣，執(zhí)行它們并存儲(chǔ)計(jì)算出的獎(jiǎng)勵(lì)。