描述

在過去的幾年里，我一直在StreamLogic開發工具，旨在讓在邊緣構建和部署計算機視覺變得更加容易。我最喜歡的目標平臺之一是來自 tinyVision.ai的Vision FPGA SoM ：

很小的吧？在中心，您可以看到來自 HiMax Imaging 的小型、低功耗且價格低廉的相機模塊。我一直在尋找我可能針對此平臺的新應用程序。

幾個月前，在一位商業伙伴提到他們使用無人機的一個農業用例后，我退出了無人機。無人機是 tinyML 的一個很好的用例；它們需要大量傳感器數據，并且對尺寸、重量和功率敏感。我對無人機幾乎一無所知，但我整個周末都在嘗試定位和研究開源無人機。在周末結束之前，我購買了一架無人機：Holybro 的QAV250 套件。

這架無人機沒有預先組裝，并且是新手，幾個月前，我擁有所有正確的零件并將其從地面上取下來。但是，讓我們跳到故事的結尾。一旦我開始真正駕駛無人機，我就意識到 GPS 定位是多么的不準確。使用自動駕駛儀執行自主任務時，您可能會發現您的無人機遠離計劃的飛行路徑。這在飛行和著陸中都非常危險。就在那時，我想出了這個項目的想法。

目標很簡單：使用自動駕駛儀安全著陸無人機。這有兩個部分：1）在預期的表面上著陸（在我的例子中是人行道）和 2）避免表面上的任何意外障礙物。為了實現這一點，我提出了一種計算機視覺算法來檢測無人機降落時應該何時以及向哪個方向移動。

算法設計

我的解決方案在高層次上非常簡單。向下的攝像頭安裝在無人機的底部。當無人機緩慢下降著陸時，它會捕捉圖像進行分析。首先，將無人機正下方的平方米確定為著陸點。其次，還對八個方向（北、東北、東、東南、南、西南、西、西北）的附近站點進行評級。最后，如果附近任何一個站點的評分明顯優于當前站點，則無人機的位置將沿相應方向調整。

這是從我的無人機拍攝的示例圖像：

?

如果我們繼續前進，中間的黑色方塊就是當前的著陸點。它周圍的標記方塊是評估可能的方向變化的候選站點。顯然，如果我們要降落在人行道上，我們想在這種情況下向東南移動。

嗯，這是高水平，但您可能仍然想知道 1）您如何知道一米的大小以及 2）您如何評價它？第一個很簡單，無人機已經有一個高度傳感器，所以你可以估計無人機的高度。鑒于高度、一些相機規格和一些代數，計算當前圖像的每米像素數 (PPM) 非常簡單。在這種情況下，它的計算結果為 PPM = 168 / H。

對于第二個問題，這就是計算機視覺的用武之地。我們需要能夠對圖像進行任意裁剪，并獲得關于該圖像是無障礙路面的可能性的定量分數。實際值在這里并不重要，只要我們可以比較兩個分數來確定哪個更好。可以手工制作算法，但我選擇訓練卷積神經網絡 (CNN) 來生成分數。

下一節將討論我是如何訓練 CNN 的，但讓我們看一下上圖的輸出：

?

此圖顯示當前著陸點（標記為 C）和所有 8 個方向的候選點的得分。毫無疑問，東南部是希望的贏家。

機器學習

如上所述，我選擇使用 CNN 為候選著陸點生成定量分數。具體來說，全卷積網絡（FCN）。這些與其他 CNN 的不同之處在于它們不以密集或全局池化層結束。最后一個卷積層的激活圖是網絡輸出。正如您將看到的，這非常適合此應用程序。

訓練 FCN 有不同的方法，但我選擇先構建分類器 CNN，然后將其轉換為 FCN。讓我們先看看我是如何構建分類器的。

我想創建一個分類器，將小圖像塊分類為好或壞。但首先，我需要數據。自然地，我花了很多時間在互聯網上搜索一些公共數據集。不幸的是，沒有什么真正適合我的任務。我需要創建自己的數據集，但是如何創建？最后，我創建了自己的電池供電圖像記錄器。

?

圖像記錄器每秒捕獲圖像并將它們寫入 SD 卡。這使我能夠在著陸期間從我的無人機收集圖像，如下所示：

?

手頭有許多圖像，我創建了三個不同類別的補丁數據集：

• 地面（非人行道）
• 路面
• 未知（人行道邊緣/非人行道）

我最初收集了大約 2,000 個補丁。然后我花了很多時間嘗試訓練一個淺層網絡（2 個卷積層），但沒有取得多大成功。我嘗試了許多數據增強和網絡結構都無濟于事。網絡總是會在驗證集上生成隨機結果或做出恒定的選擇 (:sigh:)。

除了獲取更多數據外，別無他法。所以，我從我的圖像中收集了大約 1, 800 個補丁。Bingo，大約有 4, 800 個補丁，訓練表現良好，經過一些實驗，我的網絡達到了 88% 的準確率。這是最終的網絡：

model = Sequential([
    layers.Input(shape=(tgt_width,tgt_height,3)),
    layers.Conv2D(10, 5, strides=2, padding='valid', activation='relu'),
    layers.Conv2D(3, 3, padding='valid'),
    layers.GlobalAveragePooling2D(),
])

這個模型只有 1, 033 個參數！

有關完整的訓練過程，請參閱training.ipynb代碼存儲庫中的 Jupyter 筆記本。

全卷積網絡

有了地面補丁分類器，是時候將其轉換為我們可以應用于整個圖像的 FCN。查看上面的網絡，您可以看到通過移除 GlobalAveragePooling2D 層，我們最終得到了一個僅包含卷積層的網絡。它接受任何圖像大小并生成比例大小的激活圖。FCN 的結果實際上與以滑動窗口方式將補丁分類器應用于圖像中的所有補丁相同。輸出圖中每個位置的激活值是輸入圖像中相應位置的補丁的分類器結果。

這真的有效嗎？我們來看一下。這是示例圖像的渲染和 FCN 的相應輸出：

?

右圖顯示了路面類的 FCN 輸出。將正確圖像中的值與候選站點相加，可以得出該站點的分數。

這是呈現相同數據的另一種方法：

?

在這張圖片中，我用一個紅色正方形覆蓋了原始圖像，其透明度是路面類輸出的倒數（即越有可能是路面，越透明）。查看目標著陸點，紅色越多，得分越低。

創建 FCN 并將權重從訓練的分類器轉移到 FCN 的所有詳細信息都在evaluation.ipynb代碼存儲庫的 Python 筆記本中。

量化

我對網絡進行了量化，以使用 8 位權重和 8 位激活來獲得更好的運行時性能。您可以遵循 Tensorflow 文檔中描述的標準程序，但我使用了我自己的方法，該方法具有更簡單的量化模型。該過程在README代碼存儲庫中進行了詳細說明。

這是量化網絡的輸出示例：

?

這與原始網絡的輸出幾乎沒有區別：

?

硬件構建

我已經有了一個帶有 Vision FPGA SoM 的硬件堆棧和一個來自Battery-powered Image Logger項目的微控制器。不幸的是，結果證明微控制器太小了。計算 FCN 中每一層的輸入/輸出激活圖的大小，我們發現我們需要 48KB 的緩沖區空間。幸運的是，還有另一個符合要求的 Feather 板。

Feather M4 Express 不僅速度更快，而且擁有高達 192KB 的 RAM！該項目不需要 SD 卡，因此我們的構建只是堆疊在 Feather M4 Express 上的 Vision FPGA SoM 板。

?

體積小、重量輕、電池供電！

執行

從框圖中您可以看到 FPGA 被用作相機模塊和微控制器之間的橋梁。

?

FPGA 將捕獲的圖像以圖像傳感器的原始格式（即拜耳濾波器圖像）傳遞給微控制器。FPGA 的預構建編程文件在代碼庫中提供。

這讓微控制器的任務是：

• 將圖像從 Bayer 轉換為 RGB 格式
• 將圖像下采樣到 80x80
• 執行 FCN 推理
• 對目標站點區域求和

所有這些任務的源代碼都包含在sketch代碼存儲庫的文件夾中。我將在這里對代碼做一些評論。

完整的原始圖像超過 100KB，雖然這個 MCU 有 192KB，但我不想不必要地浪費空間。下采樣的圖像只需要 20KB。您將在從 FPGA 讀取圖像的循環中看到，它在讀取時執行拜耳轉換和下采樣，一次一個塊，因此我們只需要為下采樣圖像提供足夠的空間。

這個網絡沒有使用 CNN 框架，而是非常簡單，以至于我實現了自己的卷積和激活函數。這些在gndnet.cpp文件中定義。如果您有興趣了解有關卷積如何工作的更多信息，它的編寫方式非常簡單。我并不太擔心性能，但這些可能會被 ARM神經網絡庫中的函數取代以獲得更好的性能。

結果

著陸算法與無人機飛行控制器的集成超出了此概念驗證的范圍。目標是設計和訓練算法，證明其有效性并獲得一些性能數據。

從質量上看，該算法看起來不錯。它已在用于培訓的站點以及未用于培訓的站點的測試圖像上進行了評估。結果非常令人鼓舞。當然，要投入生產，人們可能希望對來自多個站點的數據進行訓練。

在性能方面，從圖像捕獲到分數計算的整個過程大約是 525 毫秒。這意味著略低于 2 FPS。這可能會起作用，因為無人機確實以相當慢的速度下降。但是，這很容易得到改善。例如，如果將 Bayer 轉換和下采樣功能移至 FPGA，則時間會縮短到 200 毫秒多一點。那將超過 4 FPS，這絕對足夠了。