在本教程系列的第一部分中，您將學(xué)習(xí)如何使用樹莓派AI攝像頭來檢測不同的樹莓派型號。本系列由David Plowman創(chuàng)建，他是樹莓派工程師，專注于圖像處理硬件、攝像頭軟件和算法研究。

您可以將AI攝像頭對準(zhǔn)樹莓派4，屏幕上會顯示“Raspberry Pi 4”；對準(zhǔn)樹莓派Zero時顯示“Raspberry Pi Zero”，依此類推。

組裝在樹莓派5上的樹莓派AI攝像頭

這是一個強大的示例，展示如何訓(xùn)練樹莓派進(jìn)行實時目標(biāo)檢測推理。這也是探索樹莓派AI攝像頭API（應(yīng)用程序接口）以及模型與推理之間關(guān)系的好方法。

設(shè)置AI攝像頭

將您的樹莓派 AI 相機連接到兼容的樹莓派電腦。我們用的是樹莓派5，但是AI相機兼容所有樹莓派型號。更多信息可以閱讀AI相機數(shù)據(jù)表。

樹莓派AI相機采用索尼IMX500圖像傳感器，為相機應(yīng)用提供低延遲、高性能的AI能力，而無需AI HAT+(或AI Kit)。它在IMX500傳感器上運行定制的神經(jīng)網(wǎng)絡(luò)模型。

樹莓派AI智能相機包含一個具有AI推理能力的索尼IMX500傳感器

確保系統(tǒng)已更新，然后安裝IMX500固件：

$sudo apt install imx500-all

此命令會：

安裝操作IMX500傳感器所需的固件文件imx500_loader.fpk和imx500_firmware.fpk

將多個神經(jīng)網(wǎng)絡(luò)模型文件放入/usr/share/imx500-models/

安裝IMX500后處理軟件到rpicam-apps

安裝索尼網(wǎng)絡(luò)模型打包工具

現(xiàn)在重啟樹莓派：

$sudo reboot

讓我們來測試一下是否一切正常。以下命令運行帶有對象檢測后處理的rpicam-hello:

$rpicam-hello -t 0s --post-process-file/usr/share/rpi-camera-assets/imx500_mobilenet_ssd.json --viewfinder-width 1920 --viewfinder-height 1080 --framerate 30

以下命令運行rpicam-hello并進(jìn)行姿態(tài)估計后處理:

$rpicam-hello -t 0s --post-process-file/usr/share/rpi-camera-assets/imx500_posenet.json --viewfinder-width 1920 --view

獲取代碼

現(xiàn)在你的AI相機設(shè)置好了，你需要代碼。對于本教程，最好從從GitHub復(fù)制文件開始。在終端中，輸入:

$gitclonehttps://github.com/davidplowman/pi_classifier.git

進(jìn)入pi_classifier目錄，查看一下里面的內(nèi)容:

$cdpi_classifier$ls

進(jìn)入pi_classifier目錄，您將看到三個文件：

demo.py：Python主程序

labels.txt：包含不同樹莓派型號的標(biāo)簽

network.rpk：預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型文件（針對IMX500傳感器優(yōu)化）

運行代碼：

$python demo.py

屏幕會顯示攝像頭預(yù)覽窗口。將樹莓派對準(zhǔn)攝像頭，預(yù)覽窗口會根據(jù)labels.txt中的選項顯示對應(yīng)型號。

它是如何工作的

讓我們在Thonny(或您選擇的代碼編輯器)中打開demo.py代碼并查看一下:

$thonny demo.py

parse_and_draw_classification_result

這個函數(shù)是作為回調(diào)函數(shù)提供給相機系統(tǒng)的，這意味著每當(dāng)一個新的幀從相機到達(dá)時，它就會被自動調(diào)用，而不需要我們(應(yīng)用程序)做任何額外的事情。因為我們使用的是索尼IMX500傳感器，所以我們不僅獲得了通常的相機圖像，還獲得了一個輸出張量，列出了對圖像運行神經(jīng)網(wǎng)絡(luò)的結(jié)果。

我們需要使用 parse_classification_result 解析神經(jīng)網(wǎng)絡(luò)結(jié)果，然后使用 draw_classification_result 將它們繪制到相機圖像上。

parse_classification_result

這將分析IMX500傳感器產(chǎn)生的輸出張量，并確定圖像是否屬于網(wǎng)絡(luò)訓(xùn)練的類別之一。有幾件事需要注意。

檢測樹莓派3

首先，并不總是有輸出張量。如果神經(jīng)網(wǎng)絡(luò)加速器沒有及時完成對幀的處理，就會發(fā)生這種情況。當(dāng)這種情況發(fā)生時，我們應(yīng)該重用前一幀的結(jié)果；另一個框架，張量再次可用，將很快出現(xiàn)！

接下來，我們返回具有最高置信度值的類別。一些網(wǎng)絡(luò)可能會告訴我們，我們應(yīng)該對輸出值使用softmax運算，以獲得每個類的更真實的概率。

draw_classification_result

這里，我們在攝像機圖像上繪制一個標(biāo)簽，指示設(shè)備類別和置信度值，但前提是置信度值足夠高。

我們使用Picamera2的MappedArray以通常的方式訪問實際的相機圖像像素(而不是它的副本)。我們測量類別標(biāo)簽和置信度值將占據(jù)的框的大小，然后將圖像的這一部分變暗，以便當(dāng)我們隨后將文本寫在頂部時，它會更突出。

檢測樹莓派Zero

if __name__ == “__main__”

這部分代碼只涉及配置IMX500、上傳神經(jīng)網(wǎng)絡(luò)固件文件(network.rpk)以及讓攝像機運行。有幾件事需要指出:

1.我們首先創(chuàng)建IMX500相機輔助對象。這將為我們上傳網(wǎng)絡(luò)，并告訴我們IMX500是哪個攝像頭。

2.NetworkIntrinsics對象是網(wǎng)絡(luò)的助手，它會推薦我們可以使用的合適的幀速率，該幀速率應(yīng)該與IMX500上的網(wǎng)絡(luò)推斷速率相匹配。

3.在啟動相機之前，我們應(yīng)該告訴IMX500助手，我們希望看到網(wǎng)絡(luò)上傳的進(jìn)度條——否則很容易認(rèn)為它可能卡住了！回想一下，網(wǎng)絡(luò)固件在后續(xù)情況下上傳更快，因為更多的固件塊已經(jīng)緩存在設(shè)備中。

4.最后，我們讓腳本永遠(yuǎn)運行，所有的相機處理都在后臺線程中進(jìn)行。

下載樹莓派分類器的完整demo.py代碼。

https://github.com/themagpimag/rpimag-issue154/blob/master/pi_classifier/demo.py

原文地址：

https://www.raspberrypi.com/news/build-a-raspberry-pi-classifier-detect-different-raspberry-pi-models/