本文討論了在工業自動化背景下，開發者利用樹莓派5和Hailo AI加速器進行工業級數值數據處理實戰，打通SQLite與機器學習全鏈路時遇到的問題及解決方案。關鍵要點包括：

1.開發者需求：構建能從SQLite數據庫提取數值數據、用優化模型分析數據、將結果保存回數據庫的高效數據處理流程。

2.基準性能：Hailo-8L模塊推理吞吐量為15萬次/秒（INT8），SQLite批處理延遲<5ms/批次（100條/批次）。

3.面臨挑戰：HailoRT版本不包含編譯器；Hailo Model Zoo在Python 3.11環境安裝失敗；工作流模型與數值特征不兼容。

4.社區提問：詢問數值數據模型與加速器集成示例、Python版本處理方案、非圖像數據處理工作流及工具等。

5.解決方案：下載Dataflow Compiler (DFC)，在帶GPU的x86機器上進行模型編譯。

6.參考實現：可查看樹莓派示例適應數值數據處理

7.啟發思考：體現社區力量、清晰表達問題、開發者與社區互動的重要性。

導語

在工業自動化的浪潮中，數據就是力量！樹莓派5憑借其強大的性能和豐富的接口，成為了開發者手中的“瑞士軍刀”。而Hailo AI加速器的加入，更是為這把“刀”裝上了“火箭助推器”！

你是否遇到過這樣的難題：海量的數值數據從傳感器涌入，傳統的計算方法跟不上節奏，數據處理成了瓶頸。別擔心，本文將帶你走進一個真實的開發故事，看開發者如何用樹莓派5和Hailo AI加速器，打造出一個從數據讀取到分析，再到結果回寫的高效流水線。

開發者的需求：我們想實現什么？

在Hailo的開發者社區里面，有一位叫walter.richtscheid的工程師提出一個開發中的問題：

他的目標是構建一個高效的數據處理流程，能夠：

1. 從SQLite數據庫中提取數值數據。

2. 使用針對Hailo AI加速器優化的機器學習模型對數據進行分析。

3. 將分析結果保存回SQLite數據庫。

基準性能：

Hailo-8L模塊推理吞吐量： 15萬次/秒（INT8）

SQLite批處理延遲： <5ms/批次（100條/批次）

面臨的挑戰

1、編譯器缺失

我們安裝的HailoRT版本（4.19.0）不包含TensorFlow-to-HEF編譯器。

像以下這樣的命令無法使用：

hailortclicompile-tensorflow

2、Hailo Model Zoo安裝問題

在我們的Python 3.11環境中，安裝Hailo Model Zoo 2.13.0（Python包）時失敗，出現以下錯誤：

fatalerror: longintrepr.h: No such file or directory

lap依賴項似乎與Python 3.11不兼容。

3、工作流模型兼容性

示例HEF中的當前VStreams是基于圖像的（NHWC 416x416x3），不適合我們的數值特征（每行3個值）。

我們不確定如何調整管道以適應數值數據處理。

社區提問

由于無法解決，所以這位開發者在社區里提出了自己的問題并尋求Hailo官方的幫助：

1. 是否有關于將數值數據模型（例如DNN）與Hailo AI加速器集成的示例或模板？

2. 我們是否應該將Python版本降級到3.9以確保Model Zoo的兼容性，還是有其他替代方案？

3. 是否有推薦的工作流或編譯工具用于非圖像數據處理？

4. TAPPAS是否可以用于簡化這種數值數據管道？

附加信息

運行64位Raspberry Pi OS的Raspberry Pi 5。

已在虛擬環境中安裝并運行TensorFlow 2.18.0。

已經驗證了SQLite數據庫的輸入和輸出批處理。

技術支持與解決方案

Hailo的官方在了解到開發者的需求和問題后，迅速做出了回復：

1、下載Dataflow Compiler (DFC)

首先，從我們的開發者區域下載Dataflow Compiler (DFC)：

https://hailo.ai/developer-zone/software-downloads/

（需要注冊/登錄才能訪問下載）

2、模型編譯（在帶有GPU的x86機器上）

將TensorFlow模型轉換為ONNX格式：

python -m tf2onnx.convert--saved-modelyour_model_dir--outputmodel.onnx

然后使用DFC編譯：

完整的數值數據處理管道實現

importnumpyasnpimportsqlite3fromhailo_platformimportHEF, VDevicefromhailo_rpi_commonimportapp_callback_classclassNumericalDataCallback(app_callback_class): def__init__(self): super().__init__() self.db_path ="results.db" defsave_to_db(self, data): conn = sqlite3.connect(self.db_path) cursor = conn.cursor() cursor.execute('CREATE TABLE IF NOT EXISTS results (id INTEGER PRIMARY KEY, value REAL)') cursor.executemany('INSERT INTO results (value) VALUES (?)', [(value,)forvalueindata]) conn.commit() conn.close()classNumericalDataApp: def__init__(self, callback, user_data): self.callback = callback self.user_data = user_data self.hef_path ="model.hef" withVDevice()asvdevice: hef = HEF(self.hef_path) self.network_group = vdevice.configure(hef) defrun_inference(self, data): withself.network_group.create_vstreams()asvstreams: returnvstreams[0].infer(data) defrun(self): input_data = np.random.rand(1,3).astype(np.float32) # 替換為實際數據 results = self.run_inference(input_data) self.user_data.save_to_db(results) print(f"Pipeline run complete. Results saved:{results}")if__name__ =="__main__": user_data = NumericalDataCallback() app = NumericalDataApp(app_callback, user_data) app.run()

參考實現

請查看我們的樹莓派的示例，這些示例可以適應數值數據處理。

https://github.com/hailo-ai/hailo-rpi5-examples

開發者的回應

由于官方的有力支持，開發者的工作有了很大的進展：

我們非常感謝你提供的關于使用Hailo AI加速器處理數值數據的詳盡回復和清晰的分步指導。我們真切地感受到你為分享這一全面解決方案所投入的時間和精力！

目前，我們正在梳理工作流程，并準備實施你建議的步驟，包括數據流編譯器和基于Python的管道。在完成測試后，我們將毫無保留地與社區分享我們的成果和任何額外的見解。

再次感謝你的支持和專業知識——在我們持續推進這個項目的過程中，它們簡直是無價之寶。

最好的祝福，”

結語：啟發與思考

在這個充滿挑戰的開發過程中，我們學到了很多寶貴的經驗。遇到問題并不可怕，關鍵是如何快速有效地找到解決方案。正如這位開發者所展示的，當你遇到難題時，選擇一個合適的渠道尋求幫助是非常重要的。

他選擇了Hailo的社區，清晰地描述了自己的問題，并分享了自己的疑問和進展。這種清晰的表達使得Hailo官方能夠迅速理解他的需求，并提供正確的建議。結果，問題得到了有效的解決。

這給我們帶來了幾個重要的啟發：

社區的力量：Hailo社區證明了其在技術支持方面的價值。這樣的社區不僅是解決問題的地方，更是學習和成長的平臺。

清晰的表達：在尋求幫助時，清晰地描述問題和自己的嘗試是非常重要的。這有助于他人快速理解并提供幫助。

互動的重要性：開發者與社區的互動是解決問題的關鍵。通過分享和討論，我們可以更快地找到答案。

對于樹莓派開發者來說，這些經驗是非常有參考意義的。它們提醒我們，在開發過程中遇到問題時，不要猶豫尋求幫助，同時也要學會如何有效地利用社區資源。

希望這些思考能夠引發你的共鳴，讓我們在開發的道路上共同成長，不斷探索新的可能性。