書接上文,我們橫向比較了在應用TFLm引擎進行模型文件導入時候,所使用的三種常用方式:
SD卡存儲結合文件系統(tǒng),
xxd小工具進行文件的十六進制轉(zhuǎn)換
以及使用匯編指令.incbin直接進行模型導入。
可以說各有所長,但是,當我們需要頻繁地進行模型的替換、更新時,麻煩就出現(xiàn)了。xxd和.incbin的形式都需要重新編譯目標工程,并下載到板子中。
當我們的程序體量較大時,即便不需要對全部工程進行編譯(做到改啥編啥),但是,下載這一步,是無論如何不能跳過的,隨著最終鏡像大小的不同,所消耗的時間也會不同。而使用文件系統(tǒng)的方式,無形中增加了移植文件系統(tǒng)的工作量。
設計思路
為了克服這一問題,小編在上一篇的結尾提出了一個新的方案,直接把flash看作一大塊空白存儲區(qū),并開辟一個固定區(qū)域存放模型文件。這樣一來,我們只需要在程序中將模型的讀取位置固定,無論模型是否更新,都能夠讀取最新的模型數(shù)據(jù),進行后續(xù)處理。
而且小編也特意強調(diào)建議大家直接使用Nor Flash來實現(xiàn)這一操作。
以i.MX RT系列MCU為例說明這樣做的優(yōu)勢。i.MX RT系列由于沒有片上Flash芯片,都通過外擴Flash芯片存儲代碼。當我們將啟動方式調(diào)整為XIP,即從flash啟動時,芯片內(nèi)部的BootROM會幫我們配置初始化好這個片上的Flash芯片,而由于Nor Flash的特性,支持隨機的內(nèi)存訪問,也就是說,我們在程序內(nèi)部,可以直接通過指針的形式進行訪問,甚至可以直接調(diào)用memcpy函數(shù)進行數(shù)據(jù)的拷貝。
比起集成文件系統(tǒng)的方式,可以說方便至極。不過,也不是說Nand Flash就不適合,只是處理起來會稍稍麻煩一點,由于不支持隨機的讀操作,就要先拷貝到RAM區(qū)域再進行操作。
設計實現(xiàn)
言歸正傳,為了方便進行數(shù)據(jù)的管理,我們需要設計一套簡單的管理邏輯,說的專業(yè)一點就是為我們的數(shù)據(jù)添加一個幀頭,當然,既然大道至簡,數(shù)據(jù)打包格式大致就是如下格式(可能有些簡陋啊,大家見諒):
當然為了能夠在程序中使用,我們再定義一個對應的C語言形式來表達,這里要用到C語言中0長度數(shù)組的概念:
struct { uint32_t n, w, h , c; uint8_t data[0]; }
這樣一來,我們就具象化了我們所設計的那個簡單的數(shù)據(jù)打包協(xié)議。
下一步是如何將數(shù)據(jù)打包成我們要的樣子,這里要借助于Python來編寫一個簡單的腳本處理,并假設最終會生成一個二進制文件,假設輸入一個多維數(shù)組results,首先構建其幀頭,默認維度不足4的數(shù)據(jù),用1補齊,保證最終的幀頭包含4個維度信息:
def save_to_bin(bin_name, results): shape = list(results[0].shape) element_size = [1] * (3 - len(shape)) + shape element_len = len(results) # shape is [N, H, W, C] bin_values = np.asarray([element_len] + element_size, dtype=np.uint32).tobytes() bin_values += results.tobytes() with open(bin_name, "wb") as f: f.write(bin_values) f.close()
聊到這兒,可能有同學會問了,針對于tflite模型,我們往往只需要知道其首地址就好了,TFLm會處理那些長度信息,我還有必要構造幀頭嗎?這下給小編問的有點啞口無言。馬上著手設計了第二種數(shù)據(jù)結構:
是的,針對于模型數(shù)據(jù)這一特殊的存在,可以設計出更加精簡的表達格式,而且,我們知道tflite模型本身實際上已經(jīng)是二進制文件的形式了,也就是說,可以直接拿過來使用,無需再做任何操作,直接燒寫到固定地址即可。
那我們上面所設計的數(shù)據(jù)結構就毫無用武之地了嗎?當然不是!小編做這些當然都是有理由的啊。
大家想一想,運行神經(jīng)網(wǎng)絡模型的時候,光有模型就可以了嗎?當然不,我們還缺少輸入啊!如果你是攝像頭輸入,請?zhí)^這節(jié)。而如果是離線測試呢?需要大量加載靜態(tài)圖到內(nèi)存中,是不是和之前我們的分析就類似了。
每次更換測試數(shù)據(jù),依舊需要重新下載鏈接,那么按照本文提供的方案,也為數(shù)據(jù)設置一塊固定的區(qū)域,然后借助于上述save_to_bin代碼,將數(shù)據(jù)打包成固定格式,是不是就可以在程序中利用那個結構體訪問了呢?沒錯!小編早就設計好了。
下期預告
那么至此,小編就給大家介紹了數(shù)據(jù)的組織結果,以及如何編寫PC端工具對數(shù)據(jù)進行打包處理,以變成“應用程序可以訪問的樣子”。
當然,考慮到模型文件在使用上的特殊性,也為其設計了特殊的存儲格式,即直接刪去了幀頭,只保留了數(shù)據(jù)部分。而對于圖像輸入等,需要明確知道其輸入維度的數(shù)據(jù),就需要保留幀頭信息了。
在這里再次做個廣告:下一篇我們以i.MX RT1060系列芯片為例,進行MCU實戰(zhàn)部分,包括如何進行C代碼的的編寫獲取數(shù)據(jù),Keil的散列加載文件的編寫以實現(xiàn)數(shù)據(jù)的運行時加載,完成將數(shù)據(jù)拷從Flash拷貝到sdram等,敬請期待!
來源:恩智浦MCU加油站
免責聲明:本文為轉(zhuǎn)載文章,轉(zhuǎn)載此文目的在于傳遞更多信息,版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題,請聯(lián)系小編進行處理
審核編輯 黃宇
-
mcu
+關注
關注
146文章
17477瀏覽量
354619 -
神經(jīng)網(wǎng)絡
+關注
關注
42文章
4789瀏覽量
101615 -
數(shù)據(jù)處理
+關注
關注
0文章
623瀏覽量
28737 -
模型
+關注
關注
1文章
3418瀏覽量
49482
發(fā)布評論請先 登錄
相關推薦
評論