作者：黃明明

英特爾邊緣計(jì)算創(chuàng)新大使

文章介紹

之前寫了很多關(guān)于Java 在OpenVINO 中的引用，有目標(biāo)檢測(cè)、道路分割、模型加速等，但雖然寫了這么多，也似乎沒(méi)有過(guò)多提及到一些實(shí)際生活上的案例。都說(shuō)創(chuàng)新源于生活，于是乎就想做一些有意思的東西，想了想，還真有一個(gè)案例似乎可以做出來(lái)。我們?cè)谄匠ｉL(zhǎng)途回家，大多數(shù)多會(huì)上高速，但高速一般在節(jié)假日都會(huì)特別堵。所以這時(shí)候走應(yīng)急車道的車還真不少，每每看到這些不排隊(duì)的車主，真恨的有些牙癢，于是想結(jié)合OpenVINO 來(lái)實(shí)現(xiàn)一個(gè)類似于應(yīng)急車道識(shí)別違法的案例，由于這篇文章沒(méi)有代碼部分，所以文章只講述大致的思路，以及最終結(jié)果展示。

總體構(gòu)思

算力平臺(tái)：為整體的想法提供算力和硬件支撐

識(shí)別模型：通過(guò)識(shí)別模型能夠識(shí)別應(yīng)急車道、車輛、車牌

舉報(bào)系統(tǒng)：通過(guò)篩選出來(lái)的違規(guī)圖片，進(jìn)行自動(dòng)上傳。

算力平臺(tái)

一開始打算用樹莓派去做，后面考慮到樹莓派這東西現(xiàn)在溢價(jià)嚴(yán)重得很，基本上都按傳家寶的價(jià)格買。故使用研揚(yáng)科技針對(duì)邊緣 AI 行業(yè)開發(fā)者推出的『哪吒』（Nezha）開發(fā)套件，以信用卡大小（85 x 56mm）的開發(fā)板-『哪吒』（Nezha）為核心，『哪吒』采用 Intel N97 處理器（Alder Lake-N），最大睿頻 3.6GHz，Intel UHD Graphics 內(nèi)核GPU，可實(shí)現(xiàn)高分辨率顯示；板載 LPDDR5 內(nèi)存、eMMC 存儲(chǔ)及 TPM 2.0，配備 GPIO 接口，支持 Windows 和 Linux 操作系統(tǒng)，這些功能和無(wú)風(fēng)扇散熱方式相結(jié)合，為各種應(yīng)用程序構(gòu)建高效的解決方案，專為入門級(jí)人工智能應(yīng)用和邊緣智能設(shè)備而設(shè)計(jì)。英特爾開發(fā)套件能完美勝人工智能學(xué)習(xí)、開發(fā)、實(shí)訓(xùn)、應(yīng)用等不同應(yīng)用場(chǎng)景。適用于如自動(dòng)化、物聯(lián)網(wǎng)網(wǎng)關(guān)、數(shù)字標(biāo)牌和機(jī)器人等應(yīng)用。售價(jià) RMB 999起, 『哪吒』開發(fā)套件Nezha intel x86開發(fā)板板載Alder N97 可Win10/Ubuntu N97 4G+32G。

應(yīng)急車道識(shí)別

解決算力平臺(tái)之后，我們就需要對(duì)模型的選型了，畢竟需要識(shí)別車道，這個(gè)才是關(guān)鍵。一開始想著實(shí)現(xiàn)車道識(shí)別可以使用最基礎(chǔ)的OpenCV來(lái)實(shí)現(xiàn)，但是發(fā)現(xiàn)網(wǎng)上的資料和代碼太過(guò)紊亂，且代碼量也過(guò)于龐大，需要調(diào)節(jié)的參數(shù)五花八門，需要優(yōu)化和移植的成本也不是一丁點(diǎn)。所以思考再三，在條路似乎不太符合快速偷懶實(shí)現(xiàn)的宗旨。于是打算基于之前road-segmentationOpenVINOOpenVINO-adas-0001模型。road-segmentation-adas-0001模型是使用了Open Model Zoo的預(yù)訓(xùn)練的道路場(chǎng)景分割模型。該模型識(shí)別四個(gè)類別：背景、道路、路緣和標(biāo)記。而對(duì)于應(yīng)急車道而言，我們只需要將車道提取出來(lái)。

如何識(shí)別四個(gè)類別：背景、道路、路緣和標(biāo)記等操作可以看之前的文章：《英特爾開發(fā)套件在Java環(huán)境實(shí)現(xiàn)ADAS道路識(shí)別演示 | 開發(fā)者實(shí)戰(zhàn)》

那么在高速上面，一般是兩車道、三車道、四車道，而最右邊則是應(yīng)急車道，而絕大部分的車都會(huì)在正常車道中行駛，就如下圖：

所以我們可以通過(guò)OpenVINO 的road-segmentation-adas-0001 模型將所有道路進(jìn)行識(shí)別。

在通過(guò)模型運(yùn)算之后，我們標(biāo)記出來(lái)的道路是這樣的，其他道路線我們用黃色表示，應(yīng)急車道線我們用紅色表示，這樣我們就完成了最基本的需求。

車輛提取

同樣，對(duì)于車輛識(shí)別和提取，我們也可以通過(guò)OpenCV來(lái)完成，也可以通過(guò)OpenVINO notebooks 中的教程(https://docs.openvino.ai/2024/notebooks/218-vehicle-detection-and-recognition-with-output.html)來(lái)實(shí)現(xiàn)。

最后效果

我們現(xiàn)在拿到了車道信息和車輛信息，這時(shí)候我們只需要通過(guò)運(yùn)算，就可以知道車輛是否走應(yīng)急車道，下面是效果圖。

結(jié)語(yǔ)

當(dāng)然實(shí)際上的舉報(bào)還是比較困難的，之前是想抓取舉報(bào)平臺(tái)的數(shù)據(jù)然后直接舉報(bào)，但實(shí)際上比較嚴(yán)格，比如需要前后兩張照片、照片需要位置信息，需要手機(jī)驗(yàn)證等，雖然這些都不是技術(shù)難點(diǎn)，但成本增加了，這需要兩臺(tái)手機(jī)一前一后拍攝，然后上傳，效果圖如下：

所以目前只做了車輛在應(yīng)急車道的識(shí)別、車牌提取、車輛提取等工作，這些工作均通過(guò)Java 平臺(tái)結(jié)合OpenVINO -Java-API 實(shí)現(xiàn)，倉(cāng)庫(kù)地址//github.com/Hmm466/OpenVINO-Java-API

后續(xù)筆者將結(jié)合OpenVINO -Java-API 實(shí)現(xiàn)更多案例，同時(shí)也請(qǐng)大家加入到項(xiàng)目中來(lái)，共同促進(jìn)Java在AI領(lǐng)域的應(yīng)用。

除此之外，為了方便大家了解并快速掌握 OpenVINO 的使用，我們還提供了一系列開源的 Jupyter notebook demo。

運(yùn)行這些 notebook，就能快速了解在不同場(chǎng)景下如何利用 OpenVINO 實(shí)現(xiàn)一系列、包括計(jì)算機(jī)視覺、語(yǔ)音及自然語(yǔ)言處理任務(wù)。