老百姓的日常餐桌上總少不了魚，大快朵頤背后，您是否想到過，這些海產(chǎn)品通常都經(jīng)過水產(chǎn)養(yǎng)殖企業(yè)的科學養(yǎng)殖處理，且肉感鮮美，安全可靠。

然而，水產(chǎn)養(yǎng)殖企業(yè)的大多數(shù)工作仍舊大量依靠人力，工人需要在潮濕環(huán)境下進行高強度的漁業(yè)作業(yè)，造成了鮮有年輕人愿意從事這類繁重、惡劣的工作。因此實現(xiàn)水產(chǎn)養(yǎng)殖的自動化流程，對水產(chǎn)養(yǎng)殖企業(yè)來說是極大的需求。

水產(chǎn)養(yǎng)殖企業(yè)的一個主要賣品就是魚，包含各種魚類的魚苗和成魚。魚苗通常會被進行飼養(yǎng)，直到養(yǎng)成成魚后再賣出。成魚則是會被放進池塘中進行觀察飼養(yǎng)。由于魚苗的個體小，在一個水盆里很難判斷魚苗的數(shù)量，因此需要通過視覺目標檢測的方法來對魚苗計數(shù)。在國內(nèi)、國外都有成熟的魚苗計數(shù)器來對魚苗的數(shù)量進行計數(shù)，有較高的準確率，但是卻很少有成熟的、針對成魚的計數(shù)產(chǎn)品。

來自華南理工大學自動化科學與工程學院的研究生林銳描述說：“一方面，成魚的活動性要比魚苗強得多，使得成魚在不同時刻可能有不同的姿態(tài)，給視覺檢測造成困擾；另一方面，成魚之間相互重疊遮擋的情況更為明顯，較難從二維圖像中判斷魚遮擋重疊時的數(shù)量情況。”

用實例分割模型對成魚計數(shù)

作為校企合作項目，林銳和他的小伙伴們一起，與某水產(chǎn)養(yǎng)殖企業(yè)合作，目標是幫助企業(yè)在放魚作業(yè)時能了解魚的數(shù)量和大致重量。

本項目的應用場景是：水產(chǎn)養(yǎng)殖企業(yè)將采購的魚裝在車廂中，并載回到養(yǎng)殖場，將車廂和放魚槽連接，放魚槽另一端連接池塘，放魚槽上安裝了本項目的魚計數(shù)和估重系統(tǒng)。打開車廂的閘門，將魚放進放魚槽并流向池塘，該系統(tǒng)則開始對魚進行計數(shù)和估重，并將結(jié)果上傳到后臺服務器中。

圖1放魚槽示意圖

圖 1 中的 ① 即為NVIDIAJetson Xavier NX設備，② 為攝像頭，① 和 ② 組成了本項目的硬件設備。③ 為該項目的實驗對象。④ 為該項目所需要的放魚槽設備。

林銳和他的隊員們決定，使用深度學習實例分割算法作為魚的目標檢測模型。“實例分割是語義分割和目標檢測的集成，它具有目標檢測的功能，同時能對目標進行像素級的分割。”林銳介紹說。

利用圖像中的一些語義信息，來幫助模型對相互遮擋重疊的魚進行識別，從而使算法能更好地對成魚進行計數(shù)。利用實例分割模型得到的目標掩膜，可以建立目標像素面積和重量的一個線性模型，通過這個模型得到魚的估計重量，幫助企業(yè)能較好地了解這一批次魚的數(shù)量和重量。

在算力和成本中達到最佳平衡

同學們利用現(xiàn)場收集的上千張魚的圖片作為訓練數(shù)據(jù)集，部分圖片如圖 2 所示。

圖 2訓練集圖片

利用收集的魚類數(shù)據(jù)集訓練算法，使用了 PyTorch1.4 框架，CUDA10.0以及NVIDIA GPU進行訓練，并且算法的 Backbone 層修改為 ResNet18。在訓練完算法之后，先將模型轉(zhuǎn)化為 ONNX 格式，將模型權(quán)重導出為 wts 格 式，并通過TensorRT框架實現(xiàn) YOLACT 算法的加速引擎。部署到 Jetson Xavier NX 上使用的是 C++ 語言，然后使用了 Qt 開源框架搭建了一個人機操作界面，并且移植到 Jetson Xavier NX 平臺上。

“由于本項目用到實例分割算法，需要算力較高的設備。”林銳說，權(quán)衡了成本后，最終選擇 NVIDIA Jetson Xavier NX。它擁有 384 個 CUDA 核心以及 48 個Tensor核 心，Volta架構(gòu)，在 INT8 數(shù)據(jù)格式下可以達到 21TOPS 的算力，在 FP16 數(shù)據(jù)格式下可以達到 10TOPS 的算力。

將整個 Qt 程序移植到 NVIDIA Jetson Xavier NX 設備上，最后的呈現(xiàn)效果如圖 3 所 示。

圖 3Jetson Xavier NX 界面顯示

“雖然本項目主要研究成魚的計數(shù)和估重，只是水產(chǎn)養(yǎng)殖業(yè)中的一個簡單環(huán)節(jié)， 但是本項目的技術(shù)可以推廣到水產(chǎn)養(yǎng)殖業(yè)的其他工作任務，”林銳說，“國內(nèi)的水產(chǎn)養(yǎng)殖企業(yè)大多是勞動密集型企業(yè)，大多數(shù)工作需要人力來完成。因此，通過引進一些智能科技，幫助水產(chǎn)養(yǎng)殖企業(yè)打造自動化流水線，能提高水產(chǎn)養(yǎng)殖企業(yè)的經(jīng)濟收益和工作效率。這將有利于原型機產(chǎn)品的推廣和研發(fā)，并打開一個新的市場。”

給 Jetson 開發(fā)者們的建議

作為資深開發(fā)者，已經(jīng)使用了好幾代 NVIDIA Jetson 產(chǎn)品的林銳說：“Jetson 系列有多個不同型號的設備，適用于不同的應用場景和需求。因此，在選擇 Jetson 設備時，需要根據(jù)自己的需求選擇合適的設備。”

“作為 NVIDIA Jetson 用戶，需要深入了解設備的功能和性能，學習優(yōu)化代碼以實現(xiàn)更好的性能。與此同時，Jetson 擁有一個活躍的社區(qū)，包括開發(fā)者、用戶和愛好者。加入社區(qū)可以獲得幫助、分享經(jīng)驗和學習新技能。Jetson 社區(qū)還有許多活動和比賽，可以幫助用戶提高技能，認識到更多的應用場景。”

審核編輯 ：李倩