摘 要 ：漂浮物識別是智能視頻監(jiān)控領域亟待解決的難點問題，針對實際河道環(huán)境復雜、漂浮物多種多樣等問題，文中通過對神經網(wǎng)絡的研究分析，結合邊端和云端設備的不同特點，設計了一種邊云結合的漂浮物檢測識別方法 ：邊端設備，針對其算力有限但點位眾多的特點，部署小型神經網(wǎng)絡對視頻進行初篩，得到疑似漂浮物信息及畫面回傳給云端 ；云端設備，利用其算力高的特點，對疑似漂浮物信息及畫面進行精確識別，過濾無效信息，并將有效信息以報警形式進行存儲上報。實驗表明 ：該方法能綜合利用邊云設備的性能，減少傳輸數(shù)據(jù)量、提高識別率、降低誤檢率，滿足河道監(jiān)控場景的應用。

0 引 言

2019 年全國水利工作會議和全國水文工作會議均提出當前水文工作要聚焦支撐解決“四大水問題”，緊密圍繞水利中心工作，以提高水文監(jiān)測預報預警業(yè)務能力和服務水平為重點，強化水旱災害防御支撐，拓展水利監(jiān)管服務，拓寬社會服務領域，以及時、準確、全面的水文監(jiān)測預報預警信息為水利工作和經濟社會發(fā)展提供可靠支撐和保障。結合國家、水利部以及省委省政府的政策要求，廣東省水利廳提出了開展廣東智慧水利融合工程。其中，漂浮物的監(jiān)督治理作為水利日常管理工作的重要一環(huán) [1]，急需通過智能化建設來解決。

在傳統(tǒng)圖像處理領域，主要通過漂浮物的邊緣、輪廓、顏色等特征并結合分類器進行漂浮物的分類識別工作 [2]。例如，左建軍等 [3] 采用背景減除法分割出圖像中的漂浮物區(qū)域，再利用 BP 算法進行漂浮物特征訓練，并構建漂浮物分類器對分割區(qū)域進行漂浮物識別。朱賀等 [4] 結合灰度閾值分割和河道輪廓識別方法實現(xiàn)對河道區(qū)域的準確提取。這些方法檢測效率高，執(zhí)行速度快，但同時存在對光照以及圖像噪聲極為敏感、魯棒性較差等缺點。隨著深度學習技術在目標檢測領域的廣泛使用，越來越多的學者使用深度學習技術進行河道、湖泊的漂浮物檢測識別，并提出了多種網(wǎng)絡模型的改進和應用案例。例如鮑佳松等 [5] 采用的基于深度卷積神經網(wǎng)絡的水面漂浮物分類識別術。李寧等 [6] 采用的基于 AlexNet的小樣本水面漂浮物識別。陳運軍等 [7] 提出的基于 VGGNet的湖面塑料制品漂浮物識別。李國進等 [8] 采用的基于改進FasterR-CNN 的水面漂浮物識別與定位。楊偉煌等 [9] 采用的一種水面漂浮垃圾的智能收集系統(tǒng)。由于在實際河道中漂浮物種類繁多、環(huán)境復雜 [10]，上述方法使用單一神經網(wǎng)絡模型進行檢測識別難度大、錯誤率高，很難應用在實際場景中。只在邊端進行漂浮物檢測對硬件設備要求高，建設成本大 ；只在云端進行漂浮物檢測，需要大量視頻回傳，網(wǎng)絡建設成本高。根據(jù)邊端、云端設備的不同特點，本文設計了一種邊云結合的漂浮物檢測識別方法，該方法在邊端部署小型神經網(wǎng)絡對視頻進行初篩，剔除大量無目標數(shù)據(jù)以降低網(wǎng)絡傳輸量 ；在云端部署大型神經網(wǎng)絡對疑似目標進行精細識別分類。

1 算法設計

1.1 邊云結合流程設計

本文設計了一種邊云結合的漂浮物檢測識別方法 ：

（1）在河岸架設多路攝像頭，對獲取的視頻幀進行初篩，剔除大量無目標的視頻信息 ；

（2）將疑似目標的視頻信息傳輸?shù)皆贫朔掌鬟M行精細識別分類，并轉換為報警信息進行存儲和上報。

系統(tǒng)物理架構如圖 1 所示，算法流程如圖 2 所示。

1.2 邊端算法設計

在邊端實現(xiàn)疑似目標的定位，但因設備算力有限，因此需要一個快速高效且算力要求不高的目標檢測模型。二階目標檢測模型檢測精度高但檢測速率低，無法滿足河道監(jiān)測的要求；一階目標檢測模型中的 YOLO 系列是當前工業(yè)界的最佳視覺識別算法之一，在精度和速率方面能夠達到較好均衡。相較于之前 YOLOv1～v4 采用的 Darknet 框架，YOLOv5使用 PyTorch 框架，對用戶非常友好，不僅容易配置環(huán)境，而且模型訓練速度快，所以在邊端選用 YOLOv5 網(wǎng)絡進行目標檢測。YOLOv5 結構如圖 3 所示。

1.3 云端算法設計

在云端部署的模型主要進行目標的識別，要求具有最優(yōu)的準確率，目前各分類模型具體性能見表 1 所列。

由表 1 可以看出，ResNet152 是當前圖片分類任務中表現(xiàn)最好的神經網(wǎng)絡，所以本文選擇 ResNet152 模型在云端進行目標識別分類。所選模型在 top5 上的錯誤率為 5.94%，效果突出，ResNet 的結構可以很好地加速神經網(wǎng)絡的訓練，模型準確率有較大提升，避免了層數(shù)加深準確率下降的問題同時，系統(tǒng)可以滿足云端的漂浮物分類需求，ResNet152 模型的結構見表 2 所列。

2 實 驗

2.1 數(shù)據(jù)集準備

網(wǎng)絡模型構建完成后，進入數(shù)據(jù)集準備階段。數(shù)據(jù)集的質量優(yōu)劣直接影響網(wǎng)絡模型的性能。考慮到數(shù)據(jù)集的來源應與使用環(huán)境相近，本文在大中小型河道的岸邊進行數(shù)據(jù)采集?？紤]到季節(jié)、天氣、光照等環(huán)境因素對網(wǎng)絡模型的影響，本文在不同環(huán)境條件下對各種河道及漂浮物進行拍攝錄像，然后通過抽幀獲取目標圖片。此外，還借助一些數(shù)據(jù)增強手段來豐富數(shù)據(jù)集，例如通過對圖像進行幾何變換，包括翻轉、旋轉、裁剪、變形、縮放等增加數(shù)據(jù)，以及通過對圖像的像素重分布，包括噪聲、模糊、顏色變換、擦除、填充等增加數(shù)據(jù)。

數(shù)據(jù)搜集完畢后，通過篩選和標注形成最終的數(shù)據(jù)集。數(shù)據(jù)集共有圖片 17 985 張，樣本 53 959 個，漂浮物類別 10 種。樣本類別分布均衡，達到訓練要求。

2.2 實驗結果與分析

邊端模型訓練設備的硬件配置為 ：處理器 Intel CoreTMi7-4460、內存 32G、顯卡 GTX1080、16G ；軟件環(huán)境為 ：操作系統(tǒng) Ubuntu18.04、框架 PyTorch、網(wǎng)絡 YOLOv5。共訓練2 次。第一次訓練，保證數(shù)據(jù)集樣本及類別不變，并以此訓練結果為基準判斷本文方法的有效性。訓練時主要觀察模型的精確率，精確率越高說明誤檢率越低，第一次訓練效果如圖 4 所示。

第二次訓練，考慮到邊端設備算力有限，將數(shù)據(jù)集樣本類別信息去除，由此，YOLOv5 只做目標定位而不做目標識別，以降低其計算復雜度。第二次訓練效果如圖 5 所示。

云端模型訓練設備的硬件配置為 ：處理器 IntelXeon（R） CPU E5-2678 [email protected] GHz×48、 內存32G、顯卡GTX3090、32G。軟件環(huán)境為 ：操作系統(tǒng) Ubuntu18.04、框架PyTorch、網(wǎng)絡 ResNet152。在訓練前，需將數(shù)據(jù)集進行裁剪，將目標從背景分離得到目標數(shù)據(jù)集，模型訓練效果如圖 6所示。

通過圖 4、圖 5 可以看出，YOLOv5 兩次訓練的損失函數(shù)曲線圖大致相同，目標框的損失曲線大致相同，訓練的 2 個模型的目標定位檢測損失一致，可以說明模型在檢測定位方面一致，其中檢測分類 YOLOv5 模型的精確率為75.81%。圖 6（a）是 ResNet152 模型的訓練損失圖，訓練1 000 次后損失約 0.001，圖 6（b）是模型在驗證集的準確率，訓練 1 000 次后準確率約為 98.2%。

將圖 5 的模型在相同驗證集進行定位檢測，將檢測到的目標信息傳給 ResNet152 模型進行分類，得到結果后計算出相應的精確率，最終結果對比見表 3 所列。

由表3可知，圖4的檢測準確率與本文的邊端檢測準確率基本相同，從圖4、圖5中 box_loss 函數(shù)趨于相同也可以得到佐證，圖4的精確率為75.81%。采用本文方法在邊端進行檢測的準確率為73.57%，在云端的識別精確率為98.2%，本文的精確率為 85.89%。與圖4的精準度對比，本文的精確度提高了10.08%。由此可見，本文提出的邊云結合的漂浮物檢測識別方法切實可行，滿足了河道漂浮物的預警需求。

3 結 語

通過對神經網(wǎng)絡的研究分析，結合邊端和云端設備的不同特點，本文設計了一種邊云結合的漂浮物檢測識別方法，該方法目前通過實驗測試提高了模型檢測識別的精確度，減少了模型預測的耗時。但實驗中還存在一些不足，比如檢測定位模型選用的是 YOLOv5 模型，沒有對其進行剪枝壓縮，縮小模型規(guī)模以進一步降低模型對邊端設備算力的要求，下一步嘗試在保證其檢測精度的前提下對模型進行壓縮剪枝。