導(dǎo)讀

本文來自github，很實(shí)用的一個應(yīng)用。

項(xiàng)目github倉庫地址：

https://github.com/LeonLok/Multi-Camera-Live-Object-Tracking

這個存儲庫包含了我的目標(biāo)檢測和跟蹤項(xiàng)目。所有這些都可以托管在云服務(wù)器上。

由于有ImageZMQ，你還可以使用自己的異步處理IP相機(jī)。

Deep SORT 和 YOLO v4

Check out我的Deep SORT repository：https://github.com/LeonLok/Deep-SORT-YOLOv4，查看我使用的跟蹤算法，其中包括Tensorflow 2.0、異步視頻處理和低置信度跟蹤過濾。

交通流量計(jì)數(shù)

這個項(xiàng)目是目標(biāo)計(jì)數(shù)應(yīng)用的一個擴(kuò)展。

功能

使用DETRAC數(shù)據(jù)集生成的244,617幅圖像進(jìn)行訓(xùn)練。可以在這里找到我創(chuàng)建的轉(zhuǎn)換代碼。

我把這篇論文：https://ieeexplore.ieee.org/document/8909903作為數(shù)據(jù)準(zhǔn)備和訓(xùn)練的指南。

每個跟蹤id只計(jì)數(shù)一次。

通過查看被跟蹤目標(biāo)的路徑與計(jì)數(shù)線的交叉點(diǎn)對目標(biāo)進(jìn)行計(jì)數(shù)。

因此，那些跟丟了但用相同的ID重新跟蹤的仍然會被計(jì)數(shù)。

使用低置信度濾波進(jìn)行跟蹤，來自上面同樣的論文。

提供更低的假陽性率。

跟蹤目標(biāo)顯示平均檢測置信度。

跟蹤的類別由最常見的檢測類別確定。

顯示檢測結(jié)果是可選的(但是隱藏了平均檢測置信度)。

可以使用多個IP攝像頭。

方向計(jì)數(shù)可以配置為基于角度。

每一小時(shí)的間隔記錄計(jì)數(shù)。

總的計(jì)數(shù)

基于類別的計(jì)數(shù)

記錄每個計(jì)數(shù)目標(biāo)的交叉詳細(xì)信息。

交叉時(shí)間

交叉點(diǎn)坐標(biāo)

交叉角度

可以托管在云服務(wù)器上。

注意，由于DETRAC不包含任何摩托車，它們是唯一被忽略的車輛。此外，DETRAC數(shù)據(jù)集只包含中國的交通圖像，因此由于缺乏訓(xùn)練數(shù)據(jù)，它很難正確地檢測出其他國家的某些車輛。例如，它經(jīng)常會將掀背車誤歸為suv，或者由于不同的顏色方案而無法識別出租車。

目標(biāo)計(jì)數(shù)

這個項(xiàng)目最初打算成為一個應(yīng)用程序，用于使用我自己的智能手機(jī)計(jì)算當(dāng)前在多個房間的人數(shù)，服務(wù)器被遠(yuǎn)程托管。下面展示了對人和汽車的檢測、跟蹤和計(jì)數(shù)。

功能

對當(dāng)前視場中的物體進(jìn)行計(jì)數(shù)

跟蹤可選

支持多個IP相機(jī)

每間隔一個小時(shí)記錄一次當(dāng)前的計(jì)數(shù)

當(dāng)前的總數(shù)

當(dāng)前每個類別的計(jì)數(shù)

可以托管在云服務(wù)器上

使用我自己的智能手機(jī)作為IP相機(jī)

訓(xùn)練你自己的機(jī)動車跟蹤模型

我使用DETRAC訓(xùn)練帶有v3標(biāo)注的數(shù)據(jù)集訓(xùn)練了YOLOv4和Deep SORT模型。我提供了將DETRAC訓(xùn)練圖像和v3標(biāo)注轉(zhuǎn)換為正確格式的腳本，用于訓(xùn)練YOLOv4模型和Deep SORT跟蹤模型。

Deep SORT 轉(zhuǎn)換參數(shù)

DETRAC圖像轉(zhuǎn)換為Market 1501訓(xùn)練格式。

遮擋閾值 - 忽略遮擋比率過高的車輛序列。

截?cái)嚅撝?- 忽略截?cái)嗦蔬^高的車輛序列。

出現(xiàn)的次數(shù) - 車輛序列太短(即沒有足夠的圖像)被丟棄后，考慮遮擋和截?cái)啾嚷省?/p>

YOLO 轉(zhuǎn)換參數(shù)

DETRAC圖像被轉(zhuǎn)換成Darknet YOLO訓(xùn)練格式。

遮擋閾值 - 忽略遮擋比率過高的車輛序列。

截?cái)嚅撝?- 忽略截?cái)嗦蔬^高的車輛序列。

兩種模型都在DETRAC訓(xùn)練集上進(jìn)行了訓(xùn)練和評估，但由于缺少v3標(biāo)注，測試集還沒有評估，我也沒有MATLAB用于Deep SORT的評估軟件。到目前為止，對于我的用例來說，它已經(jīng)足夠好了。

使用的硬件

Nvidia GTX 1070 GPU

i7-8700K CPU

為了讓大家了解我們的期望，我可以運(yùn)行兩個流量計(jì)數(shù)流，每個流大約10fps(正如你在流量計(jì)數(shù)gif中看到的)。當(dāng)然，這在很大程度上取決于流分辨率以及用于檢測和跟蹤的幀數(shù)。

YOLO v3 vs. YOLO v4

當(dāng)我第一次開始目標(biāo)計(jì)數(shù)項(xiàng)目時(shí)，我使用YOLOv3，跟蹤幀率大約是10FPS，很難一次運(yùn)行多個流。使用YOLOv4可以更容易地運(yùn)行具有更高分辨率的兩個流，并提供更好的檢測精度。

依賴

Tensorflow-GPU 1.14

Keras 2.3.1

opencv-python 4.2.0

ImageZMQ

numpy 1.18.2

Flask 1.1.1

pillow

這個項(xiàng)目是在Python 3.6上構(gòu)建和測試的。

責(zé)任編輯：lq