對于許多集成人員和系統(tǒng)構(gòu)建者而言，會經(jīng)常遇到不同的挑戰(zhàn)，比如自動實現(xiàn)復(fù)雜決策制定的算法難以編寫且費時費力。

面對這一挑戰(zhàn)，FLIR給你的建議是：結(jié)合使用開源庫、Nvidia 硬件和 FLIR 相機，充分利用深度學(xué)習(xí)。本文詳細的闡述了如何通過FLIR機器視覺相機收集圖像數(shù)據(jù)，訓(xùn)練神經(jīng)網(wǎng)絡(luò)并在嵌入式系統(tǒng)上部署。

什么是深度學(xué)習(xí)？

深度學(xué)習(xí)是機器學(xué)習(xí)的一種形式，所采用的神經(jīng)網(wǎng)絡(luò)在輸入節(jié)點和輸出節(jié)點之間具有許多“深度”層。通過基于大數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)，創(chuàng)建的模型可用于根據(jù)輸入數(shù)據(jù)進行精確預(yù)測。在用于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)中，每一層的輸出會前饋到下一層的輸入。通過更改各層之間連接的加權(quán)，反復(fù)優(yōu)化模型。在每一個周期，對模型預(yù)測準(zhǔn)確度的反饋將用于指導(dǎo)連接加權(quán)的更改。

圖 1：輸入和輸出之間含有“深度”隱藏層的神經(jīng)網(wǎng)絡(luò)

圖 2：相對輸入加權(quán)的更改

深度學(xué)習(xí)通過自動處理之前對于傳統(tǒng)視覺應(yīng)用過于復(fù)雜的過程，不斷改變著交通系統(tǒng)。得益于易于使用的框架以及經(jīng)濟實惠且實現(xiàn)加速的圖形處理單元 (GPU) 硬件和云計算平臺，所有人都可以輕松使用深度學(xué)習(xí)。

為什么深度學(xué)習(xí)現(xiàn)在廣受歡迎？

GPU 加速硬件：功效更高、成本更低

使用大量處理器并行執(zhí)行一組協(xié)調(diào)計算的 GPU 體系結(jié)構(gòu)（稱為“大規(guī)模并行”體系結(jié)構(gòu)）非常適合深度學(xué)習(xí)系統(tǒng)。通過 Nvidia 持續(xù)不斷的研發(fā)，極大地提升了 GPU 加速計算平臺的功效和效率并大幅降低了成本。此項技術(shù)應(yīng)用廣泛，從基于Jetson TX1和TX2的緊湊型嵌入式系統(tǒng)到如GTX 1080等的PC級GPU，再到如Nvidia DGX-1和Drive PX 2等的 AI 專用平臺。

圖 3：Nvidia TX1（左）、TX2（中）和 Drive PX 2（右）等硬件因其并行計算架構(gòu)而在加速深度學(xué)習(xí)過程方面表現(xiàn)出色

使深度學(xué)習(xí)框架大眾化

除了開發(fā)易于使用的框架外，還提供大量教程和在線課程來幫助人們使用深度學(xué)習(xí)。通過內(nèi)含Google的TensorFlow以及開源Caffe、Torch和Theano的C++包裝器，用戶能夠快速構(gòu)建和訓(xùn)練自己的深度神經(jīng)網(wǎng)絡(luò) (DNN)。最好是從通用型 TensorFlow 開始，而Caffe的GPU優(yōu)化使它非常適合部署在Jetson TX1和TX2上。Nvidia CUDA深度神經(jīng)網(wǎng)絡(luò) (cuDNN)庫為開發(fā)人員提供了已高度優(yōu)化的常見深度學(xué)習(xí)功能的實現(xiàn)，進一步簡化了針對這些平臺進行的開發(fā)。

用于交通系統(tǒng)的深度學(xué)習(xí)

多種應(yīng)用

雖然媒體主要關(guān)注的是無人駕駛車輛的發(fā)展，但深度學(xué)習(xí)還有許多其他交通應(yīng)用。深度學(xué)習(xí)適用于較小規(guī)模的系統(tǒng)，用于解決檢測交通信號控制的行人和應(yīng)急車輛、停車場管理、強行頻繁占用車道以及高精度車輛和牌照識別等問題。它還適用于較大規(guī)模的系統(tǒng)，用于解決城際交通流量疏通等問題。

持續(xù)訓(xùn)練深度學(xué)習(xí)系統(tǒng)，以便應(yīng)對不斷變化的狀況。HERE公司正致力于將支持深度學(xué)習(xí)的地圖系統(tǒng)部署到無人駕駛汽車中。此技術(shù)將生成持續(xù)更新的地圖，分辨率介于 10-20 厘米。通過深度學(xué)習(xí)，HERE 的地圖將包括固定物體（如標(biāo)牌）和臨時行駛隱患（如施工工程）的精確位置。

價格更低、準(zhǔn)備時間更短

通過提供分散的現(xiàn)成相機和嵌入式平臺，交通系統(tǒng)設(shè)計人員可以靈活地調(diào)整系統(tǒng)來適應(yīng)他們的項目。單獨的相機和處理硬件使每個組件的升級路徑既簡單又不受約束。與專用智能相機相比，此生態(tài)系統(tǒng)的價格更低，準(zhǔn)備時間更短。

如何實現(xiàn)系統(tǒng)

訓(xùn)練數(shù)據(jù)采集

設(shè)計人員必須先訓(xùn)練深度學(xué)習(xí)模型，然后才能進行部署。若要實現(xiàn)精確結(jié)果，需要高質(zhì)量的訓(xùn)練數(shù)據(jù)。高性能相機向根據(jù)視覺輸入做出決策的系統(tǒng)提供盡可能好的訓(xùn)練圖像。

相機范圍內(nèi)的圖像處理可簡化訓(xùn)練之前所需的數(shù)據(jù)標(biāo)準(zhǔn)化。對自動算法的精確控制、銳化、像素格式轉(zhuǎn)換、鏡頭遮光更正以及 FLIR 的高級預(yù)置顏色轉(zhuǎn)換和色彩校正矩陣等相機功能可優(yōu)化圖像。FLIR 在制造期間嚴(yán)格控制質(zhì)量，最大限度地降低相機性能影響，從而減少訓(xùn)練前進行標(biāo)準(zhǔn)化的需求。

對于捕獲移動車輛圖像的應(yīng)用，全局快門傳感器可同時讀取所有像素，以防物體在讀出過程中因移動而導(dǎo)致的失真。FLIR 的許多機器視覺相機都使用Sony Pregius 全局快門 CMOS 傳感器。憑借 72dB 的動態(tài)范圍和小于 3e- 的讀取噪聲，它們可以同時捕獲明亮區(qū)域和陰影區(qū)域的細節(jié)，并提供出色的低光拍照性能。

低光應(yīng)用（如室內(nèi)停車場管理）可利用背照式 (BSI)Sony Exmor R 和 Starvis 傳感器的像素結(jié)構(gòu)優(yōu)勢。這些設(shè)備追求的是更大的量子效率，而不是讀出速度，以便具備小且經(jīng)濟的傳感器以及更好的低光性能。

在專用硬件上訓(xùn)練

收集足夠的訓(xùn)練數(shù)據(jù)后，就可以訓(xùn)練您的模型了。若要加快此過程，可以使用具有一個或多個啟用了 CUDA 的 GPU 或?qū)Ｓ?AI 訓(xùn)練硬件（如Nvidia DGX-1）的 PC。還提供專門使用深度學(xué)習(xí)的計算平臺。

相對性能（基于訓(xùn)練時間）
NVIDIA DGX-1 的訓(xùn)練速度快 75 倍
CPU 是雙套接字 Intel Xeon E5-2697 v3，170 TF 支持半精度或 FP16

部署到嵌入式系統(tǒng)

完成深度學(xué)習(xí)模型訓(xùn)練后，就可以將它部署到相關(guān)領(lǐng)域了。通過功能強大的精簡型GPU加速嵌入式平臺，可防止在傳統(tǒng)PC上使用具有空間和電源要求的應(yīng)用，并在進行邊緣計算時強制使用有限的Internet連接。這些系統(tǒng)基于ARM處理器體系結(jié)構(gòu)，通常在基于Linux的操作系統(tǒng)上運行。有關(guān)如何在Linux環(huán)境中在ARM設(shè)備上使用 FLIR的FlyCapture SDK的信息，可進入閱讀原文處找到鏈接。

許多交通應(yīng)用依賴于具有多個相機的系統(tǒng)。通過 FLIR機器視覺相機，系統(tǒng)設(shè)計人員可以靈活地通過GPIO或軟件準(zhǔn)確觸發(fā)多個相機。IEEE 1588 精確時間協(xié)議 (PTP) 使相機時鐘與通用時基或 GPS 時間信號同步，無需用戶監(jiān)督。多相機系統(tǒng)的 MTBF 隨每個額外相機降低，高度可靠的相機在構(gòu)建穩(wěn)健的系統(tǒng)時起關(guān)鍵作用。設(shè)計和測試 FLIR 機器視覺相機可確保全天候可靠性，從而最大限度地減少停機和維護。

使用 FLIR Grasshopper3 USB3 相機的 NVidia Drive PX2

Nvidia Jetson TX1 和 TX2是功能強大且高效的 GPU 加速嵌入式平臺，支持第一代 USB 3.1 和 GigE Vision 相機。專用的 Jetson 載板提供 I/O 連接性和應(yīng)用特定功能。SmartCow TERA+本身就支持將最多 8 個 GigE 相機與一個托管交換機一起使用。它還支持 RS-232 和 RS-485 串行通信。SmartCow 還提供 Caffe 包裝器，可簡化在 TERA+ 硬件上支持視覺應(yīng)用的深度學(xué)習(xí)的設(shè)計和部署。Connect Tech Cogswell Carrier支持第一代 USB 3.1 和以太網(wǎng)供電 (PoE) GigE 相機。

Nvidia Drive PX 2是開放汽車AI平臺，內(nèi)置有兩個Pascal GPU核心。憑借八個TFLOPS，Drive PX2的計算能力相當(dāng)于150臺Macbook Pro。Drive PX2旨在支持深度學(xué)習(xí)應(yīng)用，實現(xiàn)無人駕駛車輛導(dǎo)向。除了第一代USB 3.1和GigE Vision相機，它還對使用汽車GMSL相機接口的相機有所投入。