Computer vision 是一個快速發(fā)展的研究和應(yīng)用領(lǐng)域。計算機視覺研究的進展現(xiàn)在更直接、更直接地適用于商業(yè)世界。

人工智能開發(fā)人員正在實施計算機視覺解決方案，以識別和分類對象，甚至對其作出實時反應(yīng)。圖像分類、人臉檢測、姿態(tài)估計和光流是一些典型的任務(wù)。計算機視覺工程師是 deep learning （ DL ）或 machine learning （ ML ）工程師的子集，他們編寫計算機視覺算法來完成這些任務(wù)。

DL 算法的結(jié)構(gòu)非常適合解決計算機視覺問題。 卷積神經(jīng)網(wǎng)絡(luò) （ CNN ）的體系結(jié)構(gòu)特征能夠檢測和提取視覺數(shù)據(jù)中存在的空間模式和特征。

計算機視覺領(lǐng)域正在迅速改變汽車、醫(yī)療保健和機器人等行業(yè)，很難跟上最新發(fā)現(xiàn)、趨勢和進展。這篇文章重點介紹了正在影響并將繼續(xù)影響 2022 年及以后計算機視覺發(fā)展未來的核心技術(shù)：

幫助擴展 DL 解決方案的云計算服務(wù)。

自動化 ML （ AutoML ）解決方案，可減少標準 ML 管道中所需的重復(fù)工作。

transformer 研究人員開發(fā)的優(yōu)化計算機視覺任務(wù)的體系結(jié)構(gòu)。

結(jié)合計算機視覺技術(shù)的移動設(shè)備。

云計算

云計算通過互聯(lián)網(wǎng)為個人或企業(yè)提供數(shù)據(jù)存儲、應(yīng)用服務(wù)器、網(wǎng)絡(luò)和其他計算機系統(tǒng)基礎(chǔ)設(shè)施。云計算解決方案提供快速、經(jīng)濟高效、可擴展的按需資源。

大多數(shù) ML 解決方案都需要存儲和高處理能力。數(shù)據(jù)集管理的早期開發(fā)（聚合、清理和爭論）通常需要云計算資源來存儲或訪問 BigQuery 、 Hadoop 或 BigTable 等解決方案應(yīng)用程序。

最近，具有計算機視覺功能的設(shè)備和系統(tǒng)顯著增加，例如用于步態(tài)分析的姿勢估計、智能手機的人臉識別和自動車輛的車道檢測。

云存儲的需求正在快速增長， projected 預(yù)計該行業(yè)的價值將達到 3903.3 億美元，是 2021 市場當(dāng)前價值的五倍。 market size 的增加將導(dǎo)致使用入站數(shù)據(jù)來訓(xùn)練 ML 模型的增加。這與更大的數(shù)據(jù)存儲容量需求和越來越強大的計算資源直接相關(guān)。

GPU 可用性加快了計算機視覺解決方案的速度。然而，單憑 GPU 還不足以提供這些應(yīng)用程序所需的可擴展性和正常運行時間，尤其是在為數(shù)千甚至數(shù)百萬消費者提供服務(wù)時。云計算提供了啟動和補充現(xiàn)有內(nèi)部基礎(chǔ)設(shè)施缺口所需的資源。

云計算平臺，包括 Amazon Web 服務(wù)（ AWS ） 、 谷歌云平臺（ GCP ） 和 Microsoft Azure 為 ML 和數(shù)據(jù)科學(xué)項目管道的核心組件提供端到端解決方案，包括數(shù)據(jù)聚合、模型實現(xiàn)、部署和監(jiān)控。對于設(shè)計視覺系統(tǒng)的計算機視覺開發(fā)人員來說，重要的是要了解這些主要云服務(wù)提供商的優(yōu)勢，以及如何配置它們以滿足特定和復(fù)雜的管道需求。

大規(guī)模計算機視覺需要云服務(wù)集成

以下是支持典型計算機視覺系統(tǒng)的 NVIDIA 服務(wù)示例。

預(yù)訓(xùn)練 DL 模型的 NGC Catalog 降低了模型訓(xùn)練和實現(xiàn)的復(fù)雜性。

DL scripts 提供現(xiàn)成的可定制管道。強健的模型部署解決方案自動化了向最終用戶的交付。

NVIDIA Triton 推理服務(wù)器 支持在任何基于 GPU 或 CPU 的基礎(chǔ)設(shè)施上部署來自 TensorFlow 和 PyTorch 等框架的模型。 Triton 推理服務(wù)器提供了跨各種平臺（包括云、邊緣和嵌入式設(shè)備）的模型可擴展性。

NVIDIA 與云服務(wù)提供商（如VZX18）的合作伙伴關(guān)系支持部署基于計算機視覺的資產(chǎn)，因此計算機視覺工程師可以將更多精力放在模型性能和優(yōu)化上。

企業(yè)在可行的情況下降低成本并優(yōu)化戰(zhàn)略。云計算和云服務(wù)提供商通過提供基于使用情況的計費解決方案和基于需求的擴展來實現(xiàn)這兩個目標。

AutoML

ML 算法和模型開發(fā)涉及許多任務(wù)，這些任務(wù)可以受益于自動化，如特征工程和模型選擇。

特征工程涉及從數(shù)據(jù)集中檢測和選擇相關(guān)特征、屬性和屬性。

模型選擇涉及評估一組 ML 分類器、算法或給定問題的解決方案的性能。

特征工程和模型選擇活動都需要 ML 工程師和數(shù)據(jù)科學(xué)家花費大量時間來完成。軟件開發(fā)人員經(jīng)常重新訪問工作流的這些階段，以提高模型性能或準確性。

有幾個正在進行的大型項目可以簡化復(fù)雜的 ML 項目管道。 AutoML 專注于自動化和增強工作流及其過程，以使 ML 易于訪問，并減少非 ML 專家的手動強度。

從市場價值來看， projections 預(yù)計到 2030 年， AutoML 市場將達到 140 億美元。這意味著將比當(dāng)前值增加約 42 倍。

ML 和自動化的這種特殊結(jié)合正在獲得吸引力，但也有局限性。

實踐中的 AutoML

AutoML 節(jié)省了數(shù)據(jù)科學(xué)家和計算機工程師的時間。 AutoML 功能使計算機視覺開發(fā)人員能夠?qū)⒏嗑ν度氲接嬎銠C視覺開發(fā)管道的其他階段，以最好地利用他們的技能集，如模型培訓(xùn)、評估和部署。 AutoML 有助于加速數(shù)據(jù)聚合、準備和超參數(shù)優(yōu)化，但工作流的這些部分仍然需要人工輸入。

構(gòu)建正確的模型需要數(shù)據(jù)準備和聚合，但它們是重復(fù)的、耗時的任務(wù)，依賴于找到合適的數(shù)據(jù)質(zhì)量源。

同樣，超參數(shù)優(yōu)化可能需要大量時間進行迭代以獲得正確的算法性能。它涉及到一個有根據(jù)的猜測的試錯過程。尋找合適的超參數(shù)所需的重復(fù)工作量可能會很繁瑣，但對于使模型的訓(xùn)練達到所需的精度至關(guān)重要。

對于那些對 GPU 驅(qū)動的 AutoML 感興趣的人來說，廣泛使用的 基于樹的管道優(yōu)化工具 （ TPOT ）是一個自動化的 ML 庫，旨在通過利用遺傳編程優(yōu)化 ML 過程和管道。 RAPIDS cuML 提供使用 GPU 計算資源加速的 TPOT 功能。

機器學(xué)習(xí)庫和框架

ML 庫和框架是任何計算機視覺開發(fā)人員工具包中的基本元素。主要 DL 庫，如 TensorFlow 、 PyTorch 、 Keras 和 MXNet 在 2021 收到了持續(xù)的更新和修復(fù)，并且在未來可能會繼續(xù)這樣做。

最近，以移動為中心的 DL 庫和優(yōu)化常用 DL 庫的包取得了令人興奮的進展。

MediaPipe 于 2021 擴展了姿勢估計功能，通過 BlazePose 模型提供 3D 姿勢估計，該解決方案可在瀏覽器和移動環(huán)境中使用。 2022 年，預(yù)計將在涉及動態(tài)運動和需要穩(wěn)健解決方案的用例中看到更多姿勢估計應(yīng)用，例如舞蹈中的運動分析和虛擬角色運動模擬。

PyTorch 閃電 由于它的簡單性、復(fù)雜神經(jīng)網(wǎng)絡(luò)實現(xiàn)細節(jié)的抽象性和硬件考慮的擴展性，在研究人員和專業(yè) ML 從業(yè)者中越來越流行。

最先進的深度學(xué)習(xí)

DL 方法長期以來被用來解決計算機視覺的挑戰(zhàn)。用于人臉檢測、車道檢測和姿態(tài)估計的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)都使用深層連續(xù)的 CNN 。一種新的計算機視覺算法架構(gòu)正在出現(xiàn)：變形金剛。

transformer 是在 注意力是你所需要的 中引入的 DL 體系結(jié)構(gòu)。論文方法通過使用 attention mechanism 來推導(dǎo)輸入數(shù)據(jù)的一部分相對于輸入數(shù)據(jù)的其他部分的重要性，從而創(chuàng)建數(shù)據(jù)的計算表示。

transformer 沒有使用 CNN 的約定，但研究表明 transformer 型號 在 vision-related tasks 中。變形金剛在 NLP 領(lǐng)域內(nèi)產(chǎn)生了相當(dāng)大的影響。有關(guān)更多信息，請參閱 發(fā)電預(yù)培訓(xùn)變壓器 （ GPT ）和 變壓器的雙向編碼器表示 （ BERT ）。

通過包含 PyTorch 中實際 transformer 模型的架構(gòu)和使用細節(jié)的 NGC Catalog 探索 transformer 模型。

有關(guān)將 Transformer 網(wǎng)絡(luò)體系結(jié)構(gòu)應(yīng)用于計算機視覺的更多信息，請參閱 視覺中的變形金剛：一項調(diào)查 論文。

移動設(shè)備

邊緣設(shè)備正變得越來越強大。對于希望快速提供服務(wù)和 AI 功能的客戶來說，設(shè)備上推理功能是移動應(yīng)用程序的必備功能。

將計算機視覺功能（如圖像和模式識別）納入移動設(shè)備中，可以減少獲取模型推理結(jié)果的延遲，并提供以下好處：

縮短等待時間 用于獲取設(shè)備計算的推斷結(jié)果。

增強隱私和安全性 由于云服務(wù)器之間和到云服務(wù)器的數(shù)據(jù)傳輸有限。

云上的 降低了刪除依賴項的成本 和 CPU 服務(wù)器進行推斷。

許多企業(yè)正在探索移動產(chǎn)品，其中包括探索如何在移動設(shè)備上復(fù)制現(xiàn)有 AI 功能。以下是實施 mobile first AI 解決方案的幾個平臺、工具和框架：

TensorFlow 很少

CoreML

Apple Vision 框架

TensorFlow-React

CreateML

MediaPipe

MLKit

總結(jié)

隨著人工智能越來越多地融入我們的日常生活，計算機視覺技術(shù)不斷發(fā)展。計算機視覺在最新的新聞頭條中也變得越來越普遍。隨著這項技術(shù)的擴展，由于云計算服務(wù)、自動 ML 管道、轉(zhuǎn)換器、以移動為中心的 DL 庫和計算機視覺移動應(yīng)用程序的發(fā)展趨勢，對具有計算機視覺系統(tǒng)知識的專家的需求也將增加。

2022 年，增強型和 VR 應(yīng)用程序的不斷發(fā)展將使計算機視覺開發(fā)人員能夠?qū)⑵浼寄軘U展到新的領(lǐng)域，例如開發(fā)在 3D 空間中復(fù)制和與真實對象交互的直觀高效方法。展望未來，計算機視覺應(yīng)用將繼續(xù)改變并影響未來。

關(guān)于作者

Richmond Alake 是一名機器學(xué)習(xí)和計算機視覺工程師，他與多家初創(chuàng)公司和公司合作，整合深度學(xué)習(xí)模型，以解決商業(yè)應(yīng)用中的計算機視覺任務(wù)。

審核編輯：郭婷