在多年前，當多倫多大學的一個團隊使用經過訓練而不是設計來識別圖像的卷積神經網絡贏得 Imagenet 挑戰賽時，在計算世界的一個有點不起眼的角落發生了重大震動。該團隊和其他團隊不僅擊敗了最好的檢測算法，而且在許多圖像分類任務中都超越了人類。現在，僅僅幾年后，深度神經網絡似乎是不可避免的。

即使在2012年，機器學習也不是什么新鮮事物，事實上，到目前為止，幾乎所有的分類軟件都進行了一些訓練。但它們在某種程度上都依賴于人工設計的特征提取算法。這個新解決方案（后來以首席研究員的名字命名為 AlexNet）的不同之處在于，它沒有這種人工設計的算法，并且完全通過監督學習獲得了結果。

這一發現對整個計算領域的影響已經在與圖像分類相距甚遠的領域產生了巨大的影響，隨著研究人員學習如何將深度學習技術應用于更多領域，預計它帶來的變化在未來會更加深遠。以及越來越多的領域中的更多問題。對深度學習的熱情甚至導致一些評論員預測依賴于設計算法的經典軟件創作的終結，取而代之的是經過大量數據訓練的網絡。

軟件解決方案從數據暴露演變的愿景有一些引人注目的方面：通過實例進行培訓為軟件提供了真正的大規模制造技術的可能性。目前，軟件制造處于工業化前階段，每個應用程序都是定制設計的，就像客車制造的汽車一樣。借助標準算法平臺（網絡）和自動化培訓環境，深度學習可以為軟件做亨利福特為汽車制造所做的事情。

無論您是否同意這一愿景，深度學習的關鍵特征在于它取決于數據的可用性，因此，特定領域的專業知識變得不如相關數據的所有權重要。正如深度學習先驅 Andrew Ng 所說：“獲勝的不是擁有最好算法的人，而是擁有最多數據的人。” 這是希望過渡到新范式的公司面臨的核心問題：他們從哪里獲取數據？

行為數據的作用

對于依賴在線行為數據的公司來說，答案是顯而易見的，我們所有瀏覽習慣的記錄、跟蹤和轉售現在無處不在，以至于它們的開銷都支配了我們的在線體驗。對于與現實世界打交道更密切的公司來說，解決方案不太方便。Waymo 是自動駕駛汽車領域最知名的品牌，它通過部署儀表汽車車隊來繪制位置圖并記錄現實世界的攝像頭、雷達和其他數據，然后將這些數據輸入其感知軟件，從而解決了這個問題。該領域的其他參與者也以較小的方式效仿，但即使是擁有數百萬英里行駛里程和大量可用數據的 Waymo，也發現它不足以完成這項任務。

首先，并非所有數據都是平等的：為了有用，它必須經過準確和徹底的注釋，即使在今天，這仍然是一項昂貴且容易出錯的業務。經過幾年努力使流程自動化，亞馬遜的 Mechanical Turk 仍然是注釋數據的首選方法。除了被注釋之外，為了有用，數據必須是相關的，當相關性取決于任何給定事件的不常見、危險或完全非法時，這是一個主要問題。可靠、相關的真實數據很難獲得，以至于 Waymo 已經開始在沙漠中建立自己的模擬城市，在那里它可以模擬在受控條件下所需的行為。

但是在好萊塢可以制作完全令人信服的 CGI 場景的世界中，必須有可能使用這種能力為現實世界場景創建訓練數據，當然，確實如此。幾年來，該行業一直在朝著這個方向發展，一個研究人員團隊開發了一種方法來注釋俠盜獵車手的序列。Udacity 有一個用于自動駕駛汽車模擬器的開源項目，作為其自動駕駛汽車納米學位的一部分。

與 Udacity 示例一樣，大多數可用的模擬器旨在實現驗證循環以測試經過訓練的感知堆棧，而不是生成主要用于訓練本身的數據。那些確實存在的數據模擬器被汽車公司及其初創競爭對手緊緊抓住，展示了他們產生的數據的基本價值。

那么，合成數據真的可以成功地用于訓練神經網絡嗎？需要多少和什么樣的數據才能完成這項工作？

什么是 KITTI？

總部位于帕洛阿爾托的Highwai發布了其試點研究的結果，該研究使用 KITTI 數據集作為起點，以檢查用于增強 KITTI 提供的注釋圖像的完全合成數據集可能獲得的收益。

訓練圖像是使用 Highwai 的真實世界模擬器制作的，其中包括從市區和住宅郊區場景拍攝的許多序列，這些場景中擠滿了各種車輛、行人和自行車。目的是對象檢測和分類，而不是跟蹤，因此將捕獲幀速率設置為較低，以便在保持數據集大小適中的同時捕獲各種圖像。圖像是在一系列條件下拍攝的，包括相機高度和視野、由于一天中的時間和大氣影響（如霧和霾）引起的照明和陰影變化。雖然 Highwai 的工具支持 LIDAR，但在這種情況下只捕獲了可見光相機數據。注釋包括諸如“行人、

使用 Highwai 的數據增強工具包為訓練準備數據，以添加相機傳感器噪聲、圖像壓縮噪聲、向圖像添加“干擾”對象并使訓練對顏色不敏感。在此過程結束時，合成數據集的總大小為 5，000 張圖像中的 54，443 個對象。（相比之下，原始 KITTI 數據集中有 37，164 個對象和 7，000 個圖像）。生成數據、擴充數據并將其添加到訓練數據集的總時間不到兩個小時。

使用的基礎網絡是一個 Faster RCNN Inception Resnet，它被預訓練為上下文中常見對象 （COCO） 數據集上的對象檢測器，并進行了兩次補充重新訓練；首先僅使用 KITTI 數據集生成基線，然后結合 KITTI 和 Highwai 合成數據集。測試是在 KITTI 參考測試數據集上完成的，該數據集僅包含真實世界的圖像，并且在僅 KITTI 和 KITTI 加合成訓練之間顯示出顯著的性能提升。添加合成數據后，識別率總體提高了 5.9%，對汽車和行人的檢測顯著提高——這一結果并不令人驚訝，因為 Highwai 合成數據集集中在這些對象類型上。

需要多少訓練數據的問題沒有很好的答案，但 Highwai 指出高度針對性的數據管理對于將其保持在合理范圍內至關重要。一個很好的例子是他們為一個未公開的對象檢測項目創建的數據集，其中實際用于訓練的圖像和注釋數據總量約為 15GB。最初的大約 12，000 張圖像包含大約 120，000 個帶注釋的對象，是從 30，000 個圖像和 500，000 個帶注釋的對象的原始集合中自動整理出來的。

像這樣的結果對于獨立軟件制造商以及系統集成商和 OEM 來說都很重要。當然，他們可以使用亞馬遜的服務來幫助訓練網絡，但如果價值在于數據，那么商業可行性要求他們能夠在該領域創建 IP——他們必須能夠使用自己的領域專業知識創建自己的訓練數據來指定、優化和管理數據集。這意味著旨在生產此類 IP 的工具行業的出現是重要的一步，將受到歡迎。我們可以期待看到使用合成訓練數據的專業知識的快速發展，以及生產它的工具的同樣快速發展。

審核編輯：郭婷