在MIT - AVT研究中，最先進的嵌入式系統編程、軟件工程、數據處理、分布式計算、計算機視覺和深度學習技術被應用于大規模自然駕駛數據的收集和分析，旨在為深入了解快速變化的交通系統中人類和自動駕駛車輛是如何進行相互作用的，從而開辟新的領域。這項研究提出了MIT-AVT研究背后的方法論，旨在定義和啟發下一代自動駕駛研究。

MIT - AVT 研究者認為，當前現實世界的挑戰是人類作為自動駕駛系統各個方面的組成部分。這一挑戰之所以特別困難，是因為駕駛任務具有巨大變異性，原因如下：

人類行為的潛在不確定性，表現為車輛、行人和騎自行車者之間的各種社會互動和沖突解決。

駕駛員風格、經驗和其他有助于理解、信任和使用自動化的特性之間的可變性。

場景感知和理解問題的復雜性和邊緣情況。

從駕駛員與方向盤的互動到輪胎與路面的接觸，汽車中的每一個人在與機械系統的交互中，控制問題的欠驅動性質。

傳感器中預期的和未預料到的限制和缺陷。

對軟件的依賴帶來了基于軟件系統固有的挑戰：bug、漏洞，以及小版本和大版本更新中不斷變化的特性集。

當系統故障需要人工控制車輛以解決潛在的危險情況時，人類駕駛員需要識別、確認并做好控制和適應的準備。

環境條件（即天氣，光照條件）對低級感知和控制任務以及參與交互的人員之間的高級互動動態產生重大影響。

社會和個人對人為和機器錯誤的容忍度。

作為人類，我們自然認為，從機器人學的角度來看，成功獲得足夠的態勢感知和理解，需要多少智力，才能在一個充斥著不可預測的非理性人類的世界中航行。道路上的大多數汽車可能需要幾十年才能實現完全自動駕駛。在此期間，無論是作為司機還是作為駕駛人工智能系統的主管，人類可能仍然是關鍵的決策者，。

在這種背景下，以人為中心的人工智能( HCAI )是計算機科學、機器人學和體驗設計的一個領域，旨在實現人類和人工智能之間的更深層次整合。很可能HCAI將在技術（算法、傳感器、接口和交互范例）的形成中發揮關鍵作用，這些技術支持駕駛員在監控AI系統中的角色，因為它在任何地方都執行基本駕駛和高階物體和事件檢測任務。

麻省理工學院的自動駕駛車輛技術( MIT - AVT )研究旨在收集和分析大規模半自主駕駛的自然數據，以便更好地描述當前技術使用的狀態，了解自動化技術如何影響各種環境中的人機交互，并了解我們如何設計共享自主系統，在未來幾十年里，當我們從手動控制過渡到完全自動駕駛時，這些系統可以挽救生命。這項努力的動機是需要更好地描述和理解駕駛員如何使用先進的車輛技術[ 9 ]。目標是提出、設計和構建基于這種理解的系統，這樣人類和車輛AI之間的共享自主不會導致一系列意想不到的后果[ 10 ]。

“自然駕駛”是指不受嚴格實驗設計限制的駕駛，而“自然駕駛研究”( NDS )通常是一種系統收集視頻、音頻、車輛遙測數據和其他傳感器數據的研究，這些數據可以長時間捕捉駕駛的各個方面，從幾天到幾個月甚至幾年不等。在這些研究中，數據是在與駕駛員通常“在野外”駕駛的自然條件緊密一致的條件下獲取的。“通常情況下，司機自己的車輛裝有儀表(盡可能不引人注目)，每個司機都被要求像平時一樣繼續使用他們的車輛，數據就在車輛整個使用期間收集了。此外，使用不受任何結構化實驗設計的限制。目的是提供盡可能不受測量過程影響的自然行為記錄。這與在類似儀表化車輛中進行的道路試驗形成對比，但是試驗者在車輛中，并要求駕駛員在特定時間使用車輛中的特定技術系統在特定道路上執行特定任務。

MIT- AVT研究的是新一代的NDS，旨在發現人類駕駛員和自動駕駛技術之間真實互動的情況。目標是從通過該項目收集的大規模自然數據中獲得洞察力，以幫助設計、開發和交付新的車輛系統，告知保險提供商不斷變化的安全市場，并教育政府和其他非政府利益相關者如何在野外使用自動化。

圖1 :整個MIT - AVT研究和研究中各個車輛的數據集統計。

圖1顯示了MIT - AVT研究整體以及研究中各個車輛的關鍵統計數據。數據的關鍵措施及其解釋如下:

迄今研究月數: 21

(這項研究在道路上與車輛一起積極運行的月數。)

參與日: 7146

(研究中所有車輛上活動數據記錄器記錄的天數。)

司機: 78人

(本研究中所有車輛上同意駕駛的司機人數。)

車輛:25

(研究中的車輛數量。)

行駛里程:275589

(行駛里程)

視頻幀數:35億

(研究中所有攝像頭和車輛記錄和處理的視頻幀數。)

A.自然駕駛研究

MIT- AVT研究的重點是收集自然駕駛數據，并借鑒先前NDS研究的工作和經驗教訓，這些先前的研究旨在了解以突然減速為標志的碰撞和近碰撞時刻前后的人類行為。第二個戰略性公路研究計劃( SHR p2 )是這些研究中最廣為人知和規模最大的[ 14 ]。與SHRP - 2和其他第一代NDS努力不同，MIT - AVT研究旨在成為下一代NDS項目的標準，該項目的重點是基于大規模計算機視覺的人類行為分析。正如先前的研究所做的那樣，手動標注特定的駕駛時代已經不足以理解自主車輛技術背景下人類行為的復雜性（即駕駛員掃視或駕駛儀使用數千英里的身體位置）。

例如，對理解駕駛員行為很重要的許多度量之一是[18] (見Xi - C )的掃視區域[17]的瞬間檢測。為了在不使用計算機視覺的情況下從11億幀面部視頻中準確提取這一指標，需要投資183.3萬美元的人工注釋[ 19 ]。這個數字假設有一個高效的標注工具，專門為手動瀏覽區域標注任務設計，可以利用標注任務的分布式、在線、眾包。這種工具的開發是一項技術挑戰，可能需要幾年的持續研究和開發[ 20 ]，這可能會超過人類注釋時間的成本。另一個例子是驅動場景分割，對于11億幀來說，這將需要165億美元的不可思議的投資，[ 21]，[ 19 ]。因此，從原始視頻中自動或半自動提取信息至關重要，是MIT - AVT的動機、設計、研究和運營的核心。

MIT對待NDS方法的基本信念是，只有通過查看全部數據（具有揭示人類行為和情況特征的算法），我們才能開始學習“放大”哪些部分：哪些觸發器和標記將導致分析這些分析代表數據中的系統性能和人類行為。此外，從數據中提取的每一個新見解都可能會完全改變我們對數據中應該查找的位置的理解。出于這個原因，我們相信理解人類和自主交通工具是如何相互作用的，需要比特定事件周圍幾秒甚至幾分鐘的時間窗口大得多。

它需要查看整個行程和人類參與自動化的策略：何時、何地、多長時間打開，何時、何地關閉，何時交換控制，以及許多其他問題。處理如此龐大的數據量需要一種完全不同的數據分析方法。我們通過使用基于深度學習的計算機視覺方法來實現知識提取過程的自動化方面，這些方法用于駕駛員狀態檢測、駕駛員身體姿態估計、駕駛場景分割和來自儀表組視頻的車輛狀態檢測，如圖2所示，并在xIV中討論。使用基于深度學習的自動注釋的結果是，MIT - AVT可以分析共享自主環境下駕駛的長尾，這反過來又允許將復雜的觀察到的交互與人類對其體驗的感知相結合。這種對NDS數據集進行整體分析的創新跨學科方法提供了一個獨特的機會來評估在自動駕駛環境下對人機交互的情況理解。

圖2 :來自MIT - AVT攝像機的視頻幀和為每個攝像機執行的計算機視覺任務的可視化（a）(b)(c)(d)：

( a )駕駛員狀態下的面部攝像頭。

( b )用于駕駛員身體位置的駕駛室攝像機。

( c )用于駕駛場景感知的前向攝像機。

( d )用于車輛狀態組合儀表攝像機。

B.深度學習應用的數據集

深度學習[27]可以通過兩種方式定義：（1）機器學習的一個分支，它使用具有許多層的神經網絡；或（2）機器學習的一個分支，旨在形成數據表示的層次結構，而最小的輸入來自人類對層次結構的實際構成。后一個定義揭示了深度學習的關鍵特征，這對我們的工作非常重要，能夠使用大規模數據對機器學習的任何野外應用中出現的真實世界邊緣情況進行有力的概括:遮擋、光照、視角、尺度、類間變化、類內變化等[28]。

為了利用深度學習的力量從原始視頻中提取人類行為，需要大規模注釋數據集。然后，在這些數據集上訓練的深層神經網絡可以用于它們的學習表示，從而可針對駕駛環境中的特定應用進行微調。ImageNet [ 29 ]是基于WordNet [ 30 ]的圖像數據集，其中100，000個同義詞集各自定義了一個獨特的概念。ImageNet的目標是為100，000個合集中的每一個都提供1000個帶注釋的圖像。目前，它有21，841個帶有圖像的合集，總共有14，197，122個圖像。這個數據集通常用于訓練神經網絡，用于圖像分類和物體檢測任務[ 31 ]。作為年度ImageNet大規模視覺識別競賽( ILSVRC ) [32]的一部分，最佳表現的網絡被突出顯示。在這項工作中，術語“機器學習”、“深度學習”、“神經網絡”和“計算機視覺”經常互換使用。這是因為大多數自動化知識提取任務的當前技術水平主要是基于學習的方法，這些方法依賴于深層神經網絡體系結構的許多變體之一。在開發用于大規模分析我們數據集中駕駛員行為的算法時使用的其他流行數據集的例子包括：

COCO [ 33 ] :Microsoft Common object in Context ( COCO )數據集是一個大規模數據集，從兩個角度解決場景理解中的對象檢測任務:檢測對象的非圖標視圖和對象的精確2D定位。第一項任務通常是指對象定位，它使用邊界框來表示對象的存在。第二項任務涉及實例分割，為此也需要對象的精確遮罩。整個數據集包含80個對象類別中標記的200，000多幅圖像。成功的方法[ 31]、[ 34、[ 35 ]將兩項任務聯合建模，同時輸出對象的邊界框和遮罩。

KITTI：KITTI駕駛數據集開發了立體視覺、光流、視覺里程計/ SLAM和3D物體檢測的挑戰性基準，這些基準是在德國中等城市卡爾斯魯厄的農村地區和高速公路上駕駛時捕獲的。總的來說，使用各種傳感器模式，如高分辨率彩色和灰度立體相機、Velodyne 3D激光掃描儀和高精度GPS / IMU慣性導航系統，在10 - 100 Hz下記錄了6小時的交通場景。此外，[ 38 ]還通過從原始數據集中收集400個高度動態的場景，并用半密集的場景流地面真實來增強這些場景，為3D場景流估計提出地面真實。

Cityscapes：Cityscapes數據集側重于對城市街景的語義理解。它提供了大量不同的立體視頻序列，這些視頻序列記錄在來自50個不同城市的街道上，具有像素級和實例級語義標簽。有5,000個帶有像素級注釋的完全分割圖像和另外20,000個具有粗略注釋的部分分割圖像。它的兩個基準挑戰導致了許多成功的語義分割方法的發展[40]，[41]和實例分割[34]，[42]。

CamVid：劍橋駕駛標簽視頻數據庫（CamVid）是第一個在駕駛汽車視角下拍攝的視頻中具有逐幀語義標簽的數據集。數據集提供地面實況標簽，將每個像素與32個語義類之一相關聯。超過700個圖像的手動指定的每像素語義分割使得能夠研究諸如行人檢測[44]和標簽傳播[45]之類的主題。

C.深度學習的汽車應用

駕駛領域中的感知和控制系統的設計已經從利用大規模數據收集和注釋的基于學習的方法中獲益，以便構建概括于現實世界操作的邊緣情況的模型。利用發布的大規模注釋駕駛數據集[36]，[39]，汽車深度學習研究旨在解決檢測、估計、預測、標記、生成、控制和計劃任務。如圖2所示，具體任務有已經定義了諸如細粒度人臉識別，身體姿勢估計，語義場景感知和駕駛狀態預測。目前的努力簡要總結如下：

精細人臉識別：除了經典人臉識別研究之外，精細人臉識別側重于理解人類對人臉感知的行為，如面部表情識別[46]、[47]、眼睛注視檢測[48]、[49]。在駕駛環境中，[50]，[51]探索司機眼神的預測能力。[ 52 ]，[ 53 ]用面部表情來檢測駕駛安全和駕駛體驗的情緒壓力。

人體姿勢估計：人體姿勢的研究擴展了機器人和動作識別中許多現實世界應用的性能、能力和經驗。成功的方法不同于使用深度圖像( [54]，通過深度神經網絡[55]，或者卷積網絡和圖形模型[56]。特別是對于駕駛，[ 57 ]使用駕駛員姿勢來模擬人類駕駛行為，該姿勢由骨骼數據表示，包括手腕、肘部和肩關節的位置。[ 58 ]對眼睛狀態和頭部姿勢進行視覺分析，以監控駕駛員的警覺性。

語義場景感知：從2D圖像中理解場景一直是計算機視覺中一項具有挑戰性的任務，通常指的是語義圖像分割。通過利用大規模數據集，如[59]、[39]、[40]、[ 41]等，利用強大的深度學習技術獲得了最新的結果。因此，學術界和工業界都在積極研究自動駕駛汽車的精確駕駛場景感知[60]、[61]。

駕駛狀態預測：車輛狀態通常被認為是人類駕駛決策的直接例證，這也是自主駕駛的目標。就機器學習而言，從不同角度來看，它是各種任務的基本真理，如駕駛行為[ 57 ]和轉向指令[ 60]、[ 61]。

隨著用于這些任務的代表性數據集被發布給廣泛的研究團體，駕駛員輔助、駕駛員體驗和車輛性能的許多方面正越來越多地通過基于學習的方法實現自動化。MIT-AVT研究旨在成為許多此類數據集的來源，這些數據集有助于訓練神經網絡體系結構，為半自主和完全自主駕駛的許多模塊化和集成子任務提供當前和未來的穩健解決方案。