MIT不斷開發(fā)新的方法來分析從儀表化車隊(duì)收集的大規(guī)模數(shù)據(jù)集

在MIT - AVT研究中，最先進(jìn)的嵌入式系統(tǒng)編程、軟件工程、數(shù)據(jù)處理、分布式計(jì)算、計(jì)算機(jī)視覺和深度學(xué)習(xí)技術(shù)被應(yīng)用于大規(guī)模自然駕駛數(shù)據(jù)的收集和分析，旨在為深入了解快速變化的交通系統(tǒng)中人類和自動(dòng)駕駛車輛是如何進(jìn)行相互作用的，從而開辟新的領(lǐng)域。這項(xiàng)研究提出了MIT-AVT研究背后的方法論，旨在定義和啟發(fā)下一代自動(dòng)駕駛研究。本篇介紹硬件部分。

上文介紹了了MIT自動(dòng)駕駛汽車技術(shù)研究做了一個(gè)整體的簡(jiǎn)單介紹。

麻省理工學(xué)院自動(dòng)駕駛車輛技術(shù)( MIT - AVT )的研究有：

( 1 )進(jìn)行大規(guī)模的現(xiàn)實(shí)世界駕駛數(shù)據(jù)的收集，包括高清視頻，以推動(dòng)基于深度學(xué)習(xí)的內(nèi)外感知系統(tǒng)；

( 2 )通過將視頻數(shù)據(jù)與車輛狀態(tài)數(shù)據(jù)、駕駛員特征、心理模型和自我報(bào)告的技術(shù)體驗(yàn)相結(jié)合，全面了解人類如何與車輛自動(dòng)化技術(shù)進(jìn)行互動(dòng)；

( 3 )確定如何以挽救生命的方式改進(jìn)與自動(dòng)化使用有關(guān)的技術(shù)和其他因素。

為了實(shí)現(xiàn)這些目標(biāo)，MIT為21輛特斯拉Model S和Model X、2輛沃爾沃S90型車輛和2輛攬勝Evoque車輛配備了儀器，用于長(zhǎng)期（每位駕駛員一年以上）和中期（每位駕駛員一個(gè)月）自然駕駛數(shù)據(jù)收集。

圖:整個(gè)MIT- AVT研究和研究中各個(gè)車輛的數(shù)據(jù)集統(tǒng)計(jì)

( a )在MIT - AVT研究的頭14個(gè)月里，車輛每天行駛里程的可視化。這種可視化沒有顯示最近幾個(gè)月，因?yàn)槊枯v車內(nèi)的高容量存儲(chǔ)支持?jǐn)?shù)據(jù)卸載之間的擴(kuò)展記錄以及隨后通過管道處理數(shù)據(jù)的額外時(shí)間。淺綠色-黃色標(biāo)志著研究的早期，每天收集的里程不到200英里。深藍(lán)色標(biāo)志著研究的現(xiàn)狀，在這種情況下，超過1000英里的行駛里程通常被收集，平均(每月)日里程超過500英里。

( b )作為研究的一部分，裝有儀器的車輛行駛的累積距離。該圖顯示了頭450天內(nèi)行駛的英里數(shù)。然而，這項(xiàng)研究仍在繼續(xù)，每天都在收集數(shù)百英里的數(shù)據(jù)。

圖：作為MIT -AVT研究一部分的車輛每天行駛里程的統(tǒng)計(jì)數(shù)據(jù)(a)(b)

此外，MIT不斷開發(fā)新的方法來分析從儀表化車隊(duì)收集的大規(guī)模數(shù)據(jù)集。記錄的數(shù)據(jù)流包括IMU、GPS、CAN消息和駕駛員面部的高清視頻流、駕駛室、前方道路和組合儀表（在特定車輛上）。這項(xiàng)研究正在進(jìn)行中，而且還在增長(zhǎng)。迄今為止，我們有78名參與者，7146天的參與，275589英里，35億個(gè)視頻幀。全論文介紹了這項(xiàng)研究的設(shè)計(jì)、數(shù)據(jù)收集硬件、數(shù)據(jù)處理以及目前用于從數(shù)據(jù)中提取可操作知識(shí)的計(jì)算機(jī)視覺算法。

本文繼續(xù)聊聊本研究的硬件部分。

硬件：數(shù)據(jù)記錄和實(shí)時(shí)處理

成功的自然駕駛研究的核心是執(zhí)行數(shù)據(jù)收集的硬件和底層軟件。在MIT-AVT研究中，該角色由名為RIDER（實(shí)時(shí)智能駕駛環(huán)境記錄系統(tǒng)）的系統(tǒng)來擔(dān)任。RIDER被不斷地設(shè)計(jì)并持續(xù)開發(fā)，以滿足以下目標(biāo)和要求：

1 )時(shí)間戳異步傳感器記錄：以一種方式記錄所有傳感器和數(shù)據(jù)流，即每個(gè)數(shù)據(jù)樣本（無論其頻率或數(shù)據(jù)源）都使用一個(gè)集中、可靠的時(shí)間保持器時(shí)間戳。換句話說，數(shù)據(jù)必須以允許后處理[ 63]中多個(gè)數(shù)據(jù)流的完美同步的方式進(jìn)行時(shí)間標(biāo)記。

2 )高清視頻：以720P( 210萬像素）的分辨率拍攝并錄制3至6臺(tái)相機(jī)數(shù)據(jù)。相機(jī)位置、分辨率和壓縮的選擇是整個(gè)研究中最重要的設(shè)計(jì)決策之一。

3 ) CAN總線：從車輛的控制器局域網(wǎng)（CAN）總線收集車輛遙測(cè)數(shù)據(jù)[64]。每輛車都有不同的端口和總線使用策略，幾乎沒有關(guān)于消息ID和消息內(nèi)容的映射的公開信息。必須記錄原始CAN消息，使得基本信息包含在那些消息中，即使在收集這些消息時(shí)無法解碼。

4 )遠(yuǎn)程蜂窩連接：通過蜂窩連接進(jìn)行低帶寬、不頻繁的系統(tǒng)狀態(tài)通信，以便檢測(cè)RIDER系統(tǒng)何時(shí)發(fā)生故障。

5 )獨(dú)立優(yōu)雅的外觀：從車內(nèi)或車外可見的系統(tǒng)部件應(yīng)具有小的外形尺寸，并具有不會(huì)減損車輛整體外觀或影響整體駕駛體驗(yàn)的視覺設(shè)計(jì)特征。

6 )攝像機(jī)安裝牢固但可拆卸：安裝必須一致、可靠且可拆卸，專門針對(duì)每輛車的內(nèi)部物理特性設(shè)計(jì)。

RIDER組件包括一個(gè)實(shí)時(shí)時(shí)鐘、GPS、IMU，以及具有能夠以720p分辨率記錄多達(dá)6臺(tái)攝像機(jī)的能力，可遠(yuǎn)程蜂窩連接。開發(fā)的系統(tǒng)采用通用組件，根據(jù)其需求定制，實(shí)現(xiàn)超低成本、準(zhǔn)確、可擴(kuò)展和穩(wěn)健的數(shù)據(jù)記錄平臺(tái)。

圖：Knights of CANelot,，可以控制電源板。顯示填充的CAN控制器、收發(fā)器和功率調(diào)節(jié)的功率板中間組件。還顯示了電源繼電器、微控制器、振蕩器和連接器的未填充位置。

為了保證電子設(shè)備和存儲(chǔ)的數(shù)據(jù)安全，RIDER被放置在后備箱內(nèi)，遠(yuǎn)離元件和乘客可能造成的干擾。。電源和CAN數(shù)據(jù)電纜從OBD - II或診斷端口延伸到干線再到RIDER。用于攝像機(jī)的USB數(shù)據(jù)線也從每個(gè)攝像機(jī)位置延伸到主干線。

A.電源管理系統(tǒng)

RIDER的動(dòng)力系統(tǒng)具有許多限制：它需要靈活地轉(zhuǎn)移到不同的車輛中，并且在不使用時(shí)消耗最小的功率，以免耗盡主車輛電池。電源系統(tǒng)由主智能CAN監(jiān)控部分和降壓轉(zhuǎn)換器組成。當(dāng)啟動(dòng)和記錄數(shù)據(jù)時(shí)，RIDER的功率小于8瓦。待機(jī)時(shí)，RIDER的靜態(tài)電流消耗小于1/10瓦特。

Knights of CANelot是一個(gè)CAN控制的電源板，包含一個(gè)微型芯片MCP 2515 CAN控制器和MCP 2551 CAN收發(fā)器，以及一個(gè)Atmega 328p微控制器來監(jiān)控CAN總線流量。默認(rèn)情況下，當(dāng)給這個(gè)微控制器供電時(shí)，它會(huì)自動(dòng)進(jìn)入休眠狀態(tài)，不允許通過開關(guān)繼電器進(jìn)入系統(tǒng)。。

當(dāng)CAN控制器檢測(cè)到指示車輛CAN總線激活的特定預(yù)定義CAN消息時(shí)，CAN控制器從睡眠中喚醒微控制器并觸發(fā)繼電器給主降壓轉(zhuǎn)換器供電，從而向微控制器發(fā)送中斷。這開始了系統(tǒng)其余部分的引導(dǎo)順序。當(dāng)車輛關(guān)閉，車內(nèi)的CAN總線進(jìn)入睡眠狀態(tài)時(shí)，通過Knights of CANelot微控制器發(fā)送信號(hào)，優(yōu)雅地停止所有視頻和數(shù)據(jù)記錄，關(guān)閉計(jì)算機(jī)系統(tǒng)，斷開主電源，然后再次進(jìn)入睡眠模式。

圖：完全組裝好的Knights of CANelot板，顯示了組裝好的微控制器、電源繼電器、CAN和電源連接。

B.計(jì)算平臺(tái)和傳感器

本應(yīng)用選擇單板計(jì)算機(jī)，因?yàn)樗哂卸喾NI / O選項(xiàng)，外形小巧，易于開發(fā)。我們選擇使用具有以下傳感器和規(guī)格的Banana Pi Pro：

1 GHz ARM Cortex - A7處理器，1GB內(nèi)存

用于IMU/GPS/CAN的可擴(kuò)展GPIO端口

本機(jī)機(jī)載SATA

專業(yè)制造的傳感器集成子板

ARM處理器具有板載CAN控制器，用于車輛遙測(cè)數(shù)據(jù)采集

maxim集成DS3231實(shí)時(shí)時(shí)鐘，實(shí)現(xiàn)精確計(jì)時(shí)/時(shí)間戳+ / - 2ppm精度

德州儀器SN65HVD230 CAN收發(fā)器

9自由度慣性測(cè)量單元（STMicro L3GD20H（陀螺儀），LSM303D（加速度計(jì)/指南針））

全球頂級(jí)MTK 3339GPS裝置，6通道，DGPS能力精確到5米以內(nèi)

華為E397Bu-501 4G LTE USB模塊

USB 3.0 4端口集線器，供電

1TB / 2TB固態(tài)硬盤

圖 :由3D打印外殼封裝的River的最終原型版本。。從上到下，順時(shí)針方向，連接到機(jī)箱頂部的是1tb固態(tài)硬盤形式的外部存儲(chǔ)，USB攝像頭通過中心顯示的USB集線器連接，USB集線器右側(cè)的BananaPi被黑色傳感器覆蓋，帶有CAN收發(fā)器、GPS、IMU和實(shí)時(shí)時(shí)鐘。底部中央，降壓轉(zhuǎn)換器，用于將車輛電池電壓從12 - 13.8伏降低對(duì)于所有計(jì)算機(jī)系統(tǒng)來說都是5伏特。左下角，Knights of CANelot CAN可以控制電力局。

C.相機(jī)

三四個(gè)Logitech C920網(wǎng)絡(luò)攝像頭以1280 x720的分辨率在車內(nèi)以每秒30幀的速度記錄。其中兩個(gè)相機(jī)已經(jīng)被修改為接受標(biāo)準(zhǔn)CS型鏡頭支架，以適應(yīng)汽車內(nèi)的面部或身體姿態(tài)。第三個(gè)攝像頭是標(biāo)準(zhǔn)網(wǎng)絡(luò)攝像頭，安裝在擋風(fēng)玻璃上，用于向前看道路。偶爾會(huì)在組合儀表中放置第四個(gè)攝像頭來捕捉CANbus上不可用的信息。這些相機(jī)還包含用于音頻捕捉和錄制的麥克風(fēng)。定制支架是專為車輛內(nèi)的特殊放置而設(shè)計(jì)的。

像我們的Banana Pi這樣的大多數(shù)單板計(jì)算機(jī)缺乏編碼和壓縮多個(gè)原始高清視頻流所需的計(jì)算能力。Logitech C920相機(jī)提供了從計(jì)算平臺(tái)卸載壓縮的能力，并且可直接在相機(jī)上進(jìn)行。此配置允許在單個(gè)RIDER安裝中最多可連接6個(gè)攝像機(jī)。

D.持續(xù)的硬件開發(fā)和創(chuàng)新

RIDER是一個(gè)強(qiáng)大而成熟的儀器平臺(tái)，具有足夠的數(shù)據(jù)收集能力，可用于自然駕駛研究。在研究、開發(fā)和測(cè)試過程中，我們遇到了系統(tǒng)的一些局限性。雖然對(duì)于大多數(shù)收集過程來說，一臺(tái)單板計(jì)算機(jī)就足夠了，但是在擴(kuò)展系統(tǒng)時(shí)，最小系統(tǒng)內(nèi)存的限制可能會(huì)產(chǎn)生問題。類似地，雙核ARM處理器在與傳感器接口并將數(shù)據(jù)寫入文件時(shí)非常有能力，但是如果機(jī)載需要對(duì)數(shù)據(jù)進(jìn)行任何預(yù)處理，性能可能會(huì)波動(dòng)。從我們的工作中，我們對(duì)其中一些常見問題提出了以下改進(jìn)建議。

整個(gè)RIDER系統(tǒng)最大的改進(jìn)是升級(jí)單板計(jì)算平臺(tái)。使用Nvidia Jetson TX2將為I / O和處理提供更多的可擴(kuò)展性。有了更大的處理能力和GPU帶寬，實(shí)時(shí)系統(tǒng)可以同時(shí)使用視頻和傳感器數(shù)據(jù)實(shí)現(xiàn)用于檢測(cè)和驅(qū)動(dòng)預(yù)警系統(tǒng)，數(shù)據(jù)的內(nèi)部注釋等等。借助更大的I / O能力，可以實(shí)現(xiàn)具有更高數(shù)據(jù)帶寬的升級(jí)傳感器包。與Banana Pi Pro非常相似的是，Jetson TX2沒有一個(gè)，而是兩個(gè)完全支持的CAN控制器，可與車輛上的輔助CANbus系統(tǒng)連接。Jetson TX2不僅可以擴(kuò)展SATA，還可以擴(kuò)展PCIe和mSATA，從而實(shí)現(xiàn)第三方模塊的更大擴(kuò)展。。通過CPU和GPU的增強(qiáng)處理，8倍板載RAM，使得實(shí)時(shí)駕駛員監(jiān)控系統(tǒng)的預(yù)處理和集成成為可能。Jetson還有一個(gè)主要優(yōu)點(diǎn)，就是它支持在多種配置中用于車輛應(yīng)用程序。。以下是Jetson TX2相對(duì)于Banana Pi的規(guī)格增加的改進(jìn)。

1 ) Jetson TX2 -功能：

四核ARM Cortex- A57 @ 2GHz +雙核NVIDIA Denver 2 @ 2GHz + NVIDIA Pascal GPU，帶8GB內(nèi)存

工業(yè)相機(jī);GigE vision, USB3 vision

激光雷達(dá)

機(jī)載視頻編碼

實(shí)時(shí)的

802.11a / b / g / n / ac WiFi

藍(lán)牙4.1

USB3

10/100/1000 BASE-T以太網(wǎng)

12車道MIPI CSI 2.0，每車道2.5 Gb /秒

PCIe gen 2.0

mSATA

sd卡

2x CAN總線接口

與Jetson TX2非常相似，Nvidia的Drive PX2是專為汽車環(huán)境設(shè)計(jì)的，用于運(yùn)行半自動(dòng)和完全自動(dòng)駕駛車輛。它裝備精良，可以完成簡(jiǎn)單的任務(wù)，如數(shù)據(jù)記錄，甚至高級(jí)的情況下，需要連接許多攝像頭，高帶寬傳感器和控制車輛的縱向和橫向運(yùn)動(dòng)的能力。盡管Drive PX2將被用于只收集數(shù)據(jù)的方案中，但它是一個(gè)很好的平臺(tái)，可以開始開發(fā)最終集成到汽車中作為生產(chǎn)系統(tǒng)的系統(tǒng)。以下是一些Drive PX2計(jì)算和傳感器功能。

2）Drive PX2-功能:

2x四核ARM Cortex-A57 @ 2GHz + 2x雙核NVIDIA Denver 2 @ 2GHz，帶8GB LPDDR4 RAM + 2x集成Pascal + 2x專用Pascal MXM模塊，帶4GB GDDR5 VRAM

兩臺(tái)計(jì)算機(jī)，通過以太網(wǎng)連接

8 TFLOPS，24 DL頂部(使用int8 )

6x總線接口

4x LINbus接口

2x FlexRay網(wǎng)絡(luò)接口

利用實(shí)時(shí)系統(tǒng)控制汽車的能力

12x GSML照相機(jī)(工業(yè)照相機(jī))

2x 1gb + 1x 10gb (以太網(wǎng))

USB3

根據(jù)上面列出的硬件和系統(tǒng)要求，專門為RIDER開發(fā)了一個(gè)定制的Linux內(nèi)核。文件系統(tǒng)存儲(chǔ)在Banana Pi上的可更換微型SD卡上。