一款開源機(jī)器學(xué)習(xí)熱數(shù)據(jù)集匯集了10,000多個(gè)白天和夜間場(chǎng)景的注釋熱圖像

傳感器系統(tǒng)開發(fā)商FLIR公司近日發(fā)布了自動(dòng)駕駛開源熱傳感器數(shù)據(jù)集，該數(shù)據(jù)集匯集了10,000多個(gè)白天和夜間場(chǎng)景的注釋熱圖像，熱成像傳感器可以檢測(cè)行人，動(dòng)物和其他車輛，最大距離可達(dá)到傳統(tǒng)前燈照明的四倍。該傳感器的應(yīng)用將有助于駕駛員或未來的自動(dòng)駕駛車輛在黑暗，太陽(yáng)眩光，霧，煙和霧霾等具有挑戰(zhàn)性的環(huán)境中看得更遠(yuǎn)。

近日，美國(guó)俄勒岡州的傳感器系統(tǒng)開發(fā)商 FLIR Systems Inc. 宣布推出一款開源機(jī)器學(xué)習(xí)熱數(shù)據(jù)集，專為高級(jí)駕駛輔助系統(tǒng)（ADAS）和自動(dòng)駕駛汽車研究人員，開發(fā)人員和汽車制造商而設(shè)計(jì)，該數(shù)據(jù)集匯集了10,000多個(gè)白天和夜間場(chǎng)景的注釋熱圖像。

什么是熱成像傳感器？

智車科技曾在《紅外熱像儀結(jié)合機(jī)器學(xué)習(xí)助力自動(dòng)駕駛安全，或是未來發(fā)展方向之一》一文中提到，熱像儀又稱紅外熱像儀，是利用紅外探測(cè)器和光學(xué)成像物鏡接受被測(cè)目標(biāo)的紅外輻射能量分布圖形反映到紅外探測(cè)器的光敏元件上，從而獲得紅外熱像圖，這種熱像圖與物體表面的熱分布場(chǎng)相對(duì)應(yīng)。通俗地講熱像儀就是將物體發(fā)出的不可見紅外能量轉(zhuǎn)變?yōu)榭梢姷臒釄D像。熱圖像的上面的不同顏色代表被測(cè)物體的不同溫度。紅外熱像儀是可通過光電轉(zhuǎn)換、電信號(hào)處理等手段，將目標(biāo)物體的溫度分布圖像轉(zhuǎn)換成視頻圖像的設(shè)備。

熱像儀可通過識(shí)別行人、動(dòng)物以及周圍環(huán)境發(fā)出的熱量，形成物體輪廓圖像，進(jìn)而幫助司機(jī)發(fā)現(xiàn)行駛過程中的危險(xiǎn)。

目前自動(dòng)駕駛感知的局限性

目前自動(dòng)駕駛感知一般都用激光雷達(dá)(LiDAR)、雷達(dá)和攝像頭等，這些傳感器的感知距離有限，而且對(duì)行人、動(dòng)物等識(shí)別容易出現(xiàn)差錯(cuò)，需要人類駕駛員隨時(shí)準(zhǔn)備接管控制車輛，要實(shí)現(xiàn)3-5級(jí)的自動(dòng)駕駛，車輛需要更大數(shù)量和更強(qiáng)功能的傳感器。

雷達(dá)傳感器可以檢測(cè)遠(yuǎn)處的物體，但卻無(wú)法識(shí)別該物體。攝像頭可以很有效地確定物體是什么，但僅能在較近的范圍內(nèi)起作用，而且在夜間等感光能力差的時(shí)候，容易出現(xiàn)誤識(shí)別（比如Uber事件）。雷達(dá)傳感器和攝像頭融合方案，可以為自動(dòng)駕駛車輛提供更完整的檢測(cè)和覆蓋范圍，但仍需有強(qiáng)大的冗余備份。

目前的傳感技術(shù)都存在感知問題。CMOS攝像頭、雷達(dá)和LiDAR無(wú)法在動(dòng)態(tài)照明或惡劣天氣條件下發(fā)揮作用。（來源：面包板社區(qū)）

在ADAS環(huán)境中，感應(yīng)熱紅外輻射或熱量的能力為現(xiàn)有傳感器技術(shù)提供了互補(bǔ)和獨(dú)特的優(yōu)勢(shì)。當(dāng)前的自動(dòng)駕駛和自動(dòng)駕駛解決方案使用各種傳感器來收集汽車周圍環(huán)境的信息，但它們都有缺點(diǎn)，在與熱成像結(jié)合使用時(shí)解決。作為目前汽車行業(yè)唯一的汽車級(jí)無(wú)源紅外傳感器，F(xiàn)LIR傳感器應(yīng)用于眾多車輛，包括通用汽車，標(biāo)致，梅賽德斯，奧迪和寶馬制造的車輛，以及售后系統(tǒng)?？梢詸z測(cè)行人，動(dòng)物和其他車輛，熱傳感器的最大距離可達(dá)到傳統(tǒng)前燈照明的四倍。熱成像有助于駕駛員和未來的自動(dòng)駕駛車輛在黑暗，太陽(yáng)眩光，霧，煙和霧霾等具有挑戰(zhàn)性的環(huán)境中看得更遠(yuǎn)。

FIR技術(shù)方案

據(jù)面包板社區(qū)介紹，F(xiàn)IR熱攝像頭使用遠(yuǎn)紅外光波來檢測(cè)物體自然發(fā)出的熱量（熱輻射）的差異，并將該數(shù)據(jù)轉(zhuǎn)換成圖像，可以掃描可見光以上的紅外光譜，因此可以檢測(cè)到一般攝像頭/雷達(dá)/LiDAR無(wú)法察覺的物體。帶有FIR的VGA熱傳感器對(duì)于高對(duì)比度成像具有0.05攝氏度的靈敏度，可以檢測(cè)到200米距離遠(yuǎn)的行人。FIR傳感器將能夠以30或60fps的速度跟蹤行人，并檢測(cè)前方道路。

FIR傳感器產(chǎn)生新的信息，可提高分割能力，并提供對(duì)車輛周圍環(huán)境的準(zhǔn)確分析

除了捕獲物體或材料的溫度之外，F(xiàn)IR攝像頭還可以捕獲物體的發(fā)射率——它是如何有效地散發(fā)熱量的。由于每個(gè)物體具有不同的發(fā)射率，因此FIR攝像頭可以感測(cè)其路徑中的任何物體。有了這些信息，攝像頭就可以創(chuàng)建一個(gè)可以獨(dú)立并安全運(yùn)行的道路視覺圖畫。

在低光靈敏度下幾種最先進(jìn)的攝像頭對(duì)比，采用FIR方案的Viper可以檢測(cè)到其他傳感技術(shù)無(wú)法檢測(cè)到的物體

憑借這項(xiàng)先進(jìn)的技術(shù)，F(xiàn)IR攝像頭可以克服復(fù)雜的天氣和照明條件帶來的障礙，而這是目前其他傳感技術(shù)無(wú)法克服的。

開源熱數(shù)據(jù)集

這是首款包含汽車，其他車輛，人員，自行車和狗的注釋的熱數(shù)據(jù)集，它能夠使開發(fā)人員使用FLIR汽車開發(fā)套件（ADKTM）開始測(cè)試并優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)（CNN）算法。當(dāng)它與普通可見光攝像機(jī)，激光雷達(dá)和雷達(dá)相結(jié)合時(shí)，熱傳感器數(shù)據(jù)與機(jī)器學(xué)習(xí)相結(jié)合，有助于創(chuàng)建更全面和冗余的系統(tǒng)，用于識(shí)別和分類道路物體，尤其是行人和其他生物。

“這個(gè)免費(fèi)的開源數(shù)據(jù)集，它為汽車界提供了一個(gè)重要的機(jī)會(huì)，使ADAS和自動(dòng)駕駛汽車在各種條件下更具魯棒性。”FLIR業(yè)務(wù)總裁說?！按送?，最近引人注目的自動(dòng)駕駛相關(guān)事故，顯示出對(duì)經(jīng)濟(jì)實(shí)惠的智能熱傳感器的明確需求。憑借數(shù)百萬(wàn)自動(dòng)駕駛汽車的潛力，F(xiàn)LIR熱傳感器成本將大幅降低，這將鼓勵(lì)大規(guī)模采用并最終實(shí)現(xiàn)更安全的自動(dòng)駕駛汽車?！?/p>

該數(shù)據(jù)集包括日間和夜間場(chǎng)景，包含汽車和其他車輛以及人員，自行車和狗的注釋。圖像可用于訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（CNN）來識(shí)別這些對(duì)象。FLIR表示，將熱圖像與激光雷達(dá)，雷達(dá)和可見光相機(jī)相結(jié)合可以創(chuàng)建更強(qiáng)大的算法，能夠更輕松地識(shí)別物體 ——特別是人和動(dòng)物。

車道線清晰，在夜間具有挑戰(zhàn)性的照明條件下，ADK與可見相機(jī)的對(duì)比

最新的FLIR ADK與NVIDIA DRIVE汽車平臺(tái)的開發(fā)者生態(tài)系統(tǒng)兼容。ADK采用高分辨率FLIR Boson，配備Intel?Movidius?Myriad?2視覺處理單元，是FLIR唯一的熱像儀模塊，采用先進(jìn)的低功耗多核視覺處理器，結(jié)構(gòu)緊湊，堅(jiān)固耐用汽車使用所需的包裝。

隨著世界向自動(dòng)駕駛汽車邁進(jìn)，這種熱傳感器的應(yīng)用可能將有助于汽車行業(yè)將自動(dòng)駕駛汽車所需的可靠性和冗余性。