AI提高自動駕駛夜視能力，檢測黑夜、霧天場景和白天一樣
環(huán)境感知是自動駕駛領(lǐng)域非常重要的一項任務。特別是在夜晚或者極端天氣的情況下，現(xiàn)有的視覺感知和激光雷達兩種方式對環(huán)境的感知和識別都效果不佳。這給自動駕駛等高風險應用帶來了挑戰(zhàn)。 有些研究提出使用熱像儀來彌補 LiDAR 和視覺攝像頭的缺陷。但由于物體不斷發(fā)出熱輻射，粒子會擴散到附近的環(huán)境中，導致熱成像變得模糊、無紋理，形成「鬼影（ghost）」，使這種方法難以實際應用。 現(xiàn)在，一種新的熱成像技術(shù)可以不受霧、煙和黑暗等視覺障礙的影響，使得自動駕駛汽車在黑暗中也能準確感知環(huán)境。如下圖所示，與以前的熱成像（上）相比，新方法可以創(chuàng)建更清晰、更有質(zhì)感的夜間圖像（中和下）。
這種新方法是由來自普渡大學等機構(gòu)的研究者提出，他們開發(fā)了一種新的系統(tǒng)， 稱為「熱輔助探測和測距系統(tǒng)（HADAR）」。借助該系統(tǒng)，我們可以在環(huán)境不佳的情況下獲得精細的環(huán)境圖像，細節(jié)與精度和傳統(tǒng)相機在明亮日光下拍攝的圖像相當。研究論文已登上 Nature 封面。
論文地址：https://www.nature.com/articles/s41586-023-06174-6 方法介紹 HADAR 能夠穿透光學雜波來檢測物體的溫度、材料成分和熱輻射模式，而不受霧、煙和黑暗等視覺障礙的影響。因此，無論一天中的時間或環(huán)境如何，HADAR 基于對深度和紋理的渲染都能創(chuàng)建極其詳細、清晰的圖像。
HADAR 與「鬼影」熱成像。 為了訓練 HADAR 系統(tǒng)，研究人員在夜間使用先進的熱成像相機和能夠顯示電磁波譜中能量輻射的成像傳感器，在戶外捕獲數(shù)據(jù)。他們還創(chuàng)建了對戶外環(huán)境的計算機模擬，以便進行額外的 AI 訓練。 普渡大學電氣與計算機工程系教授、本文作者之一 Zubin Jacob 表示，「HADAR 學會了探測物體并估計與這些物體的距離，其精度是僅依靠傳統(tǒng)夜視技術(shù)的 10 倍。而且，HADAR 在夜間的性能與傳統(tǒng)物體檢測系統(tǒng)在白天的性能相當?！?/span> 「聲納、雷達和激光雷達等會發(fā)出信號并返回反射，以推斷物體是否存在及其與物體的距離。除了相機所擁有的視覺能力之外，它們還提供了場景的額外信息，尤其是在環(huán)境照明較差的情況下，」Jacob 表示，「然而，HADAR 有著根本的不同，它利用不可見的紅外輻射來重建夜間場景，清晰度就像白天一樣?！?/span> 在沒有反射光的黑暗環(huán)境中， 傳統(tǒng)攝像頭無法很好地捕捉圖像，雷達和激光雷達也容易受到干擾。 熱成像技術(shù)通過捕獲環(huán)境中物體輻射的紅外光來重建場景。如下圖所示，新研究提出的 HADAR 方法改變了機器感知的方式：
下圖展示了一個 HADAR 的應用實例。其中有一位真人和一個人形紙板。RGB 光學成像和稀疏 LiDAR 點云都無法區(qū)分真人和人形紙板，并且 LiDAR 還難以檢測到夜間條件下的車輛。而 HADAR 檢測到相應材料區(qū)域（皮膚?+?織物）中的人，將其與紙板清楚地區(qū)分開來，克服了「幻象制動」問題。
?下圖 6 展示了 HADAR 測距在夜間擊敗了最先進的熱測距技術(shù)：
由于該方法能夠確定場景中的物體是由什么組成的，因此與傳統(tǒng)成像技術(shù)相結(jié)合，即使在白天，HADAR 也可以提供有關(guān)場景的獨特信息。
原文標題：AI提高自動駕駛夜視能力，檢測黑夜、霧天場景和白天一樣
文章出處：【微信公眾號：智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
物聯(lián)網(wǎng)
+關(guān)注
關(guān)注
2901文章
44084瀏覽量
370294
原文標題：AI提高自動駕駛夜視能力，檢測黑夜、霧天場景和白天一樣
文章出處：【微信號：tyutcsplab，微信公眾號：智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
基于場景的自動駕駛驗證策略
可選方案是將實際交通狀況做出總結(jié)生成具有高度代表性的交通場景，通過仿真分析自動駕駛系統(tǒng)在這些場景上的安全性。然而交通場景中元素的復雜性與失敗事件的罕見性導致難于準確分析系統(tǒng)失敗的概率和
RISC-V適合什么樣的應用場景
解決方案，適用于邊緣計算、智能攝像頭、智能音箱等場景。
靈活性：RISC-V的開放性使得其能夠更容易地與各種AI框架和算法集成，滿足不同的AI應用需求。
4. 自動駕駛和汽車電子
定制
發(fā)表于 07-29 17:16
FPGA在自動駕駛領(lǐng)域有哪些優(yōu)勢?
FPGA（Field-Programmable Gate Array，現(xiàn)場可編程門陣列）在自動駕駛領(lǐng)域具有顯著的優(yōu)勢，這些優(yōu)勢使得FPGA成為自動駕駛技術(shù)中不可或缺的一部分。以下是FPGA在自
發(fā)表于 07-29 17:11
FPGA在自動駕駛領(lǐng)域有哪些應用？
是FPGA在自動駕駛領(lǐng)域的主要應用：
一、感知算法加速
圖像處理：自動駕駛中需要通過攝像頭獲取并識別道路信息和行駛環(huán)境，這涉及到大量的圖像處理任務。FPGA在處理圖像上的運算速度快，可并行性強，且功耗
發(fā)表于 07-29 17:09
Nullmax正式推出新一代自動駕駛技術(shù)Nullmax Intelligence
7月16日，Nullmax在上海舉辦“AI無止境，智變新開端”2024技術(shù)發(fā)布會，正式推出新一代自動駕駛技術(shù)Nullmax Intelligence（簡稱“NI”）。新技術(shù)著重于打造全場景
標貝數(shù)據(jù)采集標注在自動駕駛場景中落地應用實例
AI數(shù)據(jù)服務作為人工智能和機器學習的基礎(chǔ)，在自動駕駛領(lǐng)域中有著重要地位。與其他人工智能應用場景相比，自動駕駛的落地場景相對復雜，想要讓汽車本
未來已來，多傳感器融合感知是自動駕駛破局的關(guān)鍵
/L4級自動駕駛賽跑的元年。
馬斯克評論FSD 12.3版本的左轉(zhuǎn)彎操作就像人類司機一樣。如果FSD 12.3版本成功，將基本顛覆目前市場上的智能駕駛技術(shù)路線?；凇皵?shù)據(jù)/算法/算力”的無人駕
發(fā)表于 04-11 10:26
NanoEdge AI的技術(shù)原理、應用場景及優(yōu)勢
硬件設計則是為了確保設備在執(zhí)行這些任務時能夠保持低能耗，從而提高其續(xù)航能力。
2、應用場景
NanoEdge AI 可以廣泛應用于各種物聯(lián)網(wǎng)設備和傳感器，如智能家居、工業(yè)
發(fā)表于 03-12 08:09
自動駕駛測試場景深度解析
在自動駕駛測試場景標準化過程中，實現(xiàn)不同采集平臺和技術(shù)方案的兼容性以及數(shù)據(jù)庫數(shù)據(jù)的互通共享，主要可以從以下幾個方面著手。
發(fā)表于 02-29 10:12
?871次閱讀
華為自動駕駛技術(shù)怎么樣？
? ? ? 自動駕駛技術(shù)是當今世界汽車產(chǎn)業(yè)的重要發(fā)展方向。作為全球領(lǐng)先的科技企業(yè)，華為在自動駕駛技術(shù)方面也進行了深入的研發(fā)和創(chuàng)新。 一、華為自動駕駛技術(shù)的實力 華為在
如何搞定自動駕駛3D目標檢測！
可用于自動駕駛場景下基于圖像的3D目標檢測的數(shù)據(jù)集總結(jié)。其中一些數(shù)據(jù)集包括多個任務，這里只報告了3D檢測基準（例如KITTI 3D發(fā)布了超過
發(fā)表于 01-05 10:43
?541次閱讀
獲得TüV萊茵自動駕駛系統(tǒng)China-mark認證，九識智能加快城市多場景落地
近日TüV萊茵宣布：九識Z5智能車成為全球首個順利通過ISO22737白天和黑夜場景測試的自動駕駛產(chǎn)品、并獲得TüV萊茵L4級低速自動駕駛系統(tǒng)性能測試China-mark認證，這意味著
LabVIEW開發(fā)自動駕駛的雙目測距系統(tǒng)
精確的距離信息，從而提高車輛的主動安全性能。這一系統(tǒng)的開發(fā)和應用有望在自動駕駛領(lǐng)域取得更多突破性進展。
?
這是LabVIEW的一個功能介紹，更多的使用方法與開發(fā)案例，歡迎登錄官網(wǎng)，了
發(fā)表于 12-19 18:02
中美歐——車企的自動駕駛發(fā)展動態(tài)
福特將BlueCruise技術(shù)引入德國，在與Argo.AI退出無人出租車業(yè)務后，福特表示將專注于為私人用車開發(fā)不同的L2+和L3應用。與機器出租車業(yè)務一樣，福特可能不會自主開發(fā)SDS（自動駕駛系統(tǒng)），未來的合作伙伴尚未確定。
工商網(wǎng)監(jiān)
評論