汽車傳感器融合的現(xiàn)狀及面臨的挑戰(zhàn)

　　隨著越來越多的自動駕駛汽車難題出現(xiàn)，挑戰(zhàn)的難度越來越大。

　　汽車工業(yè)正在將傳感器融合作為應(yīng)對日益增加的自動駕駛汽車所需的復(fù)雜性和可靠性的最佳選擇，為汽車內(nèi)部如何管理和利用來自多個設(shè)備的數(shù)據(jù)的另一轉(zhuǎn)變奠定了基礎(chǔ)。

　　事實證明，向更大的自治邁進(jìn)比起初所期望的要復(fù)雜得多。不僅要求在長壽命內(nèi)具有零磁場故障的高可靠性，這些車輛還必須在所有天氣和駕駛條件下都安全，有保障并充分了解其周圍環(huán)境，且他們需要以可承受的成本進(jìn)行此操作。

　　因此，將傳感器融合作為前進(jìn)的方向成為了人們關(guān)注的焦點，它將多種多樣且互補(bǔ)的傳感方式融合在一起。

　　Synopsys的首席研發(fā)工程師PietervanderWolf說：“如果更仔細(xì)地研究ADAS以及它如何適合汽車，我們會發(fā)現(xiàn)許多子系統(tǒng)用于許多不同的功能。像雷達(dá)，激光雷達(dá)和攝像頭這樣的不同技術(shù)都在單個汽車上使用，例如，用于巡航控制的遠(yuǎn)程雷達(dá)，檢測其他交通的短程雷達(dá)以及所有雷達(dá)和基于攝像頭的子系統(tǒng)各種其他功能。由于汽車中有很多子系統(tǒng)，因此降低組件成本非常重要?！?/p>

　　圖1：傳感器融合。

　　每種傳感器模式都基于不同的物理原理，不同的目標(biāo)和不同的模式。它們都有不同的目的。其中一些重疊，但是它們都需要分別運(yùn)行以及一起運(yùn)行。

　　安森美半導(dǎo)體全球汽車戰(zhàn)略和業(yè)務(wù)發(fā)展副總裁約瑟夫·諾塔羅說：“雷達(dá)用于在相當(dāng)遠(yuǎn)的距離上檢測，定位和跟蹤物體。激光雷達(dá)使用光來測量范圍（可變距離），以生成其周圍區(qū)域的3D圖像。視覺傳感器捕獲穿過鏡頭的光子以生成“圖像”，該圖像不僅可以幫助檢測，而且可以識別物體，交通標(biāo)志和行人。實時操作對于AV/ADAS系統(tǒng)至關(guān)重要，因此主要挑戰(zhàn)之一是每個傳感器捕獲的數(shù)據(jù)的“同步”以提取準(zhǔn)確和相關(guān)的信息。每個傳感器用來捕獲信息的技術(shù)是不同的，因此必須深入了解每種模式的工作方式，以有效地“融合”這些多樣化的數(shù)據(jù)集?！?/p>

　　汽車行業(yè)在定義電氣/電子（E/E）體系結(jié)構(gòu)方面發(fā)生了重大變化。最初的想法是將超級計算機(jī)放在汽車中間，側(cè)面裝有啞傳感器。出于多種原因，事實證明這是不現(xiàn)實的。

　　Cadence汽車解決方案總監(jiān)RobertSchweiger表示：“在這種模型中，我們將轉(zhuǎn)移所有數(shù)據(jù)并在一個地方處理數(shù)據(jù)?！保咳藗兒芸煲庾R到傳感器還不在那里，汽車內(nèi)的接口，網(wǎng)絡(luò)連接并沒有為原始傳感器數(shù)據(jù)傳輸提供所需的帶寬。但是傳感器融合的最大挑戰(zhàn)是每個人都在做專有的解決方案。這就是為什么我們在生產(chǎn)中甚至還沒有達(dá)到3級自治的原因。每個人都在尋求不同的解決方案?！?/p>

　　一、邁向?qū)ο笕诤?/p>

　　汽車架構(gòu)的變化無處不在。

　　“一段時間以來，原始傳感器融合是個大問題?！?a href="http://ttokpm.com/tags/西門子/" target="_blank">西門子業(yè)務(wù)Mentor的自主和ADASSoC高級總監(jiān)DavidFritz說。“我如何將所有這些原始數(shù)據(jù)引入并集中處理，以便我可以進(jìn)行比較和對比并進(jìn)行這種處理？行業(yè)的發(fā)展方式，我跟索尼談不重要，跟OEM或一級或二級廠商談也不重要。他們的方向都是一致的。在過去的一兩年里，有一些突破性的進(jìn)展，使得一種全新的方法，這在工程上更有意義。

　　直到最近，人們的想法是，所有的東西都是計算復(fù)雜的，所有的東西都需要AI，這需要消耗大量的電力。

　　”當(dāng)時的想法是有大量的訓(xùn)練，所以用一堆NvidiaGPU或NPU或類似的東西來集中進(jìn)行訓(xùn)練是有意義的，“Fritz說?！爆F(xiàn)在發(fā)生的情況是，從那些高性能、高功率、高成本的解決方案轉(zhuǎn)向基于Arm的東西，這種東西非常小，非常低的功率，非常具有成本效益，從這些通用的AI推理引擎，轉(zhuǎn)向可以自動生成和定制的東西?，F(xiàn)在只要花1.5美元，就可以把所有的功率放在傳感器那里?！?/p>

　　有兩個原因說明這一點極為重要。

　　”首先，你有機(jī)會訓(xùn)練這些AI算法來處理該傳感器特有的情況，例如，一個傳感器可能會以不同于另一個傳感器的方式處理霧氣，所以一個可以處理所有可能性的中央計算機(jī)是沒有意義的。同樣，你必須考慮到隨著時間的推移，傳感器可能會退化的事實。例如，對于不同的相機(jī)傳感器，這一點可以做得非常不同，你可以訓(xùn)練你的算法來適應(yīng)這一點。在傳感器層面有很多事情，你要在傳感器層面進(jìn)行處理。“Fritz解釋說。

　　”第二，與其在汽車上通過一個大而重的網(wǎng)絡(luò)發(fā)送這些TB的原始數(shù)據(jù)，因為汽車對振動和其他東西很敏感，為什么我們不直接發(fā)送一個32字節(jié)的小數(shù)據(jù)包。這是不是比我們稱之為對象的中央計算過程有意義多了？這就變成了對象融合，而不是原始的傳感器融合。“

　　不過，一些OEM廠商認(rèn)為所有的AI算法都需要來自他們。一些傳感器供應(yīng)商認(rèn)為他們需要在傳感器中投入更多的處理能力。

　　”在以太網(wǎng)方面，現(xiàn)在我們已經(jīng)有了1Gbps的生產(chǎn)速度，但它可能仍然不夠快，無法連接高端雷達(dá)傳感器，“Schweiger說?！彼晕覀冃枰?.5到5，甚至10Gbps.同時，還有新發(fā)布的MIPIA-PHY規(guī)范版本，它提供了16Gbps的第一個化身?，F(xiàn)在有很多不同的事情在發(fā)生，人們需要弄清楚如何利用這些東西，以及到什么時候可以使用。“

　　另一個趨勢是向非常先進(jìn)的工藝技術(shù)發(fā)展，因為坐在中央計算單元中的SoC的復(fù)雜性是巨大的?！蔽覀兛吹皆诠杳娣e方面的巨大芯片。在處理能力方面，我們看到了巨大的芯片。我們看到在這些芯片上有各種你能想象到的接口。而且我們看到客戶正在向7納米、5納米發(fā)展?！癝chweiger說。

　　二、傳感器融合問題

　　傳感器融合中的一個大問題是競爭性的軟件架構(gòu)。這包括從autosar自適應(yīng)到Autoware等開源軟件，特斯拉、Waymo和戴姆勒的專有解決方案；以及Nvidia、英特爾的商業(yè)平臺。這還只是在架構(gòu)方面。

　　此外，還有來自Nvidia、英特爾、偉世通和Aptiv等公司的競爭性硬件平臺。這些公司都在打造自己的硬件平臺，所以目前沒有標(biāo)準(zhǔn)。這些公司都在創(chuàng)建一個平臺，并試圖贏得客戶。Nvidia被認(rèn)為是領(lǐng)先的，因為它在市場上已經(jīng)有一段時間了，隨著CUDA軟件環(huán)境的發(fā)展，它的平臺也在不斷發(fā)展。但是，雖然它被認(rèn)為是一個很好的原型系統(tǒng)，但對于生產(chǎn)來說，它可能過于昂貴。對于戴姆勒來說，它承諾明年的S級車將在量產(chǎn)中實現(xiàn)3級自動駕駛，自動駕駛平臺的成本可以在一輛昂貴的豪華車上攤銷。但對于價格較為適中的車輛來說，情況就不一樣了。

　　再加上專有的人工智能芯片、硬件加速器和接口標(biāo)準(zhǔn)，以及高功耗和傳感器的魯棒性，這些挑戰(zhàn)，自動汽車系統(tǒng)開發(fā)開始顯得更加艱巨。

　　1、數(shù)據(jù)問題

　　雷達(dá)和激光雷達(dá)數(shù)字信號處理芯片的另一個關(guān)鍵要素是互連，它在芯片內(nèi)不同處理元件之間來回傳送數(shù)據(jù)。在這里，目前也沒有標(biāo)準(zhǔn)，盡管需要標(biāo)準(zhǔn)。

　　“你可以說這是狂野的西部，但你也可以說有大量的創(chuàng)新在發(fā)生，”ArterisIP的營銷副總裁KurtShuler說?！睙o論是在傳感器芯片上，還是在ADAS大腦芯片上，都是如此。最終，你希望能夠用符號術(shù)語來解釋事情，并有一個中間層，一旦你得到這些數(shù)據(jù)，數(shù)據(jù)在傳輸?shù)倪^程中是用某種語言，雙方都能理解，即使他們來自兩個不同的公司。我不知道的是，要把一些東西從更多的原始數(shù)據(jù)格式轉(zhuǎn)換成有用的東西，需要多少處理。最終，必須要有一個數(shù)據(jù)格式。“

　　目前，數(shù)據(jù)的首要問題是數(shù)量，以及數(shù)據(jù)從更多來源產(chǎn)生的事實?！拔覀冾A(yù)計未來會發(fā)生的是，數(shù)據(jù)會以更快的速度，更高的分辨率出現(xiàn)，”Rambus公司的研究員和杰出發(fā)明家StevenWoo說?！拔覀冞€處于早期，有一些傳感器具有今天的分辨率。但很多人都在說，如果他們需要做出更好的決策，就需要更精細(xì)的分辨率的攝像頭，以及激光雷達(dá)和類似的東西。而我們需要更快地獲得這些數(shù)據(jù)?！?/p>

　　此外，為了做出好的決策，需要對數(shù)據(jù)進(jìn)行分析，有一個時間窗口?！霸谝粋€簡單的例子中，可能有一個攝像頭的視頻，只是看了看車前的東西?！盬oo說?！坝锌赡苁虑槭窃谄渌矬w的后面，被包括在一小部分秒的時間里。所以擁有更大的數(shù)據(jù)窗口有助于確定這些東西。所以問題其實是我們需要保留多少數(shù)據(jù)才能做出一個好的決定。而為了做出一個好的決定，數(shù)據(jù)基本上需要在內(nèi)存中，你需要能夠快速地流過它，以便分析它并找出發(fā)生了什么?！?/p>

　　2、場景問題

　　在所有這些復(fù)雜的情況下，傳感器需要正常工作。但一個傳感器只有在理想條件下的表現(xiàn)才是好的。

　　“這意味著在一個晴朗的夏天，它是最好的，”Ansys的杰出工程師LarryWilliams說。”然而，即使在理想的條件下，也有一個挑戰(zhàn)，那就是如何將雷達(dá)、激光雷達(dá)、攝像頭，也許還包括慣性導(dǎo)航，以及車輛中的某種加速度計的響應(yīng)結(jié)合起來。我們也要研究這些傳感器在實際環(huán)境中的退化問題。比如說一個雷達(dá)看到你周圍有多輛車。你要判斷它是一輛自行車還是一個騎自行車的人。系統(tǒng)會進(jìn)行比較，或者包括和融合攝像頭的信息，根據(jù)是否合理來做出判斷。

　　但是在各種場景下，會發(fā)生什么情況呢？比如說，我們都有這樣的經(jīng)歷，午后開車回家，西行，太陽就在眼前。陽光也在相機(jī)的眼睛里。這樣的情況下，攝像頭是會退化的，雷達(dá)就不一樣了。所以好的地方是，有多種方式的感應(yīng)。一個可以增強(qiáng)另一個降級的時候。但是在其他情況下，退化的情況會更多，尤其是在雨天。在雨中，整個環(huán)境的減弱就更大了。有雨滴積聚在相機(jī)的鏡頭上，這是會讓畫面變形的。不僅僅是天上的降水，還有另一輛剛開過的車，會把額外的雨滴吹到相機(jī)上。我們一直在探索的一件事是，在現(xiàn)實世界的環(huán)境中會發(fā)生什么，而不是在理想環(huán)境中。我們可以刺激理想環(huán)境。但隨著傳感器的退化，會如何降低系統(tǒng)的性能？在傳感器的理想環(huán)境下已經(jīng)很難做到了，但在現(xiàn)實世界的條件下就更糟糕了。“

　　這對傳感器融合有影響。

　　“我們對人工智能有很強(qiáng)的依賴性，比如說我們?nèi)绾卧谶@些車輛中訓(xùn)練一個人工智能引擎來理解它們的環(huán)境，我們可以做到。”Williams指出。”但從模擬的角度來看，我們研究的是如何去做這種訓(xùn)練。通常情況下，這是呈現(xiàn)給AI引擎，也就是車輛內(nèi)部的大腦。它被呈現(xiàn)出很多不同的案例，并努力識別或分類場景中的對象是什么。這樣反復(fù)做，最終會訓(xùn)練AI引擎里面的這個機(jī)器學(xué)習(xí)方法里面的神經(jīng)網(wǎng)絡(luò)來理解這些東西。你怎么可能訓(xùn)練它呢？你需要在測試環(huán)境中做成千上萬的案例，用仿真的方式。豐田的CEO說過，非常著名的一句話，就是需要走88億英里的路，你才能讓這些車輛足夠安全。要做到88億英里是不可能的。Waymo和特斯拉和其他公司把所有的數(shù)據(jù)放在一起，最后一份報告說他們只有大約600萬英里的記錄。你得做1000倍的數(shù)據(jù)才行。對于這種工程任務(wù)和軟件開發(fā)來說，了解模擬和分析的力量很重要?！?/p>

　　這不是關(guān)于駕駛的里程，而是關(guān)于可以捕捉到的場景，這包括了一大類永遠(yuǎn)不會被駕駛的場景。

　　“比方說，我正在測試一個道路場景，一邊是一輛加油車，另一邊是一輛校車，我們撞上了一塊冰。”Ansys公司高頻高級產(chǎn)品經(jīng)理ShawnCarpenter說。“我永遠(yuǎn)不會把它設(shè)置成駕駛它。但在模擬中，我可以粉碎我想要的許多位。我可以研究危及生命或破壞財產(chǎn)的場景，而這些場景我永遠(yuǎn)不會接近于獲得任何形式的模擬許可，我可以真正研究主動安全系統(tǒng)的模擬，而這是我在路上永遠(yuǎn)無法做到的。”

　　3、安全問題

　　安全性是越來越多的自主汽車的另一個方面，也是備受關(guān)注的一個方面，因為驅(qū)動系統(tǒng)在整個生命周期內(nèi)必須連接到互聯(lián)網(wǎng)上進(jìn)行空中更新。將安全和保障結(jié)合起來，這一點就更加迫切需要做好。

　　“僅僅是安全本身或安全本身就會留下一個很大的漏洞，”Mentor的Fritz說?！碑?dāng)我們理解了可靠性和安全性之后，現(xiàn)在安全領(lǐng)域最大的變化是，人們終于明白了安全不是一個軟件問題。真正的安全是一個硬件問題。我們必須能夠證明，從重要信息和外界沒有物理路徑--然而里面運(yùn)行的軟件確實需要以安全的方式訪問這些信息。大多數(shù)黑客是通過堆棧溢出，或者這樣或那樣的機(jī)制進(jìn)入的。這些很容易被關(guān)閉。但這并不能阻止他們發(fā)現(xiàn)一些沒有人考慮過的東西，如果外界和這些專有信息之間沒有物理上的聯(lián)系，他們就永遠(yuǎn)無法獲得這些信息。這里需要的是必須發(fā)生在SoC本身，以保證外界之間的隔離，在任何密碼或密鑰或類似的東西需要一個IP安全部分?！?/p>

　　這也是為什么所有的東西都被整合到SoC上的部分原因，但這種整合也帶來了自己的問題。”一個習(xí)慣于構(gòu)建100個ECU全部基于微控制器的系統(tǒng)的客戶如何向整合系統(tǒng)過渡？“Cadence的Schweiger問道。”SoC提供了很多機(jī)會來整合系統(tǒng)，使其更小、更省電、更高性能，所以有所有這些選擇。但如果你從未設(shè)計過SoC，這意味著你必須建立起真正了解SoC設(shè)計或架構(gòu)的團(tuán)隊。當(dāng)然，你可以與服務(wù)公司合作構(gòu)建芯片，但需要有人來定義需要什么，必須有一定的理解。這就是為什么會有各種不同的方法。總有車廠聘請芯片設(shè)計師做自己的芯片。也有其他的整車廠，可能在這個領(lǐng)域比較不愿意。但到了最后，如果你真的認(rèn)真對待自動駕駛，很可能需要去做芯片設(shè)計?！?/p>

　　他們還需要了解如何在這些芯片中內(nèi)置安全功能?！拔覀冊絹碓蕉嗟乜吹?，人們已經(jīng)明白了安全的重要性，安全是其中之一，你不能設(shè)計好你的系統(tǒng)，然后試著去改造它，并希望有一個真正安全的環(huán)境。因此，當(dāng)人們現(xiàn)在考慮芯片的架構(gòu)時，它確實已經(jīng)成為了一個首要的設(shè)計要求，你不僅要考慮你的處理器核心要做什么，你要如何給它提供數(shù)據(jù)，以及你要如何來回移動這些數(shù)據(jù)，還要考慮安全的綜合觀點。”

　　但即使盡了最大的努力，汽車安全總是會受到威脅。

　　“有時候我們說，我們并不是要模擬這些現(xiàn)實世界中可能發(fā)生的事情，因為我們只是認(rèn)為人們沒有技能去做。”TortugaLogic的高級硬件安全工程師AlricAlthoff說。“而如果有人確實有這個技能，那就會讓他們更多地處于防御、國防類的思維方式。我從那些正在建立和訓(xùn)練模型來做車輛檢測、自由空間檢測、邊界檢測的人那里看到的是，他們的帽子他們不是在談?wù)撁黠@的事情，比如失去一個傳感器，或者失去一個模式，以及模型如何響應(yīng)。如果你給了模型控制權(quán)，而你不了解模型是如何思考這個世界的，你就無法真正提出這些問題?；蛘呶覀冞€沒有開發(fā)出技術(shù)來詢問模型關(guān)于它的決定。我們怎么知道它將如何回應(yīng)？這類事情真的很重要?！?/p>

　　這在傳感器融合中變得尤為復(fù)雜?！霸趥鞲衅魅诤现?，隨著我們涉及更多的模式，保真度不斷提高，還有一個傳感器獨立性的概念，”Althoff說?！拔覀冊趺茨茏屛覀?nèi)诤系膫鞲衅魍蝗婚g完全獨立呢？如果突然間它們之間的相互依賴性被如此鎖定，你失去了一個，突然間它就會開始在車輛中表現(xiàn)得非常不穩(wěn)定，這不是好事。我們真的要能夠同時容納融合和獨立，并決定臨界點在哪里，因為在雨和霧中，視覺傳感器會失去敏銳度。激光雷達(dá)可能不會。激光雷達(dá)知道現(xiàn)在它是唯一的視覺傳感器嗎？系統(tǒng)知道嗎？它是如何反應(yīng)的？它是否向激光雷達(dá)發(fā)出信號，告訴它進(jìn)入超高保真模式或類似的東西？也許像備胎一樣：它不可能一直這樣運(yùn)行。”

　　這是物理方面的問題。在車內(nèi)，數(shù)字硬件需要保護(hù)和防篡改?！辈迦胲囕v的CAN總線，只需閃現(xiàn)固件就可以輕松得令人發(fā)指，所以還有一個方面，如果有人換了傳感器怎么辦，“他指出?！眰鞲衅魇欠裨谙到y(tǒng)中進(jìn)行自我認(rèn)證？系統(tǒng)對傳感器的要求是什么，說：‘你現(xiàn)在的完整性是什么？攝像機(jī)的鏡頭是不是壞了？它可能還能正常工作，但在那個關(guān)鍵時刻，你會失去一些真正重要的東西。所以物理世界和數(shù)字世界之間有一種相互作用，我們必須克服在不同的孤島中工作。我們都需要進(jìn)入同一個房間，互相交流?！?/p>

　　模塊化設(shè)計對事情沒有幫助?！痹陔娮釉O(shè)計中，我們已經(jīng)經(jīng)典地設(shè)計了模塊化，我們設(shè)計了一個分離的關(guān)注點，比如’除了通過這個狹小的接口，這塊不會影響另一塊，‘“他說?！钡覀冋谶M(jìn)入一個整體驗證和事物之間的相互關(guān)系正在成為一個真正的焦點的世界。我們真的需要超越我們只關(guān)注模塊化的思維模式，擁有雙重視角，我們在經(jīng)典方法和新技術(shù)之間來回穿梭，甚至可能通過人工智能的增強(qiáng)，幫助我們找到我們所忽視的東西，這包括安全。在神經(jīng)網(wǎng)絡(luò)或決策函數(shù)的訓(xùn)練過程中，需要一個對抗性強(qiáng)的模型。我們需要預(yù)測到這些的替換，我們需要預(yù)測到人們會試圖覆蓋這些。即使是家庭愛好者也會嘗試用新的神經(jīng)網(wǎng)絡(luò)來覆蓋他們汽車中的神經(jīng)網(wǎng)絡(luò)，使他們能夠從汽車中獲得更高的性能?！?br /> 責(zé)任編輯人：CC