FPGA對(duì)自動(dòng)駕駛的發(fā)展有什么作用

現(xiàn)在，我們可以在家里跟我們的虛擬語音助手對(duì)話，以獲取天氣、播放音樂或者接聽電話。拿起我們的智能手機(jī)，只需面向前置攝像頭就能完成解鎖，跟它對(duì)話就能獲得導(dǎo)航。由于人工智能（AI），特別是基于神經(jīng)網(wǎng)絡(luò)（Neural Networks，NN）的算法，生活正變得更輕松更方便。將人工智能應(yīng)用于汽車又會(huì)如何？召喚來的出租車不再需要司機(jī)？自動(dòng)駕駛汽車送我們上班的途中，我們還可以瀏覽電子郵件？是的，但在消費(fèi)類應(yīng)用中，它需要特定的計(jì)算硬件。

在Yole最近發(fā)布的《汽車人工智能計(jì)算技術(shù)及市場(chǎng)趨勢(shì)-2019版》報(bào)告中，將自動(dòng)駕駛汽車市場(chǎng)分為兩個(gè)部分：一種是我們所熟悉的汽車，正逐漸整合越來越多的功能，使其越來越自動(dòng)化；另一種是無人駕駛汽車，在低速和特定區(qū)域已經(jīng)實(shí)現(xiàn)完全自動(dòng)控制，在傳感器和計(jì)算硬件方面多種方案正在競(jìng)爭(zhēng)。據(jù)麥姆斯咨詢介紹，未來10年，隨著無人駕駛出租車和穿梭巴士的發(fā)展，該市場(chǎng)將成為汽車人工智能應(yīng)用的主要營(yíng)收來源，預(yù)計(jì)2028年汽車人工智能計(jì)算市場(chǎng)的總營(yíng)收將達(dá)到90億美元。2019年，首批符合“ADAS 3級(jí)”標(biāo)準(zhǔn)的汽車將上路，人工智能將進(jìn)入ADAS 2級(jí)汽車，取代傳統(tǒng)的計(jì)算機(jī)視覺算法。Yole預(yù)計(jì)2019年ADAS計(jì)算市場(chǎng)規(guī)模將達(dá)到6300萬美元，而到了2028年這一數(shù)字將達(dá)到近37億美元。

汽車中的視覺處理器

現(xiàn)場(chǎng)可編程門陣列（FPGA）是實(shí)現(xiàn)這些愿景的特定計(jì)算硬件之一。為了讓我們的讀者更好地了解這項(xiàng)技術(shù)，Yole軟件和計(jì)算市場(chǎng)與技術(shù)分析師Yohann Tschudi博士采訪了賽靈思（Xilinx）高級(jí)總監(jiān)Willard Tu先生，與其交流了FPGA在未來自動(dòng)駕駛中的關(guān)鍵作用。

Yohann Tschudi（以下簡(jiǎn)稱YT）：您好！首先請(qǐng)您介紹一下自己以及在Xilinx負(fù)責(zé)的主要業(yè)務(wù)。

Willard Tu（以下簡(jiǎn)稱WT）：我負(fù)責(zé)Xilinx的全球汽車業(yè)務(wù)。我在汽車行業(yè)從業(yè)超過25年，在Xilinx之前我曾先后在Arm（現(xiàn)被軟銀收購）、NEC（現(xiàn)為瑞薩）、National Semi（現(xiàn)為TI）和摩托羅拉（現(xiàn)為NXP）工作。正如您所看到的，半導(dǎo)體產(chǎn)業(yè)增長(zhǎng)放緩，而汽車產(chǎn)業(yè)更是遭遇萎縮。

YT：業(yè)界一直認(rèn)為FPGA不好做，很難找到開發(fā)人員，通常在教育或非常特定的用例中應(yīng)用，您認(rèn)為這一形象正在如何改變？為什么會(huì)出現(xiàn)改變？

WT：主要在于三個(gè)方面的原因：量、創(chuàng)新和快速應(yīng)變。從量的角度來說，半導(dǎo)體公司希望有足夠的量來填滿其晶圓廠的產(chǎn)能。但是，高級(jí)駕駛輔助系統(tǒng)（ADAS）或自動(dòng)駕駛等創(chuàng)新功能，與動(dòng)力總成、車身控制、安全氣囊ECU等應(yīng)用的芯片不在一個(gè)量級(jí)上。因此，市場(chǎng)難以創(chuàng)建高度集成且成本優(yōu)化的解決方案。更不利的是，半導(dǎo)體公司正變得越來越少，而自己擁有晶圓廠的公司更少。必須更加注重創(chuàng)新和差異化。因此，當(dāng)ADAS或自動(dòng)駕駛產(chǎn)業(yè)仍在不斷增長(zhǎng)時(shí)，F(xiàn)PGA成為它們的完美選擇。

汽車人工智能市場(chǎng)價(jià)值鏈及相互影響

創(chuàng)新和快速應(yīng)變都受益于FPGA的適應(yīng)性。一項(xiàng)技術(shù)處于創(chuàng)新階段時(shí)，是沒有標(biāo)準(zhǔn)制造方法的。ADAS和自動(dòng)駕駛正處于這一階段。安全氣囊ECU已經(jīng)成熟，基本上供應(yīng)商彼此之間都具有相同的功能和內(nèi)容，但對(duì)于一種新興技術(shù)來說，情況完全不同。

FGPA可以實(shí)現(xiàn)創(chuàng)新，適應(yīng)需求或人工智能技術(shù)的快速變化，并在提供這些優(yōu)勢(shì)的同時(shí)兼具成本效益。

YT：請(qǐng)您解讀一下Xilinx是如何選擇進(jìn)入汽車市場(chǎng)，尤其是ADAS市場(chǎng)的？

WT：Xilinx早在14年前就進(jìn)入了汽車市場(chǎng)。目前，全球汽車系統(tǒng)中應(yīng)用了超過1.6億顆Xilinx芯片，其中約有5500萬顆專門用于ADAS。

ADAS和自動(dòng)駕駛需要更高的性能來感知所有駕駛條件下車輛周圍的環(huán)境狀況。Xilinx靈活且可重新編程的汽車平臺(tái)，是滿足這些需求的理想解決方案。

YT：請(qǐng)您介紹一下Xilinx的硬件解決方案和軟件堆棧。

WT：FPGA技術(shù)的優(yōu)點(diǎn)在于，它對(duì)于工程師來說就像一張空白表，可以創(chuàng)建自己的硬件和高度差異化的解決方案。跟我們廣受歡迎的Zynq MPSoC ZU3相同的SoC，目前正被用于前視攝像頭、360°環(huán)視系統(tǒng)以及駕駛員監(jiān)控系統(tǒng)，它還被設(shè)計(jì)用于激光雷達(dá)（LiDAR）和4D成像雷達(dá)。我們的SoC就像是一種“變色龍”，它們可以適應(yīng)許多不同的應(yīng)用需求。

Xilinx選擇從ARM授權(quán)處理器架構(gòu)，這與我們的汽車客戶群非常一致。幾乎所有主要汽車操作系統(tǒng)供應(yīng)商都將其產(chǎn)品移植到了Xilinx芯片，包括eSOL、Mentor、Greenhills、Vector、Micrium、QNX、Sysgo、Windriver等。值得注意的是，這些包括了標(biāo)準(zhǔn)的汽車操作系統(tǒng)和虛擬化管理程序。對(duì)于AUTOSAR，Xilinx提供了一個(gè)微控制器抽象層，使AUTOSAR OS提供商能夠?qū)⑵洚a(chǎn)品移植到Xilinx芯片。

Xilinx還為其產(chǎn)品中的元件提供固件，例如平臺(tái)管理單元。

YT：就您看來，在ADAS和自動(dòng)駕駛領(lǐng)域采用FPGA有什么利弊？

WT：在ADAS和自動(dòng)駕駛等應(yīng)用中使用Xilinx技術(shù)的優(yōu)勢(shì)，可能會(huì)根據(jù)客戶的具體目標(biāo)而有所不同。從嚴(yán)格的芯片性能角度來看，創(chuàng)建并行化、同步處理的能力可以降低延遲和功耗。對(duì)于ADAS和自動(dòng)駕駛應(yīng)用，更低的延遲顯然至關(guān)重要。

低功耗也意味著更少的熱負(fù)荷，熱負(fù)荷對(duì)于安裝在擋風(fēng)玻璃、車頂內(nèi)襯和其它高環(huán)境溫度區(qū)域的模塊可能是個(gè)問題。通過并行計(jì)算，時(shí)鐘可以運(yùn)行得更慢，從而降低了通量的動(dòng)態(tài)功耗。

說到通量，可以提到芯片的每秒理論運(yùn)行次數(shù)，但對(duì)于客戶來說真正的價(jià)值在于計(jì)算引擎的利用率，即理論性能和實(shí)際性能之間的差異。Xilinx可編程邏輯包含大量的路由鏈路以及大量的小型存儲(chǔ)。這些資源的組合使設(shè)計(jì)人員能夠?yàn)槠溆?jì)算引擎創(chuàng)建定制的數(shù)據(jù)饋送網(wǎng)絡(luò)，以獲得更高的利用水平。

Xilinx汽車芯片的優(yōu)勢(shì)遠(yuǎn)遠(yuǎn)超越了我們所討論的性能參數(shù)。首先，Xilinx可編程邏輯為客戶提供了高度的靈活性，以適應(yīng)ADAS和自動(dòng)駕駛等新興應(yīng)用領(lǐng)域不斷變化的需求。利用改進(jìn)的接口標(biāo)準(zhǔn)、算法創(chuàng)新和新的傳感器技術(shù)，都需要適應(yīng)性強(qiáng)的平臺(tái)，不僅可以支持軟件更改，還可以支持硬件更改，而這正是Xilinx芯片的優(yōu)勢(shì)所在。

其次，是可擴(kuò)展性。在我們的特定Xilinx產(chǎn)品系列中始終提供一組可擴(kuò)展的芯片。這些芯片改變了可編程邏輯的數(shù)量，大多采用引腳兼容的封裝。這意味著開發(fā)人員可以創(chuàng)建單個(gè)ECU平臺(tái)來承載低、中、高版本的ADAS功能包，并根據(jù)需要通過選擇所需的最小密度芯片來縮放成本。

最后，對(duì)于一些客戶而言最重要的是，Xilinx芯片允許開發(fā)人員創(chuàng)建獨(dú)特的差異化處理解決方案，這些解決方案可以針對(duì)特定應(yīng)用或傳感器進(jìn)行優(yōu)化。這對(duì)于ASSP芯片來說是無法實(shí)現(xiàn)的，即使是那些提供專用加速器的芯片，它們的使用方式也受到限制，而且基本上可以提供給所有競(jìng)爭(zhēng)對(duì)手。Xilinx的長(zhǎng)期客戶已經(jīng)創(chuàng)建了只有他們可以訪問的高價(jià)值IP庫，并且這些功能可以被公司的各種產(chǎn)品使用。

至于缺點(diǎn)，其中大部分來自對(duì)成本的歷史成見。許多人認(rèn)為FPGA技術(shù)可以用于原型設(shè)計(jì)，但不適用于量產(chǎn)。從90 nm節(jié)點(diǎn)開始，對(duì)于大批量汽車應(yīng)用，Xilinx的芯片就已經(jīng)極具成本效益，如若不然，就不會(huì)有超過1.6億顆Xilinx芯片在該行業(yè)獲得應(yīng)用。

YT：人工智能現(xiàn)在隨處可見，它正在迅速進(jìn)入人們的日常生活。在您看來，人工智能將如何改變汽車市場(chǎng)？

WT：人工智能，更具體來說，神經(jīng)網(wǎng)絡(luò)提供了更低的開發(fā)成本，并降低了對(duì)硬件的性能要求，這也意味著更低的系統(tǒng)成本。我們已經(jīng)看到，在前視攝像頭和駕駛員監(jiān)控等系統(tǒng)中，許多傳統(tǒng)計(jì)算機(jī)視覺（CV）方案對(duì)性能的要求比神經(jīng)網(wǎng)絡(luò)更高。如果要實(shí)現(xiàn)大規(guī)模應(yīng)用，我相信神經(jīng)網(wǎng)絡(luò)將發(fā)揮更大的作用。

YT：Yole分析師將自動(dòng)駕駛汽車市場(chǎng)分為兩個(gè)部分：一是采用融合傳感器計(jì)算平臺(tái)的ADAS車輛；一是無人駕駛車輛，使用已經(jīng)完全相當(dāng)于數(shù)據(jù)中心平臺(tái)的計(jì)算機(jī)系統(tǒng)。在您看來，對(duì)于受法規(guī)和低利潤(rùn)限制的ADAS領(lǐng)域，原始設(shè)備制造商最傾向遵循的趨勢(shì)是什么？考慮到這可能是一個(gè)低價(jià)格、大批量市場(chǎng)，你們?nèi)绾握紦?jù)一席之地？

WT：對(duì)于汽車市場(chǎng)，成本始終是一個(gè)重要因素。目前的重點(diǎn)是創(chuàng)新，但隨著時(shí)間的推移（未來十年內(nèi)），成本將成為一個(gè)更重要的因素。

ADAS需要可擴(kuò)展性，沒有萬金油式的產(chǎn)品。360°環(huán)視就是一個(gè)很好的例子，可以帶來的功能包括鳥瞰圖、物體探測(cè)、物體分類、自動(dòng)泊車輔助、尾門監(jiān)控和泊車輔助等。添加這些功能，將需要更多復(fù)雜的SoC或更具可擴(kuò)展性的FPGA。

為什么車載語音控制需要人工智能？

YT：那么，Xilinx如何定位無人駕駛應(yīng)用？

WT：我們非常關(guān)注人工智能以及數(shù)據(jù)聚合、預(yù)處理和分發(fā)（DAPD）。DAPD功能與不同的傳感器模態(tài)交互，以在處理單元和處理單元內(nèi)的加速器之間執(zhí)行信息的基本處理、路由和切換。

近期我們與采埃夫（ZF）的公告，突出了我們技術(shù)的能力超越了DAPD功能，現(xiàn)在可用于人工智能計(jì)算。

YT：如今，已經(jīng)有一些無人駕駛出租車和穿梭巴士上路行駛，但是它們?nèi)蕴幱谠囼?yàn)階段，還不是一種常見的出行方式。您預(yù)計(jì)這類無人駕駛車輛最快會(huì)在什么時(shí)候廣泛上路？影響應(yīng)用的主要障礙有哪些？法規(guī)？意外？

WT：還有很多障礙，不過，我想先問您，您有沒有搭乘過無人駕駛出租車？我親身搭乘過許多客戶的自動(dòng)駕駛汽車，可以說，它們只需要再多一點(diǎn)“輔助”或更多一些“時(shí)間”。

■ 再多一點(diǎn)“輔助”意味著，可以嵌入本地化高清地圖或基礎(chǔ)設(shè)施數(shù)據(jù)的沙箱運(yùn)行區(qū)域；

■ 更多一些“時(shí)間”表示，進(jìn)一步降低成本，而這又需要能夠看到更多的量，這有點(diǎn)像先有雞還是現(xiàn)有蛋的問題。

我也認(rèn)為政府會(huì)限制應(yīng)用，以盡量降低自動(dòng)駕駛可能帶來的社會(huì)影響和安全問題。但當(dāng)我們進(jìn)入大規(guī)模部署階段時(shí)，這才會(huì)是一個(gè)問題。不過，現(xiàn)在我們還沒有到這個(gè)階段。

YT：最后，讓我們談?wù)勎磥?。Xilinx預(yù)計(jì)在ADAS和自動(dòng)駕駛車輛中，傳感器和攝像頭的數(shù)量會(huì)達(dá)到多少？FPGA能夠處理來自這些傳感器的巨大數(shù)據(jù)流嗎？

WT：這對(duì)Xilinx來說是一個(gè)很大的優(yōu)勢(shì)。正如我之前提到的，我們的高價(jià)值一部分就體現(xiàn)在DAPD。這使我們能夠適應(yīng)傳感器的數(shù)量，不同類型的傳感器，以及每種傳感器類型的不同接口。并且，這種適應(yīng)能力是動(dòng)態(tài)的，我們可以在產(chǎn)品生命周期中游進(jìn)行調(diào)整。這對(duì)于無人駕駛出租車來說非常有用，可以在其生命周期中進(jìn)行完整的硬件改造。

YT：您認(rèn)為Xilinx應(yīng)該采取哪些措施來保持業(yè)務(wù)競(jìng)爭(zhēng)力，特別是對(duì)于ASIC或傳感器融合平臺(tái)？

WT：構(gòu)建硅基ASIC的成本更高，但盡管如此，我們還是有一個(gè)秘密武器，動(dòng)態(tài)函數(shù)交換（Dynamic Function eXchange）。這是FPGA技術(shù)所獨(dú)有的。它使我們可以在設(shè)備被用于交換互斥的功能時(shí)重新編程功能。例如，當(dāng)處于高速公路駕駛模式時(shí)，F(xiàn)PGA可以作為前置攝像頭設(shè)計(jì)，但是當(dāng)處于低速模式時(shí)，可以將相同的FGPA重新編程為自動(dòng)泊車/360°環(huán)視影像。這意味著一個(gè)FPGA可以替換兩個(gè)ASIC。

這還只是一個(gè)開始，想象一下我們還可以利用艙內(nèi)監(jiān)控做些什么。

YT：您對(duì)2030~2035年的車輛有何預(yù)期？

WT：到了2030~2035年，自動(dòng)駕駛車隊(duì)將作為第一批應(yīng)用開始普及。對(duì)于個(gè)人擁有的車輛，我認(rèn)為可能會(huì)看到一些超高端的自動(dòng)駕駛汽車，但還沒有到大規(guī)模量產(chǎn)的階段。

YT：您認(rèn)為我們的孩子還需要駕照嗎？

WT：呵呵，這個(gè)我們只能等待時(shí)間揭曉答案了。不過，新生代們肯定更關(guān)心他們的智能手機(jī)，而不是什么時(shí)候考駕照。

YT：對(duì)于Xilinx，您還有什么需要補(bǔ)充的嗎？

WT：如果您在ADAS或自動(dòng)駕駛方面還沒有跟Xilinx合作，那么請(qǐng)趕緊聯(lián)系我們。避免不必要的重復(fù)開發(fā)，避免從一個(gè)ASIC SoC到另一個(gè)ASIC SoC不斷重新設(shè)計(jì)；不用擔(dān)心從邊緣到中央域控制器重新設(shè)計(jì)IP；不用試圖為每個(gè)不同的傳感器使用不同的SoC平臺(tái)。

FPGA技術(shù)將幫助您節(jié)省最寶貴的資源——工程人才。我們可以為您提供規(guī)模經(jīng)濟(jì)，因?yàn)橐粋€(gè)芯片系列就可以支持前置攝像頭、LiDAR、4D雷達(dá)、360°環(huán)視和駕駛員監(jiān)控等功能。FPGA可以做到這一切。

延伸閱讀：

《汽車人工智能計(jì)算技術(shù)及市場(chǎng)趨勢(shì)-2019版》

《圖像信號(hào)處理器和視覺處理器市場(chǎng)和技術(shù)趨勢(shì)-2019版》

《人工智能硬件和軟件@消費(fèi)類領(lǐng)域》

《采埃孚S-Cam 4系列ADAS單目和三目攝像頭》

《汽車?yán)走_(dá)對(duì)比分析-2018版》

《汽車成像-2019版》

推薦培訓(xùn)：

《3D成像與傳感器件培訓(xùn)課程》將于7月19日~7月21日在無錫舉行，本課程邀請(qǐng)3D視覺產(chǎn)業(yè)鏈優(yōu)秀講師，以核心元器件為出發(fā)點(diǎn)，解析3D成像與傳感技術(shù)：（1）紅外光源技術(shù)，深度剖析VCSEL；（2）MEMS光束操縱技術(shù)，覆蓋多種MEMS微鏡原理（靜電式、電磁式、電熱式、壓電式）；（3）液體透鏡；（4）衍射光學(xué)元件（DOE）；（5）高性能光電探測(cè)：SPAD/SiPM；（6）光電探測(cè)面陣：ToF圖像傳感器；（7）光學(xué)MEMS和傳感器仿真技術(shù)。如果您有興趣，請(qǐng)聯(lián)系：

麥姆斯咨詢

聯(lián)系人：趙婷婷

電話：18021192087

郵箱：ZHAOTingting@MEMSConsulting.com