復(fù)雜交通場(chǎng)景下的自動(dòng)駕駛車輛軌跡預(yù)測(cè)

為了能夠滿足自動(dòng)駕駛汽車在復(fù)雜交通場(chǎng)景中安全高效運(yùn)行，自動(dòng)駕駛汽車必須做到對(duì)周圍對(duì)象不確定性行為進(jìn)行準(zhǔn)確預(yù)測(cè)。作為自動(dòng)駕駛的關(guān)鍵技術(shù)，近年來不斷有新的軌跡預(yù)測(cè)思路和算法被提出，尤其是針對(duì)復(fù)雜交通場(chǎng)景中的對(duì)象軌跡預(yù)測(cè)。通過將復(fù)雜交通場(chǎng)景中的預(yù)測(cè)對(duì)象分為：車輛軌跡預(yù)測(cè)和行人軌跡預(yù)測(cè)2類，在此基礎(chǔ)上對(duì)不同預(yù)測(cè)對(duì)象采用近年來的主流預(yù)測(cè)算法進(jìn)行分類總結(jié)。最后討論了當(dāng)前行為預(yù)測(cè)存在的問題，并提出了一些有價(jià)值的研究展望。

1 前言

近年，自動(dòng)駕駛技術(shù)飛速發(fā)展，促進(jìn)了感知技術(shù)的研究，目標(biāo)檢測(cè)、識(shí)別追蹤等感知方面的技術(shù)也得到了快速發(fā)展。然而，隨著自動(dòng)駕駛技術(shù)研究邁向L5級(jí)，國(guó)內(nèi)的自動(dòng)駕駛車輛實(shí)現(xiàn)了固定場(chǎng)景或者相對(duì)復(fù)雜場(chǎng)景下的低速運(yùn)用，如何實(shí)現(xiàn)自動(dòng)駕駛車輛全場(chǎng)景任意速度運(yùn)行的課題成為當(dāng)前研究的熱點(diǎn)。

自動(dòng)駕駛的行為預(yù)測(cè)技術(shù)便是實(shí)現(xiàn)這一愿景的核心挑戰(zhàn)，因?yàn)橹挥凶詣?dòng)駕駛車輛能像人類駕駛一樣對(duì)周圍目標(biāo)（車輛、行人等）的意圖和未來軌跡做出準(zhǔn)確的判斷，才能合理規(guī)劃自身的運(yùn)動(dòng)軌跡，實(shí)現(xiàn)安全、平穩(wěn)的導(dǎo)航。行為預(yù)測(cè)作為自動(dòng)駕駛領(lǐng)域最具挑戰(zhàn)性的研究方向，主要包含2個(gè)方面：車輛軌跡預(yù)測(cè)和行人軌跡預(yù)測(cè)。

其最明顯的特點(diǎn)就在于預(yù)測(cè)對(duì)象未來意圖和行為的不確定性，即每個(gè)預(yù)測(cè)對(duì)象的未來動(dòng)作主要受對(duì)象主觀影響，導(dǎo)致就算是同一場(chǎng)景甚至是同一工作狀態(tài)下不同的對(duì)象也會(huì)做出不同的行為決策，由于這種預(yù)測(cè)對(duì)象多模態(tài)決策的存在，使得本就復(fù)雜的軌跡預(yù)測(cè)問題變得更加復(fù)雜。

本文針對(duì)復(fù)雜交通場(chǎng)景下的自動(dòng)駕駛車輛軌跡預(yù)測(cè)問題，綜述近幾年的相關(guān)研究成果，并且以復(fù)雜交通場(chǎng)景下的不同預(yù)測(cè)對(duì)象進(jìn)行分類展開總結(jié)。文章第2章節(jié)主要對(duì)復(fù)雜交通場(chǎng)景進(jìn)行了簡(jiǎn)要概述。文章的第3章節(jié)分為2個(gè)部分展開：

（1）總結(jié)了復(fù)雜交通場(chǎng)景下車輛在可觀測(cè)和受遮擋情況下的軌跡預(yù)測(cè)的相關(guān)成果。

（2）總結(jié)了復(fù)雜交通場(chǎng)景下行人在可觀測(cè)和受遮擋情況下軌跡預(yù)測(cè)的相關(guān)成果。

最后，第4章節(jié)進(jìn)行總結(jié)并且基于當(dāng)下領(lǐng)域的研究現(xiàn)狀提出展望。

2 復(fù)雜交通場(chǎng)景概述

復(fù)雜交通場(chǎng)景的類型主要可以歸為2大類：

（1）交通道路結(jié)構(gòu)復(fù)雜的各種交叉口場(chǎng)景。

（2）車輛高速行駛的高速路段場(chǎng)景。

交叉口作為1種典型的復(fù)雜交通場(chǎng)景，因?yàn)槠涞缆方Y(jié)構(gòu)復(fù)雜存在較多沖突點(diǎn)以及交通參與者類型較多，所以在其發(fā)揮自身重要交通作用的同時(shí)也存在著十分嚴(yán)重的問題，據(jù)美國(guó)國(guó)家公路安全管理局的報(bào)告顯示美國(guó)有超過四分之一的交通事故發(fā)生在交叉路口場(chǎng)景，其中在無信號(hào)燈交叉路口的事故率大約占到了50%[1]。

而針對(duì)高速路段場(chǎng)景，雖然自身的交通道路結(jié)構(gòu)和交通參與者的類型沒有交叉口場(chǎng)景那么復(fù)雜，但因?yàn)楦咚俾范诬囕v機(jī)動(dòng)速度快，所以相比于一般道路場(chǎng)景在車輛的變道、超車、匯流等特定場(chǎng)景下更加復(fù)雜，需要更快的反應(yīng)速度和反應(yīng)精度。所以針對(duì)復(fù)雜交通場(chǎng)景的特點(diǎn)對(duì)自動(dòng)駕駛車輛的軌跡預(yù)測(cè)的準(zhǔn)確性和效率提出了很高的要求。

結(jié)合交通道路拓?fù)浣Y(jié)構(gòu)、交通參與者類型數(shù)量、參與者自身速度3個(gè)方面的特點(diǎn)，主要總結(jié)了6種典型的復(fù)雜交通場(chǎng)景：T形路口場(chǎng)景、十字路口場(chǎng)景、錯(cuò)位交叉路口場(chǎng)景、路口匯流場(chǎng)景、環(huán)島場(chǎng)景、復(fù)雜混合路口場(chǎng)景，如圖1所示。

圖1 復(fù)雜交通路口場(chǎng)景

3 預(yù)測(cè)對(duì)象分類與算法總結(jié)

在本章中，將復(fù)雜交通場(chǎng)景中自動(dòng)駕駛汽車的行為預(yù)測(cè)對(duì)象分為車輛軌跡預(yù)測(cè)、行人軌跡預(yù)測(cè)2類，在此基礎(chǔ)上針對(duì)不同預(yù)測(cè)對(duì)象綜述總結(jié)近年來的主要研究方法。

3.1 車輛的軌跡預(yù)測(cè)

車輛的軌跡預(yù)測(cè)，即是通過自動(dòng)駕駛車輛自身所裝配的各種傳感器去準(zhǔn)確檢測(cè)周圍車輛當(dāng)前的位置、速度、運(yùn)動(dòng)方向等信息然后用于對(duì)其未來軌跡的預(yù)測(cè)。近年來對(duì)于車輛的軌跡預(yù)測(cè)方法主要分為2類：基于強(qiáng)化學(xué)習(xí)模型方法和基于神經(jīng)網(wǎng)絡(luò)的交互學(xué)習(xí)和社會(huì)感知方法。

基于模型的方法運(yùn)用適當(dāng)學(xué)習(xí)算法達(dá)到在特定場(chǎng)景中運(yùn)用的效果?；诓┺哪Ｐ偷姆椒ń瓿１挥米?a target="_blank">智能車的軌跡預(yù)測(cè)，Li等針對(duì)交叉路口和高速路段場(chǎng)景提出了1種兩人實(shí)時(shí)的動(dòng)態(tài)博弈模型，運(yùn)用分層預(yù)測(cè)思想，在考慮預(yù)測(cè)軌跡的成本和安全系數(shù)的基礎(chǔ)上結(jié)合認(rèn)知行為模型得出預(yù)測(cè)軌跡，Chandra等在單一博弈模型方法的基礎(chǔ)上創(chuàng)新的將博弈模型與基于機(jī)器人學(xué)開發(fā)的1種可以通過傳感器檢測(cè)周圍目標(biāo)動(dòng)作的GAMEPLAY方法結(jié)合，在通過用于行為建模和預(yù)測(cè)的CMMetric算法對(duì)周圍車輛的CMetric值排序從而確定周圍車輛的通行順序以此來預(yù)測(cè)軌跡。

以上2種基于博弈模型的方法都是針對(duì)2者之間的博弈，無法滿足目標(biāo)車輛較多場(chǎng)景的軌跡預(yù)測(cè)。Hang等針對(duì)這個(gè)問題，提出了1種基于模型預(yù)測(cè)控制（Model Predictive Control,MPC）建立聯(lián)盟博弈方法，考慮不同交互駕駛行為的多車道合并場(chǎng)景的車輛協(xié)同軌跡預(yù)測(cè)問題，其核心思想是將多車道合并區(qū)域的車輛進(jìn)行相互博弈，并且這種博弈是相互關(guān)聯(lián)的，最終拓展成為整個(gè)局部區(qū)域的所有車輛的博弈，通過求解整體代價(jià)最小的方式去預(yù)測(cè)軌跡。此聯(lián)盟博弈方法是1種傳統(tǒng)兩者博弈模型的拓展，能夠應(yīng)用于復(fù)雜場(chǎng)景下的多對(duì)象車輛博弈。

除了基于博弈模型的軌跡預(yù)測(cè)外，Shu等針對(duì)交叉路口場(chǎng)景的左轉(zhuǎn)問題提出了根據(jù)道路模型（圖2），標(biāo)記出關(guān)鍵轉(zhuǎn)折點(diǎn)，在關(guān)鍵轉(zhuǎn)折點(diǎn)處運(yùn)用分層規(guī)劃的思想，采用部分可觀測(cè)馬爾可夫（Partially Observable Markov Decision Processes,POMDP）架構(gòu)將關(guān)鍵點(diǎn)處的軌跡問題分為高、低2個(gè)層次的路徑預(yù)測(cè)，通過高層路徑預(yù)測(cè)獲得候選路徑，再通過低層擬人思想獲取最優(yōu)預(yù)測(cè)軌跡。

Bouton等在單POMDP方法的基礎(chǔ)上提出新的利用效用融合的POMDP方法，通過先對(duì)每個(gè)目標(biāo)單獨(dú)計(jì)算最優(yōu)狀態(tài)，在融合獲得全局最優(yōu)狀態(tài)，從而推斷目標(biāo)車輛的未來軌跡預(yù)測(cè)。

圖2 基于ECT標(biāo)準(zhǔn)交叉口分層次預(yù)測(cè)規(guī)劃方法

基于神經(jīng)網(wǎng)絡(luò)的交互學(xué)習(xí)方法是近年來對(duì)于自動(dòng)駕駛軌跡預(yù)測(cè)的主流研究方向。其中，基于深度學(xué)習(xí)的長(zhǎng)短期記憶網(wǎng)絡(luò)（Long-Short Term Memory,LSTM）及其變體近年來常被用于自動(dòng)駕駛車輛的軌跡預(yù)測(cè)研究，LSTM網(wǎng)絡(luò)作為循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN）的1種升級(jí)變體，因其具有門控裝置，可以控制每一時(shí)刻信息的記憶與遺忘，對(duì)信息有了篩選保留的能力，可以進(jìn)行長(zhǎng)序列的信息處理，對(duì)于自動(dòng)駕駛車輛軌跡的長(zhǎng)期預(yù)測(cè)效果很好。

Zeng等將軌跡預(yù)測(cè)問題轉(zhuǎn)化為序列預(yù)測(cè)問題，通過將復(fù)雜交叉路口場(chǎng)景中的車輛軌跡進(jìn)行序列化，提出了1種基于序列生成模型（Sequence to Sequence,Seq2Seq）結(jié)構(gòu)，在時(shí)間圖和空間圖上運(yùn)用LSTM網(wǎng)絡(luò)獲取預(yù)測(cè)車輛當(dāng)前的位姿和關(guān)鍵交互信息。從而自動(dòng)駕駛車輛提供更合理的軌跡預(yù)測(cè)。

Han等針對(duì)高速公路交織區(qū)域的車輛變道場(chǎng)景，提出了注意力Seq2Seq網(wǎng)絡(luò)，采用LSTM編-解碼器進(jìn)行目標(biāo)車輛的變道軌跡預(yù)測(cè)，并結(jié)合注意力機(jī)制關(guān)注變道過程中的關(guān)鍵信息，其在長(zhǎng)時(shí)期的變道軌跡預(yù)測(cè)中有明顯的優(yōu)勢(shì)。

但采用單一的LSTM神經(jīng)網(wǎng)絡(luò)用于預(yù)測(cè)軌跡仍有很多缺陷，所以有研究人員也提出采用混合神經(jīng)網(wǎng)絡(luò)去完善預(yù)測(cè)效果。Ji等提出LSTM網(wǎng)絡(luò)的預(yù)測(cè)模型，模型由意識(shí)識(shí)別和軌跡輸出模塊組成。前者利用Softmax函數(shù)得出換道和車道保持的概率，在通過基于LSTM的編-解碼器和混合密度網(wǎng)絡(luò)（Mixture Density Networks，MDN）的輸出模塊輸出包含軌跡被采用概率的多模態(tài)預(yù)測(cè)軌跡。

Pan等提出了1種利用車輛歷史運(yùn)動(dòng)和環(huán)境信息預(yù)測(cè)軌跡的深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，DNN），利用LSTM和注意力機(jī)制學(xué)習(xí)車輛意圖和車輛位置變化，從而預(yù)測(cè)軌跡。Hsu等提出了1種結(jié)合卷積LSTM和深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）的卷積-循環(huán)框架（CNNLSTM），通過檢測(cè)周圍車輛的尾部信號(hào)燈狀態(tài)去預(yù)測(cè)車輛意圖，例如通過檢測(cè)到轉(zhuǎn)向燈亮起，預(yù)測(cè)車輛將會(huì)進(jìn)行轉(zhuǎn)向，通過檢測(cè)剎車燈亮起，預(yù)測(cè)車輛將會(huì)減速或停車,但由于其只對(duì)車輛尾部信號(hào)燈狀態(tài)進(jìn)行研究，不能滿足多場(chǎng)景化需求。

Frossard等在此循環(huán)框架中加入1種充分學(xué)習(xí)模型，利用空間和時(shí)間特征分類轉(zhuǎn)向信號(hào)狀態(tài)，通過判斷不同運(yùn)動(dòng)方向（同向、反向）車輛信號(hào)燈狀態(tài)預(yù)測(cè)車輛意圖（圖3）。Jeong等提出基于LSTM-RNN結(jié)構(gòu)的運(yùn)動(dòng)預(yù)測(cè)器僅使用從傳感器上采集的信息，在只考慮自身與周圍車輛狀態(tài)的前提下，將基于MPC得到的目標(biāo)車輛的未來狀態(tài)，作為車輛間相互作用的特征量輸入基于LSTM-RNN的運(yùn)動(dòng)預(yù)測(cè)器去預(yù)測(cè)軌跡（圖4）。

圖3 卷積-循環(huán)網(wǎng)絡(luò)框架

圖4 LSTM-RNN單步預(yù)測(cè)器框架

此外，由于基于神經(jīng)網(wǎng)絡(luò)的多模態(tài)軌跡預(yù)測(cè)能夠提供更長(zhǎng)期的預(yù)測(cè)，近年來也常被用于自動(dòng)駕駛車輛的軌跡預(yù)測(cè)研究，例如Cui等針對(duì)復(fù)雜交互場(chǎng)景提出的1種通過將周圍車輛進(jìn)行編碼處理為光柵圖像輸入深度神經(jīng)網(wǎng)絡(luò)（CNN）中實(shí)現(xiàn)多模態(tài)的軌跡預(yù)測(cè)模型，并且這些預(yù)測(cè)軌跡都包含了對(duì)應(yīng)的軌跡可能被采納的概率值。Choi等提出的基于圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Networks，GNN）的跨模式框架，通過將多種傳感器對(duì)同一目標(biāo)的檢測(cè)數(shù)據(jù)進(jìn)行聯(lián)合學(xué)習(xí)和優(yōu)化獲得預(yù)測(cè)軌跡。

Li等針對(duì)高交互的復(fù)雜場(chǎng)景，提出了1種用于長(zhǎng)時(shí)間軌跡預(yù)測(cè)的基于條件軌跡預(yù)測(cè)的條件生成神經(jīng)系統(tǒng)（Conditional Generative Neural System，CGNS），此系統(tǒng)利用已有的數(shù)據(jù)庫場(chǎng)景信息和實(shí)時(shí)檢測(cè)數(shù)據(jù)預(yù)測(cè)周圍多個(gè)高交互車輛的未來軌跡，聯(lián)合2者并引入注意力機(jī)制對(duì)關(guān)鍵區(qū)域進(jìn)行標(biāo)注，生成多模態(tài)的預(yù)測(cè)軌跡。

Kim等提出1種新的基于車道感知預(yù)測(cè)網(wǎng)絡(luò)的軌跡預(yù)測(cè)模型（圖5），區(qū)別于以前使用光柵圖像作為輸入，而是直接從語義地圖中提取車道信息來進(jìn)行軌跡預(yù)測(cè)，對(duì)所預(yù)測(cè)車輛、預(yù)測(cè)車輛周圍的車輛和有清晰環(huán)境信息與目標(biāo)車輛交互信息的車道3者之間的復(fù)雜關(guān)系進(jìn)行捕捉，結(jié)合無監(jiān)督學(xué)習(xí)模型通過設(shè)置的權(quán)重去確定最合理預(yù)測(cè)軌跡的車道，提高預(yù)測(cè)精度，最后基于在編-解碼器結(jié)合周圍環(huán)境生成多模態(tài)的未來軌跡。

圖5 Lapred網(wǎng)絡(luò)總體結(jié)構(gòu)

此外，針對(duì)自動(dòng)駕駛車輛的傳感器檢測(cè)能力受周圍環(huán)境的影響很大，常常出現(xiàn)由于周圍環(huán)境遮擋、檢測(cè)目標(biāo)距離太遠(yuǎn)、天氣能見度低等各種因素的影響無法對(duì)目標(biāo)進(jìn)行準(zhǔn)確檢測(cè)，從而導(dǎo)致漏檢誤檢的情況發(fā)生，使得自動(dòng)駕駛車輛無法對(duì)周圍目標(biāo)車輛作出正確預(yù)測(cè)。

Ren等提出具有安全意識(shí)基于深度學(xué)習(xí)的社會(huì)感知神經(jīng)網(wǎng)絡(luò)模型（圖6），用于預(yù)測(cè)最早占用地圖（Occupancy Grid Map，OGM）對(duì)可見和不可見車輛占用的每個(gè)位置，確定其最早時(shí)間，用于描述車輛未來的運(yùn)動(dòng)。其本質(zhì)目的是用于預(yù)測(cè)可能導(dǎo)致碰撞的危險(xiǎn)軌跡，并且為了安全和準(zhǔn)確，應(yīng)使每個(gè)軌跡點(diǎn)的預(yù)計(jì)到達(dá)時(shí)間提前于實(shí)際到達(dá)時(shí)間，但在一定范圍內(nèi)。

與之相似的Wang等提出的基于深度神經(jīng)網(wǎng)絡(luò)的占用預(yù)測(cè)網(wǎng)絡(luò)（Occupancy Prediction Network，OPNet），通過利用環(huán)境信息學(xué)習(xí)先驗(yàn)知識(shí)來預(yù)測(cè)遮擋空間中對(duì)象分布的輕量級(jí)3維卷積網(wǎng)絡(luò)。Sun等提出1種基于社會(huì)感知神經(jīng)網(wǎng)絡(luò)的社會(huì)凝聚力智能車軌跡預(yù)測(cè)方法，可以根據(jù)周圍絕大多數(shù)與自車行為相似的車輛（相鄰?fù)蜍嚨阑蛲嚨儡囕v）行為來調(diào)整自身行為，及周圍大部分相關(guān)車輛進(jìn)行什么行為，自己也進(jìn)行什么行為，并且對(duì)于不同的場(chǎng)景算法還可以關(guān)注特定場(chǎng)景中的關(guān)鍵參數(shù)達(dá)到優(yōu)化軌跡預(yù)測(cè)，例如高速場(chǎng)景下主要關(guān)注周圍車輛的速度信息。

圖6 U-Net軌跡預(yù)測(cè)網(wǎng)絡(luò)框架

除了以上基于模型和基于神經(jīng)網(wǎng)絡(luò)的軌跡預(yù)測(cè)方法以外，ALBRECHT和Li等提出了1種基于逆向規(guī)劃的方法，主要通過檢測(cè)周圍車輛當(dāng)前的動(dòng)作來推斷其在當(dāng)前場(chǎng)景下的目標(biāo)點(diǎn)(將要駛?cè)氲穆房?，在以目標(biāo)點(diǎn)為基礎(chǔ)來預(yù)測(cè)車輛的軌跡，同時(shí)采用蒙特卡羅樹搜索（Monte Carlo Tree Search，MCTS）算法來規(guī)劃自身軌跡，只不過Li等的方法區(qū)別于ALBRECHT等的最終獲得預(yù)測(cè)軌跡是多模態(tài)的而非單獨(dú)的最佳預(yù)測(cè)軌跡。Narayanan等提出了1個(gè)ALAN（A Lane Anchors）的預(yù)測(cè)框架，不再運(yùn)用柵格圖像和高精地圖作為輸入信息，創(chuàng)新的采用車道中心線為參考，輸出具有強(qiáng)語義的環(huán)境感知數(shù)據(jù)，并且獲得多模態(tài)的預(yù)測(cè)軌跡。

本小節(jié)總結(jié)了車輛在復(fù)雜交通場(chǎng)景中的軌跡預(yù)測(cè)算法并將算法分為基于強(qiáng)化學(xué)習(xí)模型的算法、基于神經(jīng)網(wǎng)絡(luò)的算法與其它算法3部分，見表1。

表1 復(fù)雜交通場(chǎng)景中的車輛軌跡預(yù)測(cè)算法

3.2 行人的軌跡預(yù)測(cè)

由于行人的運(yùn)動(dòng)具有高度的不確定性和多模態(tài)性，自動(dòng)駕駛系統(tǒng)無法在有限的計(jì)算時(shí)間內(nèi)做出反應(yīng)，如果僅根據(jù)當(dāng)前的行人狀態(tài)去規(guī)劃自身路徑無法滿足時(shí)效性并且還可能導(dǎo)致安全事故發(fā)生，所以行人軌跡的預(yù)測(cè)一直都是自動(dòng)駕駛汽車發(fā)展面臨的挑戰(zhàn)之一。

目前，行人軌跡預(yù)測(cè)研究思路主要分為2類：

（1）基于模型的方法；

（2）基于神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制結(jié)合的方法。

基于模型的方法有基于高斯過程模型、基于社會(huì)力模型等。Mínguez等提出了1種通過采集行人身體的關(guān)鍵部位特征比如肩部的信息，運(yùn)用基于平衡的高斯過程動(dòng)力學(xué)模型去預(yù)測(cè)行人軌跡。Rinke等在社會(huì)力模型的基礎(chǔ)上，提出了1種多層次的道路使用者運(yùn)動(dòng)及其交互的描述方法，將行人運(yùn)動(dòng)目標(biāo)點(diǎn)與可能軌跡分層討論。

通過先確定目標(biāo)點(diǎn)在利用拉格朗日多項(xiàng)式依次估計(jì)其他軌跡然后在運(yùn)用基于社會(huì)力模型的規(guī)避沖突策略進(jìn)行軌跡選擇，生成最佳預(yù)測(cè)軌跡。Yang等提出將社會(huì)力模型和行人走、停決策結(jié)合的改進(jìn)社會(huì)力模型（圖7），去預(yù)測(cè)行人未來2 s運(yùn)動(dòng)軌跡的終點(diǎn)的行人軌跡預(yù)測(cè)方法。

但基于模型的方法對(duì)理論和場(chǎng)景的依賴性強(qiáng)，并且需要大量的數(shù)據(jù)去訓(xùn)練模型，所以近年更多的研究者還是致力于基于神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制結(jié)合的方法，一般以RNN/LSTM/GRU等遞歸神經(jīng)網(wǎng)絡(luò)及其變體為主結(jié)合注意力機(jī)制。Zhou等通過考慮單個(gè)行人的運(yùn)動(dòng)信息以及和周圍行人的交互信息，運(yùn)用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和圖卷積網(wǎng)絡(luò)（Graph Convolutional Networks，GCN）對(duì)行人狀態(tài)以及彼此交互進(jìn)行模擬（圖8），并結(jié)合注意力機(jī)制和結(jié)伴損失函數(shù)來預(yù)測(cè)軌跡。

Zhang等提出將生成對(duì)抗網(wǎng)絡(luò)和注意力機(jī)制結(jié)合的方法，其核心是通過注意力機(jī)制處理環(huán)境中的關(guān)鍵信息，通過社會(huì)注意力機(jī)制處理人與人之間的行為交互信息，在通過基于LSTM網(wǎng)絡(luò)的對(duì)抗模塊去預(yù)測(cè)多條合理軌跡。Liang等提出1種用于預(yù)測(cè)人軌跡和未來活動(dòng)的神經(jīng)網(wǎng)絡(luò)模型，通過捕捉人類外觀、肢體動(dòng)作、與周圍環(huán)境的交互等視覺特征生成模型用于軌跡預(yù)測(cè)。

Liu等提出了1種基于圖卷積的行人是否橫穿道路的預(yù)測(cè)模型，通過只關(guān)注行人與周圍環(huán)境的關(guān)系以及行人自身的肢體動(dòng)作進(jìn)行推理，預(yù)測(cè)未來一個(gè)時(shí)間范圍內(nèi)行人軌跡。Shi等提出了1種新穎的解析圖卷積網(wǎng)絡(luò)（Sparse Graph Convolution Network，SGCN），將稀疏有向交互和運(yùn)動(dòng)趨勢(shì)相結(jié)合，用于行人軌跡預(yù)測(cè)，采用基于注意力機(jī)制的稀疏圖學(xué)習(xí)方法對(duì)軌跡點(diǎn)進(jìn)行打分，并反饋到非對(duì)稱卷積網(wǎng)絡(luò)中，以獲得高級(jí)交互特征，歸一化處理后得到的鄰接矩陣可以表示稀疏圖，最后結(jié)合圖卷積網(wǎng)絡(luò)估計(jì)用于軌跡預(yù)測(cè)的雙高斯分布的參數(shù)去預(yù)測(cè)軌跡。

相比于以前的預(yù)測(cè)建模方法，它對(duì)交互的行人信息、車輛信息、環(huán)境信息進(jìn)行了有針對(duì)性的選擇，而非以往的直接將一定范圍內(nèi)的所有以上信息無差別的用于建模（圖8）。Tim等提出1種考慮動(dòng)力學(xué)約束的基于學(xué)習(xí)的多智能體軌跡預(yù)測(cè)方法，除了考慮先前軌跡，還同時(shí)考慮了目標(biāo)的動(dòng)力學(xué)約束，確保了實(shí)際下的可行性，同時(shí)對(duì)其他的不同來源的數(shù)據(jù)信息進(jìn)行融合，給出更具有針對(duì)性的預(yù)測(cè)軌跡。

Neumann等使用自我監(jiān)督方式訓(xùn)練的預(yù)測(cè)網(wǎng)絡(luò)，基于行人的運(yùn)動(dòng)相對(duì)于全局場(chǎng)景的影響小，將場(chǎng)景中的行人運(yùn)動(dòng)和自己車輛運(yùn)動(dòng)分開考慮，訓(xùn)練了1個(gè)自我運(yùn)動(dòng)預(yù)測(cè)網(wǎng)絡(luò)，核心思想可以理解為一定時(shí)間內(nèi)先得出自身的軌跡，然后通過自我的監(jiān)督方法，抵消掉自身位置變化對(duì)行人軌跡預(yù)測(cè)的影響，相當(dāng)于這時(shí)車載攝像頭是靜止于某個(gè)點(diǎn)的去觀測(cè)行人的運(yùn)動(dòng)，行人軌跡變化的參考與自車的狀態(tài)無關(guān)，而只以預(yù)測(cè)行人周圍的元素為參考去預(yù)測(cè)，這種不考慮可變視點(diǎn)就可以避免因?yàn)椴粩嘧兓臄z像頭視點(diǎn)、遮擋和其他場(chǎng)景動(dòng)態(tài)帶來的預(yù)測(cè)困難。

圖7 Trajectory++軌跡預(yù)測(cè)網(wǎng)絡(luò)框架

圖8 SGCN網(wǎng)絡(luò)框架

Lian等[37]提出應(yīng)對(duì)復(fù)雜場(chǎng)景下行人軌跡預(yù)測(cè)的方法，基于LSTM網(wǎng)絡(luò)建立了基于人-車交互的行人軌跡預(yù)測(cè)模型（Vehicles And Pedestrians Trajectory Prediction Model Based On LSTM，VP-LSTM），核心思想是以行人的速度、行人間位置關(guān)系、人車間位置關(guān)系為初始數(shù)據(jù)通過社會(huì)注意力機(jī)制進(jìn)行篩選，將篩選信息通過LSTM網(wǎng)絡(luò)得出預(yù)測(cè)軌跡。

Hu等[38]提出的預(yù)測(cè)行人運(yùn)動(dòng)預(yù)測(cè)系統(tǒng)（Pedestrian Motion Prediction System Based On NMMP，PMP-NMMP），先通過基于LSTM網(wǎng)絡(luò)的NMMP架構(gòu)進(jìn)行行人的軌跡預(yù)測(cè)，NMMP架構(gòu)系統(tǒng)包含單一分支和交互分支2個(gè)部分，單一分支用于對(duì)每個(gè)參與者進(jìn)行軌跡預(yù)測(cè)和交互分支用于對(duì)參與者間的可能交互進(jìn)行預(yù)測(cè)，由2個(gè)分支結(jié)合得出候選軌跡，最后PMP將候選軌跡分類為真軌跡或假軌跡，得到最終預(yù)測(cè)軌跡。

除了以上基于模型和基于神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制結(jié)合的軌跡預(yù)測(cè)方法以外,Yao等[39]針對(duì)目前模型預(yù)測(cè)多基于以往軌跡多次預(yù)測(cè)導(dǎo)致的隨重復(fù)預(yù)測(cè)次數(shù)增加誤差不斷增大問題，提出基于目標(biāo)估計(jì)的雙向多模態(tài)軌跡預(yù)測(cè)方法，模型由2部分組成：

（1）多模態(tài)目標(biāo)估計(jì)器用于先估計(jì)可能的目標(biāo)終點(diǎn)；

（2）目標(biāo)條件雙向軌跡預(yù)測(cè)器，進(jìn)行以當(dāng)前點(diǎn)和目標(biāo)點(diǎn)同時(shí)作為起始點(diǎn)的雙向軌跡預(yù)測(cè)，從而減少較長(zhǎng)預(yù)測(cè)范圍內(nèi)的累積誤差。

Shafiee等[40]使用條件3維視覺注意機(jī)制進(jìn)行人體軌跡預(yù)測(cè)，通過2個(gè)并行編碼流和1個(gè)解碼流，2個(gè)并行編碼流收集與目標(biāo)人體相關(guān)的3維視覺和運(yùn)動(dòng)學(xué)信息，只需要對(duì)目標(biāo)及其相關(guān)信息進(jìn)行收集，1個(gè)解碼流預(yù)測(cè)目標(biāo)人體的未來軌跡，并且引入3D注意機(jī)制，提高預(yù)測(cè)精度。

本小節(jié)總結(jié)了行人在復(fù)雜交通場(chǎng)景下的軌跡預(yù)測(cè)算法并將算法分為基于模型的算法、基于神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制相結(jié)合的算法、其它算法3部分，見表2。

表2 復(fù)雜交通場(chǎng)景中的行人軌跡預(yù)測(cè)算法

4 結(jié)論

隨著自動(dòng)駕駛技術(shù)的發(fā)展，傳統(tǒng)的預(yù)測(cè)方法已經(jīng)無法滿足自動(dòng)駕駛車輛對(duì)任意行駛場(chǎng)景和速度的要求。本文綜合近幾年自動(dòng)駕駛行為預(yù)測(cè)技術(shù)的發(fā)展情況，立足于復(fù)雜的交通交互場(chǎng)景，通過對(duì)場(chǎng)景中不同預(yù)測(cè)對(duì)象進(jìn)行分類并總結(jié)相應(yīng)的行為預(yù)測(cè)算法。

當(dāng)前比較先進(jìn)的行為預(yù)測(cè)思路還是采用神經(jīng)網(wǎng)絡(luò)，也取得了不錯(cuò)的效果，但由于模型訓(xùn)練需要大量的多樣性數(shù)據(jù)，導(dǎo)致模型的訓(xùn)練困難。此外，目前的行為預(yù)測(cè)系統(tǒng)需要多種傳感器設(shè)備的數(shù)據(jù)支撐，其中就包括了激光雷達(dá)一類高成本的設(shè)備。因此，接下來自動(dòng)駕駛行為預(yù)測(cè)的研究可以從以下4方面展開：

（1）創(chuàng)新和優(yōu)化算法，對(duì)于基于神經(jīng)網(wǎng)絡(luò)一類需要預(yù)先訓(xùn)練的算法要降低訓(xùn)練的復(fù)雜度，同時(shí)在算法層面去減少對(duì)傳感器種類和數(shù)量的依賴，能夠在提升預(yù)測(cè)效果的基礎(chǔ)上優(yōu)化硬件配置。

（2）車路協(xié)同預(yù)測(cè)，目前的自動(dòng)駕駛軌跡預(yù)測(cè)還是主要依賴自動(dòng)駕駛車輛自身的傳感器進(jìn)行數(shù)據(jù)采集和預(yù)測(cè)，可以考慮將自動(dòng)駕駛車輛和路測(cè)設(shè)備結(jié)合的預(yù)測(cè)思路，即將當(dāng)前場(chǎng)景中路測(cè)設(shè)備收集的數(shù)據(jù)直接提供或進(jìn)行預(yù)處理后提供給自動(dòng)駕駛車輛去進(jìn)行行為預(yù)測(cè)，這樣不僅可以提高預(yù)測(cè)準(zhǔn)確度而且可以降低整體的設(shè)備成本。

（3）受遮擋對(duì)象的行為預(yù)測(cè)，目前這一部分的研究還很少，主要還是基于社會(huì)感知的思路去進(jìn)行預(yù)測(cè)，但實(shí)際的實(shí)現(xiàn)效果并不理想，作為軌跡預(yù)測(cè)中無法回避且十分重要的內(nèi)容，需要針對(duì)這一問題提出更多方法。

（4）行人行為預(yù)測(cè)，行人對(duì)象具有目標(biāo)小且行為不確定性大的特點(diǎn)。而當(dāng)前主要采用檢測(cè)行人肢體動(dòng)作和人群交互行為的方法實(shí)際運(yùn)用時(shí)準(zhǔn)確率很低，原因在于本身肢體動(dòng)作的準(zhǔn)確檢測(cè)就很困難，再加之要根據(jù)其完成行為預(yù)測(cè)可以想象是十分困難的，如果在加上環(huán)境因素（下雨、起霧等）那么這些方法基本就不在可行，所以如何提高行人行為的準(zhǔn)確預(yù)測(cè)也需要提出更好的方法。

審核編輯：劉清