基于深度強(qiáng)化學(xué)習(xí)的路口單交叉信號(hào)控制

利用深度強(qiáng)化學(xué)習(xí)技術(shù)實(shí)現(xiàn)路口信號(hào)控制是智能交通領(lǐng)域的硏究熱點(diǎn)?，F(xiàn)有硏究大多利用強(qiáng)化學(xué)習(xí)來(lái)全面刻畫交通狀態(tài)以及設(shè)計(jì)有效強(qiáng)化學(xué)習(xí)算法以解決信號(hào)配時(shí)問(wèn)題，但這些研究往往忽略了信號(hào)燈狀態(tài)對(duì)動(dòng)作選擇的影響以及經(jīng)驗(yàn)池中的數(shù)據(jù)采樣效率，導(dǎo)致訓(xùn)練過(guò)程不穩(wěn)定、迭代收斂較幔等問(wèn)題。為此，文中在智能體模型設(shè)計(jì)方面，將信號(hào)燈狀態(tài)納入狀態(tài)設(shè)并引入動(dòng)作獎(jiǎng)懲系數(shù)來(lái)調(diào)節(jié)智能體動(dòng)作選擇，以滿足相位最小綠燈時(shí)間和最大綠燈時(shí)間的約束。同時(shí)，結(jié)合短期內(nèi)交通流存在的時(shí)序相關(guān)性，文中采用優(yōu)先級(jí)序列經(jīng)驗(yàn)回放（ Priority Sequence Experience Replay，PSER）的方式來(lái)更新經(jīng)驗(yàn)池中序列樣本的優(yōu)先級(jí)，使得智能體獲取與交通狀況匹配度更高的前序相關(guān)樣本，并通過(guò)雙Q網(wǎng)絡(luò)和竟?fàn)幨絈網(wǎng)絡(luò)來(lái)進(jìn)一步提升DQN（DepQ Network）算法的性能。最后，以杭州市蕭山區(qū)市心中路和山陰路形成的單交叉口為例，在仿真平臺(tái)SUMO（ Simulation ofUrban Mobility）上對(duì)算法進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，提岀的智能體模型優(yōu)于無(wú)約束單一狀態(tài)模型，在此基礎(chǔ)上提出的算法能夠有效縮短車輛平均等待時(shí)間和路口總排隊(duì)長(zhǎng)度，控制效果優(yōu)于實(shí)際配時(shí)策略以及傳統(tǒng)的DQN算法。