一種基于遞歸神經(jīng)網(wǎng)絡(luò)的自適應(yīng)控制方法研究

本文針對快速、多變量、強非線性的復(fù)雜系統(tǒng)的控制問題，在強化學(xué)習(xí)方式的基礎(chǔ)上，提出一種新的自適應(yīng)控制方法。該方法在沒有先驗知識的條件下，基于遞歸神經(jīng)網(wǎng)絡(luò)并結(jié)合強化學(xué)習(xí)的自調(diào)節(jié)能力，通過自身神經(jīng)網(wǎng)絡(luò)的在線學(xué)習(xí)，有效控制不穩(wěn)定的非線性系統(tǒng)。本文以一級倒立擺系統(tǒng)為實驗對象，仿真實驗結(jié)果表明：所提出的控制方法具有非常好的控制效果和穩(wěn)定精度，抗干擾能力強。
隨著智能控制研究的不斷深入，人們通過模擬人的決策過程，將強化學(xué)習(xí)方式融入控制
策略，用來解決復(fù)雜非線性系統(tǒng)的控制問題。強化學(xué)習(xí)(Reinforcement Learning)是一種試探學(xué)習(xí)方式，外界沒有明顯的教師信號給出正確的指令，只通過與環(huán)境的交互得到評價信息來學(xué)習(xí)如何執(zhí)行恰當(dāng)?shù)膭幼?。近年來，強化學(xué)習(xí)在算法和應(yīng)用上已取得了大量的研究成果，如用靜態(tài)神經(jīng)網(wǎng)絡(luò)控制倒立擺系統(tǒng)[1,2]、多種動態(tài)規(guī)劃算法的提出[3,4]等。
遞歸神經(jīng)網(wǎng)絡(luò)(RNN)由于存在輸出變量到輸入端的反饋，因而其變量中包含時間延時網(wǎng)
絡(luò),是真正的動態(tài)網(wǎng)絡(luò)系統(tǒng)，為動態(tài)系統(tǒng)的辨識和控制開辟了一個極有前途的領(lǐng)域。本文在強化學(xué)習(xí)方式的基礎(chǔ)上,提出一種基于遞歸神經(jīng)網(wǎng)絡(luò)的自適應(yīng)控制方法。該控制方法采用的強化學(xué)習(xí)學(xué)習(xí)方式基于“動作網(wǎng)絡(luò)/評價網(wǎng)絡(luò)”的框架結(jié)構(gòu)。其中，動作網(wǎng)絡(luò)部分由BP 神經(jīng)網(wǎng)絡(luò)構(gòu)成的，它將系統(tǒng)狀態(tài)量映射為一個可能的實際動作；評價網(wǎng)絡(luò)部由遞歸神經(jīng)網(wǎng)絡(luò)構(gòu)成的，根據(jù)系統(tǒng)狀態(tài)和系統(tǒng)的控制量來評價系統(tǒng)的運行狀態(tài)，檢驗當(dāng)前的控制效果，產(chǎn)生“獎勵/懲罰”值作為反饋，以進行自適應(yīng)學(xué)習(xí)。通過對一級倒立擺系統(tǒng)的控制實驗仿真研究，驗證了所提控制方法的可行性。