機(jī)器學(xué)習(xí)中的無模型強(qiáng)化學(xué)習(xí)算法及研究綜述

　　強(qiáng)化學(xué)習(xí)（ Reinforcement learning，RL）作為機(jī)器學(xué)習(xí)領(lǐng)域中與監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)并列的第三種學(xué)習(xí)范式，通過與環(huán)境進(jìn)行交互來學(xué)習(xí)，最終將累積收益最大化。常用的強(qiáng)化學(xué)習(xí)算法分為模型化強(qiáng)化學(xué)習(xí)（Mode- based reinforcement Lear-ning）和無模型強(qiáng)化學(xué)習(xí)（ Model- ree reirη forcement Learning）。模型化強(qiáng)化學(xué)習(xí)需要根據(jù)真實(shí)環(huán)境的狀態(tài)轉(zhuǎn)移數(shù)據(jù)來預(yù)定義環(huán)境動(dòng)態(tài)模型，隨后在通過環(huán)境動(dòng)態(tài)模型進(jìn)行策略學(xué)習(xí)的過程中無須再與環(huán)境進(jìn)行交互。在無模型強(qiáng)化學(xué)習(xí)中，智能體通過與環(huán)境進(jìn)行實(shí)時(shí)交互來學(xué)習(xí)最優(yōu)策略，該方法在實(shí)際任務(wù)中具有更妤的通用性，因此應(yīng)用范圍更廣。文中對(duì)無模型強(qiáng)化學(xué)習(xí)的最新研究進(jìn)展與發(fā)展動(dòng)態(tài)進(jìn)行了綜述。首先介紹了強(qiáng)化學(xué)習(xí)、模型化強(qiáng)化學(xué)習(xí)和無模型強(qiáng)化學(xué)習(xí)的基礎(chǔ)理論;然后基于價(jià)值函數(shù)和策略函數(shù)歸納總結(jié)了無模型強(qiáng)化學(xué)習(xí)的經(jīng)典算法及各自的優(yōu)缺點(diǎn);最后概述了無模型強(qiáng)化學(xué)習(xí)在游戲AⅠ、化學(xué)材料設(shè)計(jì)、自然語言處理和機(jī)器人控制領(lǐng)域的最新研究現(xiàn)狀，并對(duì)無模型強(qiáng)化學(xué)習(xí)的未來發(fā)展趨勢進(jìn)行了展望。