模仿學(xué)習(xí)硏究如何從專家的決策數(shù)據(jù)中進(jìn)行學(xué)習(xí)，以得到接近專家水準(zhǔn)的決策模型。同樣學(xué)習(xí)如何決策的強(qiáng)化學(xué)習(xí)往往只根據(jù)環(huán)境的評價(jià)式反饋進(jìn)行學(xué)習(xí)，與之相比，模仿學(xué)習(xí)能從決策數(shù)據(jù)中獲得更為直接的反饋。它可以分為行為克隆、基于逆向強(qiáng)化學(xué)習(xí)的模仿學(xué)習(xí)兩類方法。基于逆向強(qiáng)化學(xué)習(xí)的模仿學(xué)習(xí)把模仿學(xué)習(xí)的過程分解成逆向強(qiáng)化學(xué)習(xí)和強(qiáng)化學(xué)習(xí)兩個(gè)子過程，并反復(fù)迭代。逆向強(qiáng)化學(xué)習(xí)用于推導(dǎo)符合專家決策數(shù)據(jù)的獎賞函數(shù)，而強(qiáng)化學(xué)習(xí)基于該獎賞函數(shù)來學(xué)習(xí)策略?；谏蓪咕W(wǎng)絡(luò)的模仿學(xué)習(xí)方法從基于逆向強(qiáng)化學(xué)習(xí)的模仿學(xué)習(xí)發(fā)展而來，其中最早出現(xiàn)且最具代表性的是生成對抗模仿學(xué)習(xí)方法（ Generative Adversarial Imitation Learning，簡稱GAIL）。生成對抗網(wǎng)絡(luò)由兩個(gè)相對抗的神經(jīng)網(wǎng)絡(luò)構(gòu)成，分別為判別器和生成器.GAL的特點(diǎn)是用生成對抗網(wǎng)絡(luò)框架求解模仿學(xué)習(xí)問題，其中，判別器的訓(xùn)練過程可類比獎賞函數(shù)的學(xué)習(xí)過程，生成器的訓(xùn)練過程可類比策略的學(xué)習(xí)過程。與傳統(tǒng)模仿學(xué)習(xí)方法相比，GA具有更好的魯棒性、表征能力和計(jì)算效率。因此，它能夠處理復(fù)雜的大規(guī)模問題，并可拓展到實(shí)際應(yīng)用中然而，GA存在著模態(tài)崩塌、環(huán)境交互樣本利用效率低等問題。最近，新的研究工作利用生成對抗網(wǎng)絡(luò)技術(shù)和強(qiáng)化學(xué)習(xí)技術(shù)等分別對這些問題進(jìn)行改進(jìn)，并在觀察機(jī)制、多智能體系統(tǒng)等方面對GAI進(jìn)行了拓展。本文先介紹了GAL的主要思想及其優(yōu)缺點(diǎn)，然后對GAIL的改進(jìn)算法進(jìn)行了歸類、分析和對比，最后總結(jié)全文并探討了可能的未來趨勢。