針對雙足機(jī)器人在非平整地面行走時(shí)容易失去運(yùn)動穩(wěn)定性的問題，提出一種基于一種基于價(jià)值的深度強(qiáng)化學(xué)習(xí)算法DQN（ Deep Q-Network）的步態(tài)控制方法。首先通過機(jī)器人步態(tài)規(guī)劃得到針對平整地面環(huán)境的離線步態(tài)，然后將雙足機(jī)器人視為一個(gè)智能體，建立機(jī)器人環(huán)境空間、狀態(tài)空間、動作空間及獎懲機(jī)制，該過程與傳統(tǒng)控制方法相比無需復(fù)雜的動力學(xué)建模過程，最后經(jīng)過多回合訓(xùn)練使雙足機(jī)器人學(xué)會在不平整地面進(jìn)行姿態(tài)調(diào)整，保證行走穩(wěn)定性。在V-Rep仿真環(huán)境中進(jìn)行了算法驗(yàn)證，雙足機(jī)器人在非平整地面行走過程中，通過DQN步態(tài)調(diào)整學(xué)習(xí)算法，姿態(tài)角度波動范圍在3。以內(nèi)，結(jié)果表明雙足機(jī)器人行走穩(wěn)定性得到明顯改善，實(shí)現(xiàn)了機(jī)器人的姿態(tài)調(diào)整行為學(xué)習(xí)，證明了該方法的有效性。

　　雙足機(jī)器人具有和人類相似的形體結(jié)構(gòu)，其雙足直立行走的運(yùn)動方式在現(xiàn)實(shí)中具有廣泛的應(yīng)用前景，其行走穩(wěn)定性控制問題一直是業(yè)界的研究重點(diǎn)。如何使雙足機(jī)器人適應(yīng)各種地面，進(jìn)行快速穩(wěn)定的行走是研究中的關(guān)鍵問題。

　　目前，仿人機(jī)器人的步態(tài)規(guī)劃主要針對理想的平整地面環(huán)境，采用離線方式設(shè)計(jì)出滿足特定全局優(yōu)化要求的步態(tài)序列，然后根據(jù)規(guī)劃好的步態(tài)序列控制機(jī)器人行走。若是機(jī)器人行走過程中遇到凸起或凹陷的不平整地面，會使擺動腿末端提前或推遲觸地，使腿末端遭遇過大的地面沖擊力，導(dǎo)致機(jī)器人因姿態(tài)扭曲而摔倒。