近日，美國西雅圖的NVIDIA機器人研究實驗室推出一種將虛擬引入現(xiàn)實的強化學習方法，即將機器人的實際表現(xiàn)與虛擬環(huán)境的參數(shù)調(diào)整相結合，從而獲得更為真實的虛擬環(huán)境，為實際機器人的深度學習帶來新的視角。

眾所周知，擴大機器人學習的方法就是通過盡可能多的在虛擬環(huán)境中對虛擬機器人進行場景訓練。因為在虛擬環(huán)境中只要擁有足夠的計算能力，研究人員就可以運行大量的虛擬機器人，測試各種虛擬的環(huán)境，調(diào)整模擬的速度，從而讓機器人學習得更快。

但是模擬并不是完美的，當研究人員將模擬的參數(shù)應用到實際環(huán)境中時，總是需要進行復雜而又繁瑣的參數(shù)調(diào)整。在模擬實驗中，NVIDIA的研究人員雖然沒有消滅模擬環(huán)境與現(xiàn)實環(huán)境的參數(shù)差別，但是他們使得機器人可以自主調(diào)整參數(shù)，這意味著模擬和現(xiàn)實之間的差距可以在沒有人為參與的情況下消失。

具體地，在實驗中，NVIDIA研究人員使用64個NVIDIATesla V100 GPU集群，同時使用cuDNN加速的TensorFlow深度學習框架，訓練機器人完成兩項任務：將一個掛鉤放進一個洞和打開一個抽屜。對于場景的模擬，該團隊使用了NVIDIA FleX物理引擎。

機器人的整個學習過程是：機器人首先在模擬環(huán)境中進行建模仿真，并且在虛擬環(huán)境中進行不斷地訓練，將測試得到的數(shù)據(jù)下載到機器人上，當在真實機器人上嘗試學習任務時，系統(tǒng)準確觀察它是如何失敗的，并將失敗的數(shù)據(jù)與模擬數(shù)據(jù)進行對比，將結果返回到學習框架進行優(yōu)化模擬以獲得更接近真實的模擬參數(shù)。為了確定模擬環(huán)境中的參數(shù)對實際機器人的影響，NVIDIA可以在沒有人參與的情況下將這個誤差反饋到模擬環(huán)境中以改進模擬的參數(shù)，使其更接近觀察到的現(xiàn)實情況。

得益于深度學習框架的黑盒形態(tài)，虛擬環(huán)境的構建者可以擺脫復雜的物理定律、具體的數(shù)學模型構建，并將這些虛擬環(huán)境的參數(shù)調(diào)整納入到深度學習框架，經(jīng)過不斷迭代，系統(tǒng)能夠識別出與現(xiàn)實世界中觀察到的更接近的模擬參數(shù)，從而取得成功，進一步打通虛擬與現(xiàn)實之間的隔閡，這為構建更為真實的虛擬環(huán)境和更具效率的機器人學習提供了另一種手段。