通過眼睛的世界不僅僅是我們角膜所反映的映像。例如，當我們看建筑物并欣賞其設計的復雜性時，我們可以欣賞它所需的工藝。這種通過創(chuàng)造它們的工具來解釋物體的能力使我們對世界有了更加豐富的理解，并且是我們獲取信息的一個重要方面。

我們希望我們的系統(tǒng)能夠創(chuàng)造出同樣豐富的世界表現(xiàn)形式。例如，觀察繪畫的圖像時，我們希望它會了解用于繪畫時的動作，而不僅僅是在屏幕上表示它的像素。

在這項工作中，我們?yōu)槿嗽熘悄芄芗遗鋫淞伺c用來生成圖像相同的工具，并證明它們可以推斷數(shù)字、人物和肖像的構造方式。至關重要的是，他們是自己學習如何做到這一點，而不需要人為標簽的數(shù)據(jù)集。這與之形成鮮明對比最近的研究(https://arxiv.org/pdf/1704.03477.pdf)依賴于從人為標記(human demonstrations)中學習，那樣可能會是更加耗費時間。

credit：Shutterstock

我們設計了一個與計算機繪畫程序交互的深度強化學習系統(tǒng)(http://mypaint.org/)，將筆觸放在數(shù)字畫布上并更改畫筆大小、壓力大小和顏色。未經(jīng)訓練的系統(tǒng)首先會繪制隨意的筆畫，但沒有明顯的構圖。為了克服這一點，我們必須創(chuàng)建一種獎勵機制，鼓勵系統(tǒng)生成有意義的圖畫。

為此，我們訓練了第二個神經(jīng)網(wǎng)絡，稱為鑒別器，其唯一目的是預測特定圖形是由機器制作的，還是從真實照片的數(shù)據(jù)集中采樣得來。繪畫系統(tǒng)的獎勵是通過“欺騙”鑒別者認為它的繪畫是真實的。換句話說，系統(tǒng)的獎勵信號本身就是學習的。雖然這與生成敵對網(wǎng)絡（GAN）中使用的方法類似，但它不同，因為GAN設置中的生成器通常是直接輸出像素的神經(jīng)網(wǎng)絡。相反，我們的系統(tǒng)通過編寫圖形程序來與繪圖環(huán)境交互來生成圖像。

在第一組實驗中，系統(tǒng)接受了訓練以生成類似于MNIST(http://yann.lecun.com/exdb/mnist/)數(shù)字的圖像：它顯示了數(shù)字的樣子，但沒有顯示它們是如何繪制的。通過嘗試生成用以欺騙鑒別器的圖像，智能系統(tǒng)學會了控制畫筆并操縱它以適應不同數(shù)字的風格--可視化程序合成技術(https://en.wikipedia.org/wiki/Program_synthesis)。

我們也訓練它重現(xiàn)特定的圖像。這里，鑒別器的目的是確定再現(xiàn)的圖像是否是目標圖像的副本，或者是否已經(jīng)由系統(tǒng)產(chǎn)生。鑒別者的這種區(qū)別越困難，系統(tǒng)得到的獎勵(rewarded)就越多。

至關重要的是，這個框架是可以解釋的，因為它產(chǎn)生了一系列控制模擬畫筆的動作。這意味著該模型可以將其在模擬繪畫程序中學到的知識應用于其他類似環(huán)境中的人物重建，例如在模擬(或者真實)的機器人手臂上。這個視頻可以在這里看到(https://youtu.be/XXM3PdIdLJQ)。

還有可能將這個框架擴展到實際的數(shù)據(jù)集上（real dataset）。經(jīng)過訓練可以繪制名人臉部表情，系統(tǒng)能夠捕捉到臉部的主要特征，例如形狀、色調和發(fā)型，就像街頭藝術家在使用有限數(shù)量的畫筆描繪肖像時一樣：

從原始感受中恢復結構化表示是人類容易擁有并經(jīng)常使用的能力。在這項工作中，我們表明可以通過讓人工系統(tǒng)獲得我們用來重現(xiàn)我們周圍世界的相似工具來指導人造系統(tǒng)產(chǎn)生類似的表示。在這樣做時，他們學會制作可視化程序，簡潔地表達引起觀察的因果關系。

盡管我們的工作僅代表了向靈活的程序綜合化(synthesis)邁出的一小步，但我們預計可能需要類似的技術才能使具有類似人類認知、概括和溝通能力的人工智能成為可能。