一位新手畫家可能會遇到這樣的尷尬：提筆之初，原本設(shè)想的本來是一幅令人為之驚嘆的日落景觀——玻璃般的湖面反射出白雪皚皚的蜿蜒山脈，然而最后畫出的效果卻只是畫布上層層的墨跡。

NVIDIA研究利用生成式對抗網(wǎng)絡(luò)創(chuàng)建高度逼真的場景。

但是，NVIDIA Research開發(fā)的深度學(xué)習(xí)模型卻能將這一情形逆轉(zhuǎn)：它能將粗略的涂鴉轉(zhuǎn)變成令人嘆為觀止的逼真杰作。這一工具利用生成式對抗網(wǎng)絡(luò)（GAN），能夠?qū)⒎指顖D轉(zhuǎn)換為栩栩如生的圖像。

基于該模型的交互應(yīng)用程序被命名為GauGAN（發(fā)音似“高更”），以致敬后印象派畫家高更（Gauguin）。

后印象派畫家保羅·高更曾創(chuàng)作過幾幅自畫像，其中包括金貝爾藝術(shù)博物館收藏的創(chuàng)作于1885年的作品。（照片來自Wikimedia Commons，獲許可允許公開使用）。

GauGAN為各行各業(yè)的專業(yè)人士提供了一個能夠創(chuàng)建虛擬世界的強大工具——從建筑師、城市規(guī)劃者、到景觀設(shè)計師和游戲開發(fā)者。借助知曉現(xiàn)實世界的真實樣貌的AI，這些專業(yè)人士能構(gòu)思出更加出色的原型創(chuàng)意，并對合成的場景進行快速修改。

NVIDIA應(yīng)用深度學(xué)習(xí)研究副總裁Bryan Catanzaro表示： “通過把簡單的速寫轉(zhuǎn)換成高度逼真的圖像，這一項技術(shù)能夠?qū)㈩^腦風(fēng)暴的設(shè)計方式變得更加容易。”

Catanzaro將GauGAN所采用的技術(shù)比作 “智能畫筆” ，它能夠填充粗略分割圖（即顯示場景中物體位置的大致輪廓圖）中的細節(jié)。

借助于GauGAN，用戶能夠繪制自己的分割圖并構(gòu)建場景，并用沙子、天空、海洋或雪等標(biāo)簽對每個部分進行標(biāo)記。

該深度學(xué)習(xí)模型接收過一百萬張圖像的訓(xùn)練，能夠?qū)︼L(fēng)景畫進行填充，從而呈現(xiàn)精彩絕倫的效果：讓你仿佛置身一座池塘中，附近的樹木和巖石等元素都倒映在水中。如果將分割標(biāo)簽從“草”切換為“雪”，整個圖像也會隨之會變?yōu)槎緢鼍埃扒嗍[的綠樹也將凋謝。

“這就像一本填色圖冊里的圖畫，其中描繪了樹木、太陽和天空的位置，” Catanzaro說道?！叭缓?a href="http://m.sdkjxy.cn/tags/神經(jīng)網(wǎng)絡(luò)/" target="_blank">神經(jīng)網(wǎng)絡(luò)會根據(jù)其對真實圖像的了解，為圖片填充所需的細節(jié)和紋理，以及反射、陰影和顏色。”

盡管GAN對真實的物理世界缺乏理解，但它卻能夠生產(chǎn)足可以假亂真的效果，這是因為它所采用的結(jié)構(gòu)是一對合作式的網(wǎng)絡(luò)：生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)。生成網(wǎng)絡(luò)會創(chuàng)建圖像并展示給判別網(wǎng)絡(luò)；判別網(wǎng)絡(luò)接受過基于真實圖像的訓(xùn)練，能夠逐像素地為生成網(wǎng)絡(luò)提供反饋，并對其進行指導(dǎo)，教會其如何提升合成圖像的真實感。

接受過真實圖像訓(xùn)練的判別網(wǎng)絡(luò)知道真實的池塘和湖泊會產(chǎn)生反射，通過判斷網(wǎng)絡(luò)的反饋，生成網(wǎng)絡(luò)也將習(xí)得如何模仿這一效果，從而創(chuàng)建出令人信服的圖像。

用戶還能夠使用這一工具添加樣式過濾器，更改生成的圖片的風(fēng)格，模仿特定的畫家畫風(fēng)，或?qū)⒁环讜儓鼍稗D(zhuǎn)化為日落景象。

“這項技術(shù)不是簡單將其他圖像拼接在一起，或是進行紋理切割和粘貼，”Catanzaro說道?！笆聦嵣?，它是在合成新的圖像，這很像藝術(shù)家的繪畫方式?！?/p>

雖然GauGAN應(yīng)用程序?qū)Ｗ⒂陉懙?、海洋和天空等自然元素，但其潛在神?jīng)網(wǎng)絡(luò)也能夠填充其他景觀元素，包括建筑物、道路和人。

去年6月，GauGAN的相關(guān)研究論文從5000多篇論文中脫穎而出，在CVPR會議上做展示介紹（錄取率僅為5%）。