技術和算法的開發(fā)和精進讓AI換臉、AI克隆都成了可實現的事情。近日,上??萍即髮W團隊的一項新研究,再一擴展了這一領域,其開發(fā)建立了人體圖像合成——人體圖像合成的目的是制作可信和逼真的人類圖像,包括運動模擬、外觀傳遞和新視圖合成等。
這意味著,模型一旦經過訓練,就可以用來處理所有這些任務。只要一張照片、一段視頻,就能讓特朗普跟著明星偶像“唱、跳、Rap”。
研究團隊先是采集了30個研究對象的數據,他們的體型、身高各不相同。每個研究對象穿著不同的衣服,完成一套指定動作和一套隨機動作。基于此,建立了一個具有多種樣式、不同人物穿不同衣服的數據集,稱為Impersonator(iPER)數據集。
隨后,研究人員使用三維人體網格恢復模塊,以分離姿勢和形狀。值得一提的是,現有任務特定方法主要利用二維關鍵點、對人體結構進行估計。但是,它們只表示位置信息沒有能力描述人的個性化形狀和肢體旋轉模型。
而三維人體網格不僅可以對關節(jié)的位置和旋轉進行建模,還可以對關節(jié)的位置和旋轉進行建模描述個性化的體型。
為了保存源信息,如紋理、樣式、顏色和人臉標識,研究人員還提出了一種注意型液化GAN。比如,通過降噪卷積自動編碼器提取特朗普的身體特征,然后經過GAN不斷地訓練學習、微調、監(jiān)督、轉化,將低分辨率的模型轉變成高分辨率的模型,使輸出來的視頻圖像清晰。
人體圖像合成一經開發(fā),將在角色動畫、角色再現、虛擬服裝試穿、電影或游戲制作等方面展示其巨大的潛在應用前景。當然,技術的使用永遠需要合理的規(guī)制,“以假亂真”一旦泛濫,將對市場造成難以恢復的危害。
責任編輯:PSY
-
人體
+關注
關注
0文章
11瀏覽量
11594 -
圖像
+關注
關注
2文章
1096瀏覽量
42448 -
AI
+關注
關注
91文章
41326瀏覽量
302711 -
合成
+關注
關注
0文章
16瀏覽量
13940
發(fā)布評論請先 登錄
多通道兼容圖像采集卡:一機搞定多路圖像信號處理
圖像采集卡:連接設備與數據的圖像樞紐
數字圖像采集的核心載體——圖像采集卡技術白皮書
EspeedGrab圖像采集軟件介紹(Cameralink轉USB采集)
圖像采集卡終極指南:從原理到選型
圖像采集卡:機器視覺時代的圖像數據核心樞紐
AI開啟更逼真的游戲時代
圖像采集卡:機器視覺與專業(yè)成像的關鍵橋梁
HarmonyOS應用圖像stride處理方案
利用NVIDIA 3D引導生成式AI Blueprint控制圖像生成
工業(yè)相機圖像采集卡:機器視覺的核心樞紐
人體圖像合成制作可信和逼真的人類圖像
評論