我們研究視頻到視頻的合成問題,其目的是學習從輸入源視頻(例如,一系列語義分割掩碼)到精確描述源視頻內容的輸出真實感視頻的映射功能。
雖然它的圖像對應物(圖像到圖像合成問題)是一個受歡迎的話題,但是視頻到視頻合成問題在文獻中很少探討。在不了解時間動態(tài)的情況下,將現(xiàn)有的圖像合成方法直接應用于輸入視頻通常會導致視覺質量低下的時間不連貫視頻。
在本文中,我們提出了一種在生成對抗性學習框架下的新穎的視頻合成方法。通過精心設計的生成器和鑒別器架構以及時空對抗目標,我們可以通過多種輸入格式(包括分割蒙版,草圖和姿勢)獲得高分辨率,逼真的,時間上連貫的視頻結果。在多個基準上進行的實驗表明,與強基準相比,我們的方法具有優(yōu)勢。
尤其是,我們的模型能夠合成長達30秒的街道場景的2K分辨率視頻,從而大大提高了視頻合成的最新水平。最后,我們將我們的方法應用于未來的視頻預測,其性能超過了幾個最先進的競爭系統(tǒng)。
我們的模型能夠合成長達30秒的街道場景的2K分辨率視頻,從而大大提高了視頻合成的最新水平。最后,我們將我們的方法應用于未來的視頻預測,其性能超過了幾個最先進的競爭系統(tǒng)。
我們的模型能夠合成長達30秒的街道場景的2K分辨率視頻,從而大大提高了視頻合成的最新水平。最后,我們將我們的方法應用于未來的視頻預測,其性能超過了幾個最先進的競爭系統(tǒng)。
-
視頻
+關注
關注
6文章
2014瀏覽量
75203 -
圖像
+關注
關注
2文章
1096瀏覽量
42451 -
鑒別器
+關注
關注
0文章
8瀏覽量
8869
發(fā)布評論請先 登錄
將 MCUX SDK LIN 堆棧集成到 Zephyr OS 中,是否有一種方法可以自動生成它們從 .ldf 文件?
GS4901B/GS4900B:視頻與音頻時鐘及定時生成的理想之選
自動駕駛場景生成方法及優(yōu)選方案:康謀aiSim 3DGS方案重塑行業(yè)標準
京東零售廣告創(chuàng)意:統(tǒng)一的布局生成和評估模型
一種無OS的MCU實用軟件框架
指令集測試的一種糾錯方法
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI的科學應用
一種適用于動態(tài)環(huán)境的自適應先驗場景-對象SLAM框架
一種新的無刷直流電機反電動勢檢測方法
一種新的無刷直流電機反電動勢檢測方法
破解數(shù)據(jù)瓶頸:智能汽車合成數(shù)據(jù)架構與應用實踐
一種基于擴散模型的視頻生成框架RoboTransfer
NVIDIA recsys-examples在生成式推薦系統(tǒng)中的高效實踐
【Firefly自研】高性能全流程視頻處理框架:FFMedia
一種在生成對抗性學習框架下的新穎的視頻合成方法
評論