憑借AI修復老北京影像火爆B站的Up主大谷兄，今天又來帶我們玩穿越了！

這次是1929年的老北京，除了AI上色、補幀、擴大分辨率外，還百分百還原了時代原聲，老北京的味兒太足了！

人頭攢動，熙熙攘攘，有賺吆喝的、看熱鬧的、閑聊的，老北京集市好不熱鬧。

大鼓、笛子、四胡、三弦，手藝人的一曲《打新春》，有內味了。

精神小伙理發(fā)記

溢出屏幕的開心勁兒，看來發(fā)型很滿意。在我們這年代都不用理，用不了幾年就能天然形成［傲嬌］

吃飯還能這么熱鬧嗎？我們現在都是隔著兩米！

驚現“地攤經濟”

3min的珍貴影像資料，可謂真真切切地感受了老北京九十年前的生活狀態(tài)。雖然看起來物質生活不是很富裕，但隔著屏幕都是感受到那時候人們的歡樂。準確的來說，這段影像記錄的是1927-1929年的老北京，出自南卡羅萊納大學影像庫館藏膠片。

另外，這段影像修復視頻依然出自B站Up主大谷之手，此前他曾用AI修復過1920-1927年的一段老北京影像，在B站爆火，視頻點擊量超過了200萬，還受到了央視新聞的報道。不過，從影像的修復效果過來看，顯然這次在去噪和著色方面處理的更好，而且還是自帶原聲的影像資料。

這次的修復作品是與央視新聞聯合發(fā)布的，視頻上傳不到30min，在B站就收獲了30多萬的播放量，彈幕更是爆屏。

AI修復是如何實現的？

據大谷介紹，這部修復作品采用了新的AI技術DeepRemaster。與此前相比，它在上色、補幀、分辨率方面都有更出色的表現。這項技術的研發(fā)者是日本建筑大學的Satoshi Iizuka和和早稻田大學的Edgar Simo-Serra。他們的論文還被計算機圖形學頂會SIGG2019收錄。

我們知道以前的影像資料一般都是黑白的，而且像素、質量比較低。如果修復的話，需要提高分辨率、去除噪聲和增強對比度的處理?；谶@些任務，作者中提出了一個DeepRemaster模型。

它基于時間卷積神經網絡，在視頻上訓練注意力機制（Source-Reference），這種注意力機制可以處理任意數量的彩色圖像，同時不需要對長視頻進行分割，因此保持時間的一致性。經過定量分析表明，DeepRemaster的模型性能可以隨著視頻長度和彩色圖像的增加而提高，遠優(yōu)于現有的修復模型。

DeepRemater模型的內部架構

在模型Input端輸入黑白圖像，經過時間卷積網絡的預處理和Source-Reference注意力機制的深度訓練后，可以結合任意數量的彩色圖像來生成最終的色度信道。在這一過程中， Source-Reference注意力機制允許模型再給視頻上色時，參考彩色圖像（Reference Images）中的相似區(qū)域。

基于遞歸的卷積神經網絡，在傳播信息時，通常是逐幀傳播，不能進行并行處理，并形成依賴關系。因此，在參考彩色圖像時，圖像會反復重新開始，這樣時間上的相關性就會丟失。而基于Source-Reference注意力機制的卷積神經網絡在處理任何幀時能夠并行使用所有的參考信息。

修復方法比較

Zhang、Yu和Vondrick等人曾對世界經典電影和和Youtube視頻進行AI修復試驗，結果取得了不出的效果。作者為驗證DeepMaster的修復性能，與之進行了對比。

首先是與Zhang、Yu的比較。作者從Youtube的300視頻數據集中隨機抽取了一段8M視頻作為修復目標，其中所用到參考彩色圖像，取自源視頻，并每隔60幀截取一次。

噪聲處理：從修復結果來看，當前的方法在去噪處理方面，顯然優(yōu)勢明顯。第一列為存在噪聲瑕疵的原圖像，前兩種幾乎沒有對齊進行修復，第四列可以看到在高保真的狀態(tài)下，噪聲被處理的很好，與第四列真實圖像幾乎沒有差異。

著色處理：圖中第一列為原始圖像，后三列為不同方法的處理著色處理結果，最后一列為參考彩色圖形。可以看出第三列的顏色處理與第四列幾乎無差異。因此，基于Source-Reference注意力機制的模型著色效果更好。

另外，作者將Zhang和Vondrick的修復方法結合，并進行了比較。上部圖像為參考彩色圖像，分別對第5、85、302幀的圖像進行了修復，結果可以看出目前的方法在著色效果上更好。
? ? ? ?責任編輯:pj