幾個(gè)月前，深度學(xué)習(xí)算法deepfakes風(fēng)靡社交網(wǎng)絡(luò)，引發(fā)無(wú)數(shù)網(wǎng)友將無(wú)辜女明星的臉用于合成AV。事件曝光后后，Reddit立即封禁了所有帖子，但它產(chǎn)生的惡劣影響卻令人擔(dān)憂——如今隨便一個(gè)普通人憑著一張GPU、一堆足夠多的訓(xùn)練數(shù)據(jù)就能實(shí)現(xiàn)人臉替換，而且它的效果好到能超出人眼識(shí)別的范圍，那么我們?cè)撊绾畏乐顾粸E用于損害他人名譽(yù)？又或者說(shuō)，我們對(duì)以后在視頻中看到的內(nèi)容又該保有幾分信任？

為了解決這個(gè)問(wèn)題，近日慕尼黑工業(yè)大學(xué)（TUM）等高校的研究人員制作了一個(gè)名為FaceForensics的大型人臉偽造視頻數(shù)據(jù)集，并成功用深度學(xué)習(xí)算法XceptionNet實(shí)現(xiàn)了“假臉”檢測(cè)。以下是對(duì)論文部分內(nèi)容的編譯：

哪張臉是真實(shí)的臉？

摘要

隨著計(jì)算機(jī)視覺(jué)和圖像處理技術(shù)取得最新進(jìn)展，現(xiàn)在我們已經(jīng)能做到在視頻中實(shí)時(shí)合成極其逼真的人臉。這項(xiàng)技術(shù)的背后是無(wú)限的應(yīng)用空間，但其中的某些濫用行為卻為我們拉響了安全警報(bào)，因此開(kāi)發(fā)一個(gè)可靠的虛假視頻檢測(cè)器迫在眉睫。

事實(shí)上，區(qū)分原始視頻和造假視頻對(duì)人和計(jì)算機(jī)來(lái)說(shuō)都是一個(gè)挑戰(zhàn)，特別是在視頻被壓縮或分辨率較低的情況下，而這種視頻一般多見(jiàn)于社交媒體網(wǎng)站。由于缺乏足夠大的數(shù)據(jù)集，以往對(duì)人臉偽造視頻檢測(cè)的研究一直因受阻而停滯不前。為此，我們引入了一個(gè)全新的人臉偽造數(shù)據(jù)集，它包含約50萬(wàn)張人臉圖像（來(lái)自1004個(gè)視頻），圖像所涉及的作偽技術(shù)都是當(dāng)前最先進(jìn)的，且在質(zhì)量上超過(guò)現(xiàn)有同類視頻處理數(shù)據(jù)集至少一個(gè)數(shù)量級(jí)。

通過(guò)使用這個(gè)新數(shù)據(jù)集，我們提出了一種能在各種分類、剪輯、壓縮情況下對(duì)圖像進(jìn)行經(jīng)典圖像取證的基準(zhǔn)，此外，我們還提引入了基準(zhǔn)評(píng)估，它能在現(xiàn)實(shí)基礎(chǔ)上創(chuàng)建已知的、難以區(qū)分的偽造模型，例如生成細(xì)化模型。

數(shù)據(jù)集FaceForensics

FaceForensics中包含的數(shù)據(jù)來(lái)自1004個(gè)視頻，它由兩個(gè)子集組成。其中第一個(gè)數(shù)據(jù)集（source-to-target）包含的是存在差異的源視頻和目標(biāo)視頻，而第二個(gè)數(shù)據(jù)集（self-reenactment）則是輸入視頻后由face2face還原的視頻，即源視頻與目標(biāo)視頻相同。這兩個(gè)數(shù)據(jù)集允許我們?cè)L問(wèn)合成圖像和真實(shí)圖像的真值對(duì)（ground truth pairs）。

源-目標(biāo)數(shù)據(jù)集：源演員的原始輸入圖像—目標(biāo)演員的原始輸入圖像—重演結(jié)果—合成期間使用的3D模型

數(shù)據(jù)搜集：所有數(shù)據(jù)都來(lái)自YouTube。我們選擇的是分辨率大于480p的視頻，它們?cè)赮ouTube8m上已用“face”“newscaster”或“newsprogram”進(jìn)行了標(biāo)記。通過(guò)使用Viola-Jones人臉檢測(cè)器，我們從圖片中提取了包含超過(guò)300個(gè)連續(xù)幀的人臉視頻序列，之后再剪輯成果并手動(dòng)放映，從中篩選出優(yōu)質(zhì)的、無(wú)遮擋的視頻。

數(shù)據(jù)處理：為了處理視頻，我們使用的方法是最先進(jìn)的face2face，它能完全自動(dòng)重演操作，并能在不同表情條件下重新渲染視頻中的人臉。在預(yù)處理階段，我們用第一幀獲取人臉的3D模型，并在剩下的幀中跟蹤表情。為了改善個(gè)體擬合和靜態(tài)紋理估計(jì)，面部左右角度的檢測(cè)框是自動(dòng)選擇的，而這在face2face里原本是手動(dòng)完成的。簡(jiǎn)而言之，通過(guò)追蹤表情，我們能實(shí)現(xiàn)個(gè)體擬合和靜態(tài)紋理估計(jì)；而通過(guò)個(gè)體重建，我們就能追蹤整個(gè)視頻來(lái)計(jì)算每一幀的表達(dá)式、rigid pose和照明參數(shù)。

這兩個(gè)數(shù)據(jù)集的目標(biāo)主要有以下兩點(diǎn)：

驗(yàn)證用當(dāng)前最先進(jìn)技術(shù)生成的偽造視頻在分類和分割時(shí)會(huì)有什么樣的表現(xiàn)。

能否使用生成網(wǎng)絡(luò)提高偽造質(zhì)量。

偽造分類任務(wù)

偽造分類任務(wù)的目的是識(shí)別偽造圖像，它可以被看作是一個(gè)二元分類問(wèn)題，逐幀處理視頻。在數(shù)據(jù)集的支持下，我們理想中的檢測(cè)算法不僅能分類高清視頻，它應(yīng)該也能分類視頻被壓縮或分辨率較低的視頻。為了測(cè)試算法的性能，我們用H.264壓縮算法設(shè)置了3個(gè)視頻壓縮基線：無(wú)壓縮視頻、參數(shù)為23的低壓縮視頻和參數(shù)為40的高壓縮視頻。

各基線的清晰度對(duì)比

我們?cè)跀?shù)據(jù)集上測(cè)試了一系列CNN模型，其中包括一個(gè)基于XceptionNet CNN架構(gòu)的遷移模型。首先，我們?cè)贗mageNet上事先把XceptionNet CNN訓(xùn)練好，并對(duì)數(shù)據(jù)集進(jìn)行微調(diào)。在微調(diào)期間，我們固定與整個(gè)神經(jīng)網(wǎng)絡(luò)前4個(gè)模塊相對(duì)應(yīng)的36個(gè)卷積層，然后把最后一層替換成兩個(gè)帶輸出的全連接層，隨機(jī)初始化后進(jìn)行10個(gè)epoch的訓(xùn)練。

當(dāng)網(wǎng)絡(luò)連續(xù)5個(gè)epoch基本保持不變后，為了優(yōu)化輸出，我們又引入了一些超參數(shù)來(lái)進(jìn)行評(píng)估：Adam、學(xué)習(xí)率=0.001、β1=0.9、β2=0.999、batch-size=64。下表是我們得出的各模型分類準(zhǔn)確率：

分類準(zhǔn)確率：無(wú)壓縮 (no-c)；低壓縮 (easy-c)；高壓縮(hard-c)

可以發(fā)現(xiàn)，在無(wú)壓縮情況下，所有模型都表現(xiàn)良好，而隨著視頻清晰度的下降，它們的準(zhǔn)確率也都出現(xiàn)了不同程度的下降，其中較淺的CNN表現(xiàn)尤為明顯，而XceptionNet CNN總體表現(xiàn)優(yōu)秀。事實(shí)上，這種下降是可以接受的，因?yàn)橐坏┮曨l變得很模糊，人眼也無(wú)法作出準(zhǔn)確的區(qū)分。

偽造分割任務(wù)

處理圖像的像素級(jí)分割是一項(xiàng)非常具有挑戰(zhàn)性的任務(wù)，而對(duì)于圖像取證，最有效的一種方法是根據(jù)基于相機(jī)的偽像（如傳感器噪聲，去馬賽克）。但這種方法在我們的數(shù)據(jù)集上并沒(méi)有很好的表現(xiàn)，即便是未壓縮的視頻，它的表現(xiàn)也很一般。所以我們還是得用深度學(xué)習(xí)方法，用數(shù)據(jù)集進(jìn)行充分訓(xùn)練。

因?yàn)閄ceptionNet之前在分類任務(wù)中表現(xiàn)良好，所以這里我們還是把它作為對(duì)比模型之一。在測(cè)試時(shí)，神經(jīng)網(wǎng)絡(luò)的滑動(dòng)窗口以128×128像素大小移動(dòng)，步長(zhǎng)16。每個(gè)圖像塊Wi計(jì)算出操作概率的估計(jì)值p?i= CNN(Wi)，然后把它分配給中央的16×16區(qū)域。（詳細(xì)過(guò)程略）

同樣的，當(dāng)網(wǎng)絡(luò)連續(xù)5個(gè)epoch基本保持不變后，我們?cè)俅我雽W(xué)習(xí)率=0.001、β1=0.9、β2=0.999進(jìn)行優(yōu)化。因?yàn)橐獙⒑?6個(gè)原圖像、偽造圖像相關(guān)的3個(gè)原圖像塊、偽圖像塊組合訓(xùn)練，這次的batch-size=96。

精度和召回率

偽造人臉?lè)指罱Y(jié)果

如上圖所示，這次我們沿用了之前的定量評(píng)估，發(fā)現(xiàn)隨著壓縮率的上升，各模型分割性能都出現(xiàn)了明顯下降。最終，在高壓縮視頻中，只有基于XceptionNet的模型給出了較好的輸出。

反向用于生成偽像

在我們的“偽造分類任務(wù)”中，實(shí)驗(yàn)證明Face2Face可以從未壓縮的視頻中檢測(cè)到相當(dāng)多的數(shù)據(jù)信息，這就產(chǎn)生了一個(gè)問(wèn)題，即這個(gè)數(shù)據(jù)集是否也能用于相反的目標(biāo)——進(jìn)一步提升合成人訓(xùn)練的逼真程度。為了證實(shí)這一點(diǎn)，我們用包含521,406個(gè)目標(biāo)真值的第二個(gè)數(shù)據(jù)集做了一次監(jiān)督學(xué)習(xí)。

帶有skip connection的自動(dòng)編碼器（AE）

作為基準(zhǔn)，我們?cè)O(shè)計(jì)了一個(gè)帶有skip connection的自動(dòng)編碼器CNN架構(gòu)，它將128×128像素的圖像作為輸入，并預(yù)測(cè)具有相同分辨率的圖像（見(jiàn)上圖）。為了從人臉圖像中獲得有意義的特征，我們先使用VGGFace2數(shù)據(jù)集以無(wú)監(jiān)督學(xué)習(xí)的方式對(duì)自動(dòng)編碼器網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練。該數(shù)據(jù)集包含9131個(gè)類別的313萬(wàn)幅圖像，比我們的數(shù)據(jù)集多，但沒(méi)有經(jīng)過(guò)標(biāo)記。我們禁用了skip connection，強(qiáng)迫神經(jīng)網(wǎng)絡(luò)完全依靠瓶頸層進(jìn)行訓(xùn)練。

之后，我們又對(duì)FaceForensics中的368,135個(gè)訓(xùn)練圖像進(jìn)行微調(diào)，并把經(jīng)過(guò)預(yù)訓(xùn)練的自動(dòng)編碼器網(wǎng)絡(luò)放在上面訓(xùn)練。我們輸入一張假臉，把監(jiān)督學(xué)習(xí)的loss設(shè)置成1，啟用skip connection，以便網(wǎng)絡(luò)能輸出更清晰的結(jié)果。

上圖展示了我們的成果。通過(guò)拉近特寫鏡頭，可以發(fā)現(xiàn)比起Face2Face，我們改進(jìn)自動(dòng)編碼器后生成的圖片能顯示更多細(xì)節(jié)。Face2Face在鼻孔、鼻子、下巴和臉頰周圍會(huì)生成大量偽影，我們的方法不僅讓這些區(qū)域的線條更清晰，還修改了人臉3D模型與背景之間的過(guò)渡錯(cuò)誤。同時(shí)，它還改進(jìn)了Face2Face由于照明參數(shù)估計(jì)錯(cuò)誤導(dǎo)致的偽影問(wèn)題。