上個月，OpenAI 發(fā)布其最新語言模型——GPT-2，但因為擔(dān)心它可能被用來制造大量偽造和虛假的信息，頗為戲劇性地決定不開源該模型。

這一決定也使得 AI 社區(qū)開始討論：如何檢測這類虛假新聞。

在一項新實驗中，來自麻省理工學(xué)院-IBM Watson 人工智能實驗室和哈佛大學(xué)自然語言處理實驗室的研究人員思考，能夠生成如此逼真的文本的語言模型，是否可以用來檢測其他語言模型生成的文本的真假。

圖 丨 OpenAI GPT-2 生成的假新聞。（來源：HENDRIK STROBELT AND SEBASTIAN GEHRMANN）

這個假設(shè)背后的想法很簡單：語言模型通過不斷預(yù)測單詞序列中的下一個概率最大的單詞來產(chǎn)生句子。因此，如果某個語言模型能夠輕松地預(yù)測某一段落中的大部分詞語，那這段文本很可能就是這個語言模型生成的。

研究人員通過構(gòu)建基于 OpenAI GPT-2 開源的小模型的交互式工具來測試他們的想法。當(dāng)為該工具提供一段文字時，它會讓每個單詞高亮不同的顏色，從綠色到黃色到紅色，表示預(yù)測幾率逐漸下降；如果語言模型根本沒有預(yù)測出某一單詞，它會用紫色高亮該單詞。所以從理論上講，紅色和紫色詞的越多，該文本由人類書寫的概率就越大；如果綠色和黃色詞的份額越大，該文本由語言模型生成的概率就越大。

圖 丨 OpenAI GPT-2 小模型生成的文本。（來源：HENDRIK STROBELT AND SEBASTIAN GEHRMANN）

事實上，研究人員發(fā)現(xiàn)，GPT-2 的小模型和完整版本的模型所寫的段落幾乎完全是綠色和黃色，而人類寫的科學(xué)文摘和美國入學(xué)標(biāo)準(zhǔn)化測試中閱讀理解段落中的文字有很多紅色和紫色。

圖 丨 美國入學(xué)標(biāo)準(zhǔn)化測試中的閱讀理解短文，由人類書寫。（來源：HENDRIK STROBELT AND SEBASTIAN GEHRMANN）

但事情沒有想象中的簡單。Janelle Shane 是一位負責(zé)運營“Letting Neural Networks Be Weird“博客的研究員，她并未參與前文所述的研究。她將該工具用于更嚴格的測試，不僅僅提供 GPT-2 生成的文本，還提供了由其他語言模型生成的文本，包括一個用亞馬遜評論訓(xùn)練的模型和一個用《龍與地下城》語料訓(xùn)練的模型。

她發(fā)現(xiàn)，這個工具無法預(yù)測每個段落中的大部分單詞，因此該工具認為這些文本是人類寫的。這說明一個重要觀點：語言模型可能擅長檢測自己的輸出，但不一定擅長檢測其他語言模型的輸出。

看來，人類打擊互聯(lián)網(wǎng)假新聞還是任重道遠啊。