上個(gè)月，OpenAI發(fā)布了一個(gè)“逆天”的AI模型——GPT2，整個(gè)模型包含15億個(gè)參數(shù)。你給它一句話(huà)，它能給你編出一篇文章來(lái)。

OpenAI的研究主管Dario Amodei表示，GPT2是在一個(gè)包含大約1000萬(wàn)篇文章的數(shù)據(jù)集上進(jìn)行培訓(xùn)的，比之前最先進(jìn)的AI模型大12倍，數(shù)據(jù)集大15倍。

有這么厲害？看看他的實(shí)力水平不就知道了，OpenAI給出了這么一個(gè)開(kāi)頭：

在一項(xiàng)研究中，科學(xué)家們發(fā)現(xiàn)了一群獨(dú)角獸，它們生活在安第斯山脈一個(gè)偏遠(yuǎn)的還沒(méi)被開(kāi)發(fā)山谷中，更令人驚訝的是這些獨(dú)角獸會(huì)說(shuō)一口流利的英語(yǔ)

就這么一句話(huà)，GPT-2能寫(xiě)出以下這么一大段故事：

因?yàn)樗鼈儶?dú)特的角，科學(xué)家們將他們命名為Ovid’s Unicorn，這些四角、銀色角的獨(dú)角獸是原來(lái)科學(xué)家所不曾見(jiàn)過(guò)的。

......中間還編寫(xiě)了，這些獨(dú)角獸是如何被發(fā)現(xiàn)的，以及業(yè)內(nèi)權(quán)威人士認(rèn)為這些生物是如何出現(xiàn)的，最后還表明要驗(yàn)證這群獨(dú)角獸是否為外星種族，唯一的方法可能就是通過(guò)DNA。

這一本正經(jīng)的胡說(shuō)八道，說(shuō)的猿妹我都信以為真

能有這樣出色的表現(xiàn)，不是沒(méi)有原因的，GPT-2各種特定領(lǐng)域的語(yǔ)言建模任務(wù)中都取得了很好的分?jǐn)?shù)。作為一個(gè)沒(méi)有經(jīng)過(guò)任何領(lǐng)域數(shù)據(jù)專(zhuān)門(mén)訓(xùn)練的模型，它的表現(xiàn)，比那些專(zhuān)為特定領(lǐng)域數(shù)據(jù)集（例如維基百科，新聞，書(shū)籍）上訓(xùn)練的模型。有圖有真相：

除了能用于語(yǔ)言建模，GPT-2在問(wèn)答、閱讀理解、摘要生成、翻譯等等任務(wù)上也都有非常好的成績(jī)，openAI在博客上也給出了示例，感興趣的可以前往查看（地址：https://blog.openai.com/better-language-models/）

除了以上提到的這些優(yōu)異表現(xiàn)，最主要的是GPT-2還學(xué)習(xí)幾種編程語(yǔ)言的語(yǔ)法模型，比如PHP和JavaScript。

它寫(xiě)出來(lái)的JavaScript長(zhǎng)這樣：

還有PHP語(yǔ)言：

就連Facebook AI研究院的Tim Rockt?schel看了GPT-2寫(xiě)出來(lái)的代碼都表示：我們要有大麻煩了

話(huà)雖如此，該博客下面也有人表示其實(shí)，GPT-2寫(xiě)的代碼不夠嚴(yán)謹(jǐn)，容易把js、C++、Python等語(yǔ)言混為一談。但實(shí)力依然不可小覷

目前，GPT-2已經(jīng)在GitHub上獲得4116個(gè)Star，674個(gè)Fork（地址：https://github.com/openai/gpt-2），喜歡的人可以嘗試一下

不過(guò)，OpenAI 的研究人員們決定不發(fā)布訓(xùn)練模型的數(shù)據(jù)、也不發(fā)布最大那個(gè)模型預(yù)訓(xùn)練后的參數(shù)，因?yàn)樗麄冋J(rèn)為如此強(qiáng)力的模型有遭到惡意濫用的風(fēng)險(xiǎn)。最后，你們?nèi)绾慰创@個(gè)項(xiàng)目呢？