2月7日，百度官方公眾號(hào)發(fā)布了一條極為簡(jiǎn)短的通告——《官宣：文心一言》。據(jù)了解，文心一言正是百度內(nèi)部所研發(fā)的類(lèi)ChatGPT聊天機(jī)器人，其英文名稱(chēng)則為ERNIE Bot。

據(jù)百度內(nèi)部人員表示：文心一言由基于百度提出的知識(shí)增強(qiáng)大模型（Ernie）擴(kuò)展而成的一系列高級(jí)大模型構(gòu)成，可以執(zhí)行廣泛的任務(wù)，包括語(yǔ)言理解、語(yǔ)言生成(ERNIE 3.0 Titan)以及根據(jù)文本生成圖像(ERNIE-ViLG)等。與其他語(yǔ)言模型相比，文心一言能夠?qū)V泛的知識(shí)與海量數(shù)據(jù)相結(jié)合，從而產(chǎn)生非凡的理解與生成能力。公司計(jì)劃在3月完成文心一言的內(nèi)部測(cè)試，然后向公眾正式開(kāi)放使用。

雖然對(duì)于文心一言的實(shí)際表現(xiàn)我們暫且不得而知，但通過(guò)百度此前所發(fā)布的名為《ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation》的論文，目前我們可以大致了解到一些有關(guān)其所應(yīng)用的語(yǔ)言模型ERNIE 3.0 Titan的相關(guān)信息。

據(jù)論文顯示：ERNIE 3.0 Titan是百度于PaddlePaddle平臺(tái)上所訓(xùn)練的千億參數(shù)模型，其中包含多達(dá)2600億個(gè)參數(shù)（ChatGPT使用1750億參數(shù)的GPT3.5模型）。此外，百度還設(shè)計(jì)了一個(gè)自我監(jiān)督的對(duì)抗性損失和一個(gè)可控的語(yǔ)言建模損失，使ERNIE 3.0 Titan生成可信和可控的文本。

為了減少計(jì)算開(kāi)銷(xiāo)和碳排放，百度還為ERNIE 3.0 Titan提出了一個(gè)在線蒸餾框架，其中教師模型將同時(shí)教授學(xué)生和訓(xùn)練自己。ERNIE 3.0Titan是迄今為止最大的中國(guó)密集預(yù)訓(xùn)模型。相關(guān)實(shí)驗(yàn)結(jié)果表明，ERNIE 3.0 Titan在68個(gè)NLP數(shù)據(jù)集上的性能已優(yōu)于現(xiàn)階段最先進(jìn)的語(yǔ)言模型，包括ChatGPT所應(yīng)用的GPT3.5模型。

ERNIE 3.0 Titan模型架構(gòu)圖

據(jù)悉，目前文心一言已進(jìn)入上線前的最接沖刺階段，而相關(guān)消息的曝出，也使百度港股一度暴漲超17%，市值增長(zhǎng)約700億港元。據(jù)部分業(yè)內(nèi)人士推測(cè)，百度文心一言項(xiàng)目或早在2022年9月便已啟動(dòng)研發(fā)，彼時(shí)百度CEO李彥宏在世界人工智能大會(huì)上就曾表示：無(wú)論在技術(shù)層面還是商業(yè)應(yīng)用層面，人工智能都有了巨大的進(jìn)展，有些甚至是方向性的改變。

考慮到目前由ChatGPT所帶來(lái)的生成式AI的火爆，未來(lái)覬覦這一領(lǐng)域市場(chǎng)的國(guó)內(nèi)企業(yè)，勢(shì)必不止百度一家。就市場(chǎng)角度而言，目前類(lèi)ChatGPT聊天機(jī)器人最明顯的價(jià)值與落地場(chǎng)景，正是百度主營(yíng)的搜索業(yè)務(wù)。如此看來(lái)，如果下一次科技革命真的爆發(fā)在該領(lǐng)域，那么百度無(wú)疑已拔得頭籌。此外，不少業(yè)內(nèi)人士認(rèn)為，考慮到谷歌和微軟的推進(jìn)節(jié)奏，文心一言開(kāi)放內(nèi)測(cè)的進(jìn)度還有可能繼續(xù)提前。

審核編輯 ：李倩