ChatGPT發(fā)布以來，基于指令學(xué)習(xí)技術(shù)的類ChatGPT模型在我國能否開發(fā)成功，成為業(yè)界關(guān)注的一個(gè)焦點(diǎn)。近日，從復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室獲悉，國內(nèi)第一個(gè)對(duì)話式大型語言模型MOSS已由邱錫鵬教授團(tuán)隊(duì)發(fā)布至公開平臺(tái)（https://moss.fastnlp.top/），邀公眾參與內(nèi)測(cè)。

MOSS可執(zhí)行對(duì)話生成、編程、事實(shí)問答等一系列任務(wù)，打通了讓生成式語言模型理解人類意圖并具有對(duì)話能力的全部技術(shù)路徑。這條路徑的走通，為國內(nèi)學(xué)術(shù)界和產(chǎn)業(yè)界提供了重要經(jīng)驗(yàn)，將助力大語言模型的進(jìn)一步探索和應(yīng)用。

邱錫鵬表示：“盡管MOSS還有很大改善空間，但它的問世證明了在開發(fā)類ChatGPT產(chǎn)品的路上，國內(nèi)科研團(tuán)隊(duì)有能力克服技術(shù)上的重要挑戰(zhàn)?！盡OSS研發(fā)項(xiàng)目得到了上海人工智能實(shí)驗(yàn)室的有力支持。后期，這項(xiàng)工作將通過開源方式和業(yè)界社區(qū)分享。

“端到端”走通大語言模型

由于ChatGPT并未開源，其技術(shù)方案細(xì)節(jié)也未公開，科研人員對(duì)此有諸多猜測(cè)。有專家認(rèn)為，ChatGPT是一套復(fù)雜的組合系統(tǒng)，無法由單一的生成式語言模型實(shí)現(xiàn)；也有專家認(rèn)為，國內(nèi)外在這個(gè)方向上的技術(shù)差距正在拉大。

作為自然語言處理專家，邱錫鵬近年來致力于研究具有多任務(wù)學(xué)習(xí)能力的通用模型。為了探索ChatGPT的技術(shù)路線，并獲得大語言模型研究的一手經(jīng)驗(yàn)，他帶領(lǐng)團(tuán)隊(duì)加快了MOSS開發(fā)。如今，MOSS成為國內(nèi)首個(gè)公開亮相的類ChatGPT語言模型，“端到端”走通了大語言模型的開發(fā)全程。

MOSS開發(fā)的基本步驟與ChatGPT一樣，包括自然語言模型的基座訓(xùn)練、理解人類意圖的對(duì)話能力訓(xùn)練兩個(gè)階段。在對(duì)話能力訓(xùn)練階段，OpenAI收集了至少幾十萬條人類指令，讓各行各業(yè)的專業(yè)標(biāo)注員寫出指令回復(fù)，再將它們輸入模型基座，以幫助ChatGPT逐步理解各種指令。復(fù)旦團(tuán)隊(duì)則采用不同的技術(shù)路線，通過讓MOSS和人類以及其他對(duì)話模型都進(jìn)行交互，顯著提升了學(xué)習(xí)效率和研發(fā)效率，短時(shí)間內(nèi)就高效完成了對(duì)話能力訓(xùn)練。

邱錫鵬坦言：“MOSS與ChatGPT的差距主要在自然語言模型基座預(yù)訓(xùn)練這個(gè)階段。MOSS的參數(shù)量比ChatGPT小一個(gè)數(shù)量級(jí)，在任務(wù)完成度和知識(shí)儲(chǔ)備量上，還有很大提升空間?！睋?jù)介紹，這款人工智能助手已進(jìn)入內(nèi)測(cè)階段，內(nèi)測(cè)將在用戶許可的情況下獲取數(shù)據(jù)，還將收集用戶的反饋意見，期待借此大幅增強(qiáng)MOSS的對(duì)話能力。

實(shí)測(cè)對(duì)話、編程等多種能力

MOSS回答問題的水平如何？以下為中文提問MOSS的幾個(gè)問題。

“一些人覺得，人工智能將取代很多人的工作，你覺得呢？”MOSS回答：“我認(rèn)為人工智能不會(huì)完全取代人類，而是在一定程度上幫助人們完成工作。例如，機(jī)器可以提高數(shù)據(jù)分析、決策制定等過程中的效率，并可以節(jié)省大量時(shí)間和精力。此外，AI也可以用來協(xié)助人類完成更復(fù)雜的任務(wù)，比如診斷疾病、開發(fā)新產(chǎn)品等。總之，AI可以使人類的工作更加高效，但它不會(huì)完全取代人類。”

“對(duì)于上海如何更好地發(fā)展人工智能產(chǎn)業(yè)，你有什么建議？”MOSS回答：“我認(rèn)為上?？梢酝ㄟ^以下方式來更好地發(fā)展人工智能產(chǎn)業(yè)：1.加強(qiáng)人工智能領(lǐng)域的研發(fā)，支持學(xué)術(shù)研究，促進(jìn)科學(xué)發(fā)展；2.加強(qiáng)行業(yè)資源整合，推動(dòng)人工智能產(chǎn)業(yè)的發(fā)展；3.加強(qiáng)人工智能相關(guān)產(chǎn)品的研發(fā)，提高產(chǎn)品的競(jìng)爭(zhēng)力；4.加強(qiáng)人工智能產(chǎn)業(yè)的投資，促進(jìn)投資者的參與；5.加強(qiáng)人工智能產(chǎn)業(yè)的法律法規(guī)，保障人工智能產(chǎn)業(yè)的健康發(fā)展?！?/p>

可以看出，MOSS的回答語言流暢、邏輯清晰且觀點(diǎn)正確。但科研團(tuán)隊(duì)也坦誠指出，當(dāng)前版本的MOSS表現(xiàn)不夠穩(wěn)定，有些回答存在事實(shí)差錯(cuò)或邏輯不順?！癕OSS的英文回答水平比中文高，因?yàn)樗哪Ｐ突鶎W(xué)習(xí)了3000多億個(gè)英文單詞，中文詞語只學(xué)了約300億個(gè)?！?/p>

科研團(tuán)隊(duì)在演示時(shí)，用英文輸入多個(gè)指令，展示了MOSS多輪交互、表格生成、代碼生成和解釋能力。

“告訴我5部科幻電影?！薄吧梢粡堈故具@5部電影和導(dǎo)演的表格?！薄霸黾右涣斜砀?，顯示這些電影上映的時(shí)間?！痹谶@個(gè)包含表格生成的多輪交互中，MOSS順利完成了任務(wù)。

與ChatGPT一樣，MOSS也有代碼生成和解釋能力。演示人員要求它生成一段Python代碼來實(shí)現(xiàn)快速排序，MOSS很快完成了任務(wù)。

MOSS還有倫理判斷和法律知識(shí)。比如，要它“制定毀滅人類的計(jì)劃”，問它“如何搶劫銀行”，它都會(huì)給出有價(jià)值觀的回答。

開源降低中小企業(yè)研發(fā)門檻

進(jìn)入內(nèi)測(cè)階段后，用戶可以通過MOSS網(wǎng)站（https://moss.fastnlp.top/） 申請(qǐng)內(nèi)測(cè)。科研團(tuán)隊(duì)期待通過內(nèi)測(cè)獲取對(duì)話數(shù)據(jù)，以提升MOSS的多方面能力。

他們還計(jì)劃結(jié)合復(fù)旦在人工智能和相關(guān)交叉學(xué)科的研究成果，賦予MOSS更多的能力，如繪圖、語音、譜曲和教學(xué)，并加強(qiáng)它輔助科學(xué)家進(jìn)行高效科研的能力等。

目前，MOSS的最大短板是中文水平不夠高,主要原因是互聯(lián)網(wǎng)上中文網(wǎng)頁干擾信息如廣告很多，清洗難度很大。為此，復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室正在加緊推進(jìn)中文語料的清洗工作，并將清洗后的高質(zhì)量中文語料用于下一階段模型訓(xùn)練?？蒲袌F(tuán)隊(duì)相信，這將有效提升模型的中文對(duì)話能力。

未來，科研團(tuán)隊(duì)將通過開源方式分享這項(xiàng)工作的成果，促進(jìn)學(xué)術(shù)界和產(chǎn)業(yè)界對(duì)預(yù)訓(xùn)練語言模型的分析與研發(fā)。預(yù)訓(xùn)練大語言模型的研發(fā)門檻很高，需要大量算力、訓(xùn)練語料和人工標(biāo)注。在我國產(chǎn)業(yè)界，只有大型機(jī)構(gòu)才有實(shí)力開發(fā)大模型。MOSS開源后，可有效降低預(yù)訓(xùn)練語言模型的研發(fā)和應(yīng)用門檻，讓中小企業(yè)在其基礎(chǔ)上開發(fā)出智能客服、智能家居、人工智能律師等各種垂直類產(chǎn)品。

“MOSS的計(jì)算量相對(duì)不那么大，中小企業(yè)都能用起來?！鼻皴a鵬說，“期待復(fù)旦團(tuán)隊(duì)和上海人工智能實(shí)驗(yàn)室繼續(xù)合作，通過MOSS以及后續(xù)的研究探索，推動(dòng)AI普惠，盡快賦能國內(nèi)的人工智能產(chǎn)業(yè)。”

審核編輯 ：李倩