近日，騰訊科技(深圳)有限公司公布了一項(xiàng)名為“大語(yǔ)言模型的訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)”的新專利。該專利的公布，標(biāo)志著騰訊在大語(yǔ)言模型訓(xùn)練領(lǐng)域取得了新的突破。

據(jù)專利摘要顯示，該方法通過在大語(yǔ)言模型的訓(xùn)練過程中引入第一摘要文本和第二摘要文本，為模型提供了更為豐富的學(xué)習(xí)信息。這兩個(gè)摘要文本在信息量上存在差異，且第一摘要文本中既包含正確語(yǔ)句也包含錯(cuò)誤語(yǔ)句。這一設(shè)計(jì)使得模型在訓(xùn)練過程中，能夠通過對(duì)比學(xué)習(xí)兩個(gè)不同摘要文本的內(nèi)容，同時(shí)區(qū)分并學(xué)習(xí)第一摘要文本中的正確語(yǔ)句和錯(cuò)誤語(yǔ)句。

這一創(chuàng)新性的訓(xùn)練方法，有效避免了由于摘要文本單一而導(dǎo)致的模型過擬合和生成不準(zhǔn)確等問題。通過引入更多樣化的學(xué)習(xí)信息，模型能夠更好地泛化到新的數(shù)據(jù)上，從而提高其泛化性能。同時(shí)，對(duì)正確語(yǔ)句和錯(cuò)誤語(yǔ)句的區(qū)分學(xué)習(xí)，也進(jìn)一步提升了模型的準(zhǔn)確性。

騰訊此次公布的新專利，不僅展示了其在人工智能領(lǐng)域的深厚技術(shù)積累，也為大語(yǔ)言模型的訓(xùn)練提供了新的思路和方法。