近日，騰訊公司宣布成功推出業(yè)界領(lǐng)先的開源MoE(Mixture of Experts，專家混合)大語言模型——Hunyuan-Large。這款模型不僅在參數(shù)量上刷新了業(yè)界紀(jì)錄，更在效果上展現(xiàn)出了卓越的性能，標(biāo)志著騰訊在自然語言處理領(lǐng)域邁出了重要的一步。

據(jù)了解，Hunyuan-Large的總參數(shù)量高達389B(即3890億)，這一數(shù)字遠(yuǎn)超當(dāng)前許多主流的大語言模型。而其激活參數(shù)也達到了驚人的52B(即520億)，這意味著模型在處理復(fù)雜任務(wù)時能夠展現(xiàn)出更強的學(xué)習(xí)能力和泛化性能。

除了參數(shù)量上的優(yōu)勢，Hunyuan-Large在訓(xùn)練數(shù)據(jù)上也下足了功夫。據(jù)悉，該模型訓(xùn)練時所使用的token數(shù)量達到了7T(即7萬億)，這確保了模型能夠充分學(xué)習(xí)到語言的多樣性和復(fù)雜性。同時，Hunyuan-Large還支持最大上下文長度為256K的文本輸入，這一特性使得模型在處理長文本或?qū)υ拡鼍皶r能夠更準(zhǔn)確地捕捉上下文信息，從而生成更加連貫和自然的回復(fù)。

騰訊此次推出的Hunyuan-Large大語言模型，不僅展示了其在人工智能領(lǐng)域的深厚技術(shù)積累，也為整個自然語言處理領(lǐng)域的發(fā)展注入了新的活力。