電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）大語(yǔ)言模型的風(fēng)靡給AI應(yīng)用創(chuàng)造了不少機(jī)會(huì)，無(wú)論是效率還是創(chuàng)意上，大語(yǔ)言模型都帶來(lái)了前所未有的表現(xiàn)，這些大語(yǔ)言模型很快成為大型互聯(lián)網(wǎng)公司或者AI應(yīng)用公司的殺手級(jí)產(chǎn)品。然而在一些對(duì)實(shí)時(shí)性要求較高的應(yīng)用中，比如AI客服、實(shí)時(shí)數(shù)據(jù)分析等，大語(yǔ)言模型并沒(méi)有太大的優(yōu)勢(shì)。

在動(dòng)輒萬(wàn)億參數(shù)的LLM下，硬件需求已經(jīng)遭受了不小的挑戰(zhàn)。所以面對(duì)一些相對(duì)簡(jiǎn)單的任務(wù)，規(guī)模較小的小語(yǔ)言模型（SLM）反而更加適合。尤其是在端側(cè)的本地AI模型，在低功耗算力有限的邊緣AI芯片支持下，小語(yǔ)言模型反而更適合發(fā)揮最高性能，而不是促使硬件一味地去追求更大規(guī)模模型的支持。

微軟Phi

2023年，微軟推出了一個(gè)基于Transformer架構(gòu)的小語(yǔ)言模型Phi-1，該模型只有13億參數(shù)，且主要專(zhuān)注于基礎(chǔ)的Python編程，實(shí)現(xiàn)文本轉(zhuǎn)代碼。整個(gè)模型僅僅用到8塊A100 GPU，耗時(shí)四天訓(xùn)練完成的。

這也充分說(shuō)明了小語(yǔ)言模型的靈活性，在LLM普遍需要成百上千塊GPU，花費(fèi)數(shù)十乃至上百天的時(shí)間完成模型的訓(xùn)練時(shí)，SLM卻只需要千分之一的資源，就可以針對(duì)特定的任務(wù)打造適合的模型。

近日，微軟對(duì)Phi模型進(jìn)行了全面更新，推出了Phi-3-mini、Phi-3-small和Phi-3-medium三個(gè)版本。其中Phi3-mini是一個(gè)38億參數(shù)的小語(yǔ)言模型，同步推出的Phi-3-small和Phi-3-medium分別為70億參數(shù)和140億參數(shù)的模型。

Phi-3-mini有支持4K和128K兩個(gè)上下文長(zhǎng)度的版本，也是這個(gè)規(guī)模的模型中，第一個(gè)支持到最高128K上下文長(zhǎng)度的版本，微軟聲稱(chēng)其性能甚至超過(guò)不少70億參數(shù)的大模型。通過(guò)在搭載A16芯片的iPhone 14上測(cè)試，在純粹的設(shè)備端離線運(yùn)行下，Phi-3-mini可以做到12 token每秒的速度。

谷歌Gemma

在Gemini模型獲得成功后，基于大語(yǔ)言模型框架Gemini，谷歌也開(kāi)發(fā)了對(duì)應(yīng)的輕量小語(yǔ)言模型Gemma。Gemma分為20億參數(shù)和70億參數(shù)的版本，其中20億參數(shù)的Gemma可以在移動(dòng)設(shè)備和筆記本電腦上運(yùn)行，而70億參數(shù)的版本則可以擴(kuò)展至小型服務(wù)器上。雖然資源占用不高，但Gemma在各項(xiàng)基準(zhǔn)測(cè)試中，依然可以與更大規(guī)模的模型相媲美，比如130億參數(shù)的Llama-2等。

此外，谷歌不僅提供了預(yù)訓(xùn)練版本的Gemma，也支持通過(guò)額外的訓(xùn)練來(lái)實(shí)現(xiàn)模型調(diào)優(yōu)，用于修改Gemma模型的行為，提高其在特定任務(wù)上的表現(xiàn)，比如通過(guò)人類(lèi)語(yǔ)言互動(dòng)進(jìn)行訓(xùn)練，提高聊天機(jī)器人中響應(yīng)式對(duì)話輸入的表現(xiàn)等。

?
Gemma與Llama-2的性能對(duì)比/谷歌

在對(duì)運(yùn)行設(shè)備的要求上，Gemma自然比不上大哥Gemini，但谷歌與英偉達(dá)合作，針對(duì)從數(shù)據(jù)中心到云端再到RTX AI PC的GPU都進(jìn)行了優(yōu)化，這樣一來(lái)不僅具有廣泛的跨設(shè)備兼容性，也能確保擴(kuò)展性和高性能的雙重優(yōu)勢(shì)。

寫(xiě)在最后

小語(yǔ)言模型的出現(xiàn)為行業(yè)帶來(lái)了新的選擇，尤其是在大多數(shù)大模型應(yīng)用還是在不斷燒錢(qián)的當(dāng)下，小語(yǔ)言模型加速落地的同時(shí)，也提供了訓(xùn)練成本更低的解決方案。但與此同時(shí)，小語(yǔ)言模型的缺陷依然不可忽視，比如其規(guī)模注定了無(wú)法存儲(chǔ)足夠的“事實(shí)性知識(shí)”，其次這類(lèi)小語(yǔ)言模型很難做到多語(yǔ)言支持。但我們必須認(rèn)清小語(yǔ)言模型的存在并不是為了替代大語(yǔ)言模型，而是提供一個(gè)更加靈活的模型方案。