最近，在ChatGPT火了之后，國內(nèi)互聯(lián)網(wǎng)科技圈不時傳出計劃或者正在研究類ChatGPT大模型的消息。

然而在相關(guān)技術(shù)真正面世之前，近日，OpenAI又放出新消息，該公司正式開放了ChatGPT的API接口，開發(fā)人員可以將ChatGPT模型集成到他們的應(yīng)用程序和產(chǎn)品中。這意味著ChatGPT將會以更快的速度占領(lǐng)市場，因此國內(nèi)企業(yè)在大模型的研究中更要加快進度。

在大模型發(fā)展中，國內(nèi)具備了怎樣的條件

在類ChatGPT及其他大模型的發(fā)展中，國內(nèi)是否具備相應(yīng)的條件呢？登臨科技聯(lián)合創(chuàng)始人王平日前在接受電子發(fā)燒友采訪的時候談到了幾點：

他認為，國內(nèi)在這方面是具備一定條件的，首先是數(shù)據(jù)，這是大模型技術(shù)中非常重要的一個生產(chǎn)要素，國內(nèi)在數(shù)據(jù)上是有一定積累的；其次是人才，在這方面國內(nèi)有不少優(yōu)秀的算法人才，在大模型方面具備一定的知識基礎(chǔ)與經(jīng)驗；此外，目前國內(nèi)也有比較不錯的AI框架平臺以及具備核心技術(shù)完全自主研發(fā)能力的GPGPU廠商。整體來說整套的生產(chǎn)要素上都有一定的基礎(chǔ)，只不過在成熟度上跟OpenAI相比還存在一定差距。

具體來看，在AI框架方面，OpenAI能夠推出能力如此強大的ChatGPT，它應(yīng)該有自己專門的框架?，F(xiàn)在各種商用的框架，包括國產(chǎn)的飛槳paddlepaddle，以及Tensorflow或者Pytorch，其實更多是用于常規(guī)模型，而不是大模型的調(diào)度。因此在發(fā)展ChatGPT類大模型方面，還存在一些挑戰(zhàn)，需要去持續(xù)創(chuàng)新。

在人才方面，雖然目前國內(nèi)具備一些算法相關(guān)的人才，然而整體而言是處于較為緊缺的狀態(tài)。另外大模型的訓(xùn)練，也需要算法工程師具備豐富的經(jīng)驗積累，因為模型太大，中間涉及很多技術(shù)，這并不是短時間砸錢就能達到的。

在硬件層面，國內(nèi)的GPGPU具有自身的特色，甚至在一些領(lǐng)域比NVIDIA更具優(yōu)勢，在ChatGPT或者相關(guān)大模型上，也有它的優(yōu)勢。不過整體來看，還是存在差距，需要不斷進行創(chuàng)新和迭代，要不停的向前走。

大模型發(fā)展對GPGPU提出了怎樣的要求

ChatGPT火熱之后，可以明顯看到國內(nèi)在AI大模型方面的發(fā)展將會加速，這對國內(nèi)GPGPU來說意味著什么呢？大模型的發(fā)展，必然少不了GPGPU，GPGPU對于大模型就相當于是發(fā)動機之于汽車。王平認為，近十幾年AI的再度興起，到現(xiàn)在ChatGPT的爆火，以及未來AI產(chǎn)業(yè)的發(fā)展再上一個臺階，如果沒有GPGPU，這些都不大可能會實現(xiàn)。

因為每個大模型訓(xùn)練和部署的背后，都有幾萬個GPGPU在支持?？上攵磥黼S著這方面的研發(fā)和應(yīng)用的普及，GPGPU市場需求將會再度迎來爆發(fā)式增長。

以電力為例，就可以很清楚的看到這個市場未來可能發(fā)生的變化。幾十年前，電力只是用在一些小用量的場景，隨著電力的供給越來越多，電器也越來越多的時候，最后電力就成了一個基本設(shè)施?？梢哉f，算力也是朝著基礎(chǔ)設(shè)施的方向在發(fā)展。在王平看來，現(xiàn)在GPGPU還遠沒有到爆炸式需求的階段。

當然在ChatGPT或者其他大模型訓(xùn)練和部署，對GPGPU或者說算力也會有更高的要求。王平談到了幾個方面：

首先從單卡層面來看，先來看一組數(shù)據(jù)，1月份的時候ChatGPT的用戶數(shù)突破1億，日訪問量有幾千萬，在這種情況下，它的運營成本會相當高，每天的電費在幾十萬人民幣量級。這時候計算效率很重要，如果計算架構(gòu)相比于傳統(tǒng)的GPGPU更有優(yōu)勢的話，比如，登臨科技一些計算密度更大的產(chǎn)品，在計算效率上就更有優(yōu)勢。

其次是單卡之外，卡片間的互聯(lián)也很重要。因為在用戶側(cè)工作的實際上是一個超級計算機系統(tǒng)，在訓(xùn)練的時候，帶寬、片間、服務(wù)器間的信息傳遞很重要，這就需要針對大模型的訓(xùn)練框架，在整個服務(wù)器集群的調(diào)度和協(xié)同工作中進行升級優(yōu)化。

再者就是軟件方面，一般來說在軟硬件協(xié)同的系統(tǒng)里，軟件的重要作用不可忽視，因為一些軟件棧的原因，或者軟件協(xié)同調(diào)度的問題，硬件往往不能完全發(fā)揮出能力。所以我們經(jīng)?？梢钥吹?，在一些場景下，軟件稍微進行優(yōu)化，整體應(yīng)用性能就會有百分之幾十，甚至百分之百的提升。

從硬件公司的角度來看，GPGPU是一個通用平臺，行業(yè)整體有產(chǎn)品異構(gòu)化的走向，總體來說，GPGPU存在一些性能瓶頸。登臨科技是一家專注于高性能通用計算平臺的芯片研發(fā)與技術(shù)創(chuàng)新的公司，登臨自主研發(fā)的GPU+架構(gòu)正式采用了軟件定義的片內(nèi)異構(gòu)體系，目前首款基于GPU+的系列產(chǎn)品—Goldwasser已在云至邊緣的各個應(yīng)用場景實現(xiàn)規(guī)模化落地。據(jù)王平介紹：登臨科技希望通過異構(gòu)，從由點及面在一些足夠大的市場領(lǐng)域，把產(chǎn)品做到比英偉達同系列產(chǎn)品更具性價比優(yōu)勢，甚至超過英偉達。

帶著這樣的出發(fā)點，在大型語言模型方面，登臨科技會更關(guān)心如何更好的提升產(chǎn)品的能效比。簡單來說，在同樣功耗下，登臨科技可以提供英偉達1.5到2倍的算力，在算力一致的情況下，做到單位功耗更低這樣從計算的整體性能上實現(xiàn)英偉達同類產(chǎn)品的能效比3倍的優(yōu)勢。如此一來，上面提到的電費、運維成本都將會有很大的節(jié)省。

小結(jié)

不難看出，以ChatGPT為代表的大語言模型發(fā)展和應(yīng)用，對人們生產(chǎn)生活意義重大。隨著它的技術(shù)和應(yīng)用逐步成熟，其對GPGPU等算力硬件的需求將會持續(xù)增加，就如同文中提到的電力的發(fā)展路徑一樣。當然大模型對GPGPU及算力集群系統(tǒng)的也有更高的要求，比如計算效率更高，能夠節(jié)省電費和運維成本等，可想而知，對于硬件公司來說，誰能夠在這方面更具優(yōu)勢，誰就更能在未來大模型處處落地的時候，更占據(jù)優(yōu)勢。

審核編輯 ：李倩