ChatGPT是由OpenAI于2022年12月推出的對話AI模型，一經(jīng)面世便受到廣泛關(guān)注。獲得千億、萬億級別參數(shù)的大語言模型需要超大規(guī)模AI服務(wù)器集群進行訓(xùn)練，且隨著模型不斷迭代，對云端算力的需求增加。2023年以來，以英偉達為代表的AI芯片、通信網(wǎng)絡(luò)和服務(wù)器產(chǎn)業(yè)鏈相關(guān)企業(yè)股價漲幅明顯。

（1）云側(cè)AI：數(shù)據(jù)云端匯集訓(xùn)練，模型通用性強。從終端采集和感知到的聲音、視頻等數(shù)據(jù)都通過網(wǎng)絡(luò)傳輸?shù)皆?a target="_blank">中心側(cè)進行后續(xù)處理，云側(cè)的資源高度集中，存儲和計算能力強，并且具有很高的通用性；

（2）端側(cè)AI：終端設(shè)備上進行的輕型模型運用。越來越多的 AI計算和推理工作負載在手機、筆記本電腦、XR 頭顯、汽車和其他邊緣終端上運行，端側(cè)硬件具備一定的計算能力，以及低延遲、個性化、隱私安全的特征。

端側(cè)AI的四大優(yōu)勢：隱私和安全、低延時、可靠性、低成本。

? 隱私和安全：端側(cè)AI從本質(zhì)上有助于保護用戶隱私，因為查詢和個人信息完全保留在終端上。數(shù)據(jù)的存儲計算等都在本地，避免了傳到云端可能帶來的數(shù)據(jù)安全問題。對于企業(yè)和工作場所等場景中使用端側(cè)AI，這有助于解決保護公司保密信息的難題。例如，用于代碼生成的編程助手應(yīng)用可以在終端上運行，不向云端暴露保密信息。

? 低延時：當生成式AI查詢對于云的需求達到高峰期時，會產(chǎn)生大量排隊等待和高時延，甚至可能出現(xiàn)拒絕服務(wù)的情況數(shù)據(jù)的存儲計算在本地處理、本地響應(yīng)方面時間更短速度更快。

? 可靠性：與云端互聯(lián)的網(wǎng)絡(luò)可能不穩(wěn)定、甚至斷線。決策在本地大幅降低了數(shù)據(jù)經(jīng)過更長的通路產(chǎn)生錯誤的幾率。終端側(cè)AI處理能夠在云服務(wù)器和網(wǎng)絡(luò)連接擁堵時，提供媲美云端甚至更佳的性能。如果所有的推理案例都在云服務(wù)器上進行，準確率是79.31%；如果49.88%的推理案例在移動端進行，其余在云端進行，仍可達到79.31%的云級準確率。

? 低成本：隨著生成式AI模型使用量和復(fù)雜性的不斷增長，僅在云端進行推理并不劃算。將一些處理從云端轉(zhuǎn)移到邊緣終端可減輕云基礎(chǔ)設(shè)施的壓力并減少開支。此外與云端相比，端側(cè)AI能夠以很低的能耗運行生成式AI模型。