隨著人工智能技術(shù)的迅速發(fā)展，傳統(tǒng)的個人電腦已經(jīng)面臨升級的需求。AI PC時代，如何能使大模型更好地服務企業(yè)和個人？中科創(chuàng)達交出了第一份答卷。

近日，中科創(chuàng)達憑借其在終端、邊緣計算領(lǐng)域的多年技術(shù)沉淀以及在大模型領(lǐng)域的創(chuàng)新探索，利用模型壓縮、分布式以及張量并行技術(shù)，成功在搭載了高通8系列芯片平臺的邊緣設(shè)備上實現(xiàn)了LLaMA-2 130億參數(shù)模型的穩(wěn)定運行，成為業(yè)內(nèi)首家取得此突破的大模型企業(yè)。這一創(chuàng)舉將使得端側(cè)設(shè)備能夠運行更大參數(shù)的模型，同時提高了端側(cè)設(shè)備的推理速度，為大模型在端側(cè)的應用奠定了堅實的基礎(chǔ)。

模型壓縮及張量并行技術(shù)提升端側(cè)AI效率

自今年3月份ChatGPT-3對外開放以來，大模型及其應用以極其驚人的發(fā)展速度席卷全球，由此帶來了對于算力需求的急速攀升。云端算力面臨成本和供給壓力，無法滿足AI算力需求，端側(cè)AI為這一難題提供了解決方案。隨著高通、Intel等芯片廠商陸續(xù)發(fā)布具有更高算力并支持生成式AI的終端芯片，AI PC時代拉開序幕。

AI PC作為終端、邊緣與云技術(shù)融合的創(chuàng)新產(chǎn)物，具有成本、時延和隱私方面的天然優(yōu)勢，可以作為云端算力的補充。在即將到來的AI PC時代，中科創(chuàng)達將能夠充分發(fā)揮自身在終端、操作系統(tǒng)、邊緣計算、軟件以及生態(tài)合作方面的優(yōu)勢，助力品牌商和開發(fā)者抓住行業(yè)轉(zhuǎn)型的契機，為終端用戶帶來在辦公、娛樂、學習等多場景下的更為高效便捷的體驗。

邊緣AI加速大模型在B端落地應用

此次中科創(chuàng)達的成功實踐不僅驗證了13B大模型在端側(cè)的落地，也為大模型在邊緣的應用打開了新的可能性。以往，大型模型主要在云端進行訓練和推理，而現(xiàn)在，邊緣設(shè)備也能夠勝任更大參數(shù)的模型。這將為各行各業(yè)帶來更多的機會和挑戰(zhàn)，無論是語音識別、圖像處理還是自然語言處理，都能夠受益于這一創(chuàng)新。

未來，AI將以端云協(xié)同的模式，即云端進行模型訓練，而推理則集中在離數(shù)據(jù)產(chǎn)生距離更近的端側(cè)及邊緣側(cè)進行，有效緩解AI算力不足的需求和缺口。由此加速大模型應用在智能駕駛、具身智能、智能家居、智能物聯(lián)網(wǎng)等場景的落地。

審核編輯：彭菁