隨著人工智能 (AI) 加速向智能手機(jī)、PC 與物聯(lián)網(wǎng)終端等滲透，如何在邊緣設(shè)備上實現(xiàn)高性能、低功耗的智能體驗，已成為行業(yè)共同關(guān)注的核心議題。

騰訊混元今日發(fā)布了 HY-1.8B-2Bit，這是一款等效參數(shù)量僅有 0.3B 的極低比特壓縮模型，有助于移動設(shè)備廠商和開發(fā)者加速實現(xiàn)生成式 AI 的創(chuàng)新落地。作為全球應(yīng)用最為廣泛的高性能、高能效計算平臺，Arm 率先完成了對該模型的成功適配。HY-1.8B-2Bit 現(xiàn)已能夠在搭載啟用第二代可伸縮矩陣擴(kuò)展 (SME2) 技術(shù)的 Armv9 計算平臺的移動設(shè)備上實現(xiàn)高效運(yùn)行。

在資源受限的邊緣設(shè)備上部署與運(yùn)行生成式 AI，普遍面臨性能、能效、內(nèi)存等諸多挑戰(zhàn)。通過有效縮減模型規(guī)模，是將生成式 AI 用例拓展至更廣泛設(shè)備的行之有效的方法之一。規(guī)模更小的模型在與原始模型保持相近推理精度的前提下，能在端側(cè)實現(xiàn)更出色的性能表現(xiàn)與能效水平，進(jìn)而在兼顧設(shè)備續(xù)航表現(xiàn)的同時，為用戶帶來響應(yīng)更迅捷、運(yùn)行更流暢的端側(cè) AI 體驗。

騰訊混元此次推出的 HY-1.8B-2Bit 通過對 HY?1.8B?Instruct 模型進(jìn)行 2 比特量化感知訓(xùn)練 (QAT) 產(chǎn)出，對比原始精度模型等效參數(shù)量降低了 6 倍，可以在邊緣設(shè)備上靈活部署，并保持了與 INT4-PTQ 方法相當(dāng)?shù)哪Ｐ托阅?。同時，該模型沿用了 HY-1.8B-Instruct 的全思考能力，用戶可以根據(jù)其應(yīng)用的復(fù)雜性和資源限制，靈活地選擇推理模式。得益于上述優(yōu)勢，HY-1.8B-2Bit 在實時性要求高、資源受限的場景中依然能夠提供快速且可靠的推理表現(xiàn)。

而在此基礎(chǔ)上，Arm SME2 技術(shù)使得移動端開發(fā)者能更輕松獲取端側(cè) AI 加速功能。SME2 是 Armv9 架構(gòu)中的高級 CPU 指令，能夠在 AI 異構(gòu)計算框架下，高效支持各類實時移動端推理任務(wù)。實際測試結(jié)果顯示，HY-1.8B-2Bit 運(yùn)行在啟用 SME2 技術(shù)的移動設(shè)備上時，對比 HY-1.8B-Q4 模型，在不同窗口大小下的首詞元延遲 (TTFT) 和生成速度均實現(xiàn)了顯著提升。這將有助于在資源受限的場景中，實現(xiàn)更卓越、流暢、智能的使用體驗。例如，通用聊天機(jī)器人和 AI 助手能夠在端側(cè)實現(xiàn)更復(fù)雜、自然的語言處理能力。與此同時，SME2 已被集成至多個主流框架中，深度嵌入軟件棧。開發(fā)者可通過 llama.cpp 直接在啟用 SME2 技術(shù)的硬件上部署 HY-1.8B-2Bit 模型，加速實現(xiàn)生成式 AI 應(yīng)用的性能躍升。

模型地址：

https://huggingface.co/AngelSlim/HY-1.8B-2Bit

https://huggingface.co/AngelSlim/HY-1.8B-2Bit-GGUF

各位開發(fā)者們，也可點擊閱讀原文，跳轉(zhuǎn)模型地址，了解更多關(guān)于 HY-1.8B-2Bit 的信息及如何部署！

SME2 技術(shù)已獲得業(yè)界領(lǐng)先生態(tài)伙伴的廣泛采用與認(rèn)可。vivo、OPPO 等手機(jī)廠商已推出集成啟用 SME2 的 Arm C1 CPU 與 Mali G1-Ultra GPU 的旗艦智能手機(jī)，為端側(cè) AI 帶來了實際的體驗提升；此外，SME2 也已在 iOS 中大幅啟用。而開發(fā)者們正借助 SME2 技術(shù)，加速語言模型推理、圖像處理、音頻生成等核心能力，為各類主流應(yīng)用打造出更迅捷的實時體驗。與此同時，Arm 也正積極將 SME2 技術(shù)擴(kuò)展至更廣泛的 CPU 平臺。預(yù)計到 2030 年，SME 與 SME2 技術(shù)將為超過 30 億臺設(shè)備新增超 100 億 TOPS 的計算能力，持續(xù)降低端側(cè) AI 的部署成本與隱私風(fēng)險。

Arm 與騰訊混元持續(xù)依托技術(shù)創(chuàng)新，攜手推動端側(cè)應(yīng)用功能與用戶體驗的優(yōu)化升級，助力本土開發(fā)者更高效、順暢地開展端側(cè) AI 創(chuàng)新開發(fā)。