出國旅行，多多少少都會被語言問題絆住腳步。想必很多人都遇過這種尷尬時刻：手機(jī)沒信號、網(wǎng)速卡頓，翻譯軟件直接罷工，溝通全靠手舞足蹈，干著急又無奈！擁有一款翻譯精準(zhǔn)，還能在端側(cè)本地運行的翻譯模型，和煩惱說拜拜！

騰訊混元將翻譯大模型 Hy-MT1.5 壓縮至最小 440MB（1.25-bit 模型），輕輕松松裝進(jìn)手機(jī)。不僅如此，依托第二代 Arm 可伸縮矩陣擴(kuò)展 (Arm SME2) 技術(shù)加持，推理表現(xiàn)進(jìn)一步提升，隨時隨地讓你解鎖絲滑流暢的端側(cè)翻譯體驗！

Hy-MT1.5 是騰訊混元團(tuán)隊打造的專業(yè)翻譯大模型，原生支持 33 種語言，5 種方言/民漢，1056 個翻譯方向。為了進(jìn)一步在有限的手機(jī)內(nèi)存下，實現(xiàn)更好的使用體驗，騰訊推出了兩種量化壓縮方案，以適配不同的手機(jī)用戶需求。其中，1.25-bit 模型主打極致壓縮；而 2-bit 模型則是在性能和質(zhì)量間取得了出色平衡。2-bit 模型通過采用拉伸彈性量化 (SEQ)，并結(jié)合量化感知蒸餾，在幾乎不犧牲翻譯質(zhì)量的同時，將模型體積壓縮至 574MB。此外，得益于 Arm SME2 技術(shù)，在支持該技術(shù)的移動設(shè)備上，2-bit 模型的推理速度更快、運行能效更高，移動端翻譯體驗夯爆了！

2-bit 模型運行在支持與未支持 SME2 技術(shù)的移動設(shè)備上的速度對比演示

SME2 作為 Armv9 架構(gòu)中的一組高級 CPU 指令，專為在端側(cè)直接加速面向矩陣的計算工作負(fù)載而設(shè)計，使 CPU 能夠處理支撐著當(dāng)今大語言模型等用例的密集數(shù)學(xué)運算，同時顯著降低功耗與延遲。由此打造出可在數(shù)十億臺移動設(shè)備上運行的更具吸引力、更智能、更直觀的應(yīng)用，并帶來切實可量化的提升表現(xiàn)。對用戶而言，應(yīng)用體驗將因此變得更加迅捷、本地化且安全可信。SME2 現(xiàn)已應(yīng)用在多款智能手機(jī)上（具體機(jī)型詳見設(shè)備列表），你的手機(jī)是否也已搭載了這項技術(shù)了呢？

設(shè)備列表：https://learn.arm.com/learning-paths/cross-platform/multiplying-matrices-with-sme2/1-get-started#devices

而對于移動端開發(fā)者來說，SME2 技術(shù)為他們帶來了端側(cè) AI 加速功能，有助于實現(xiàn)更迅捷、更智能的端側(cè)體驗，革新移動應(yīng)用功能。得益于 Arm 的軟件加速層 —— Arm KleidiAI，它能夠無縫集成到主流運行時庫和 AI 框架中，開發(fā)者無需改動現(xiàn)有代碼、模型或應(yīng)用，即可直接獲取 SME2 帶來的性能提升。除此之外，SME2 通過 CPU 實現(xiàn) AI 加速的標(biāo)準(zhǔn)化，為開發(fā)者提供了統(tǒng)一、可移植的移動端 AI 基礎(chǔ)，基于 SME2 構(gòu)建的應(yīng)用在 iOS 和安卓系統(tǒng)上都能實現(xiàn)一致的性能表現(xiàn)。開發(fā)者一次構(gòu)建應(yīng)用與工作負(fù)載，即可部署至海量基于 Arm 架構(gòu)的設(shè)備上。

端側(cè) AI 的核心并非單純?yōu)樵O(shè)備堆砌更多智能功能，而是讓智能更貼近用戶的應(yīng)用場景，切實升級大家的日常使用體驗。一直以來，Arm 與騰訊混元持續(xù)依托技術(shù)創(chuàng)新，攜手推動端側(cè)應(yīng)用功能與用戶體驗的優(yōu)化升級，助力本土開發(fā)者更高效、順暢地開展端側(cè) AI 創(chuàng)新開發(fā)。

端側(cè) AI 正在重塑移動體驗，而 Arm 正是實現(xiàn)這些無縫交互體驗的計算基礎(chǔ)和強勁驅(qū)動力！