LLM，全稱大語言模型(Large Language Model)。是一種基于深度學習的人工智能模型。它通過大量文本數(shù)據(jù)進行訓練，從而能夠進行對話、回答問題、撰寫文本等其他任務。

New
Module LLM

LLM Module是一款集成化的離線大語言模型（LLM）推理模塊，無需云端，即可提供流暢自然的 AI 體驗。產(chǎn)品搭載愛芯元智 AX630C SoC 先進處理器，集成 3.2TOPs@Int8 高能效 NPU，原生支持 Transformer 模型，輕松應對復雜 AI 任務。且配備 4GB LPDDR4 內(nèi)存和32GB eMMC存儲，支持多模型并行加載與串聯(lián)推理，確保多任務處理流暢無阻。運行功耗僅約 1.5W，遠低于同類產(chǎn)品，節(jié)能高效，適合長時間運行。

無需云端支持

模塊無需依賴云端，確保用戶隱私安全和系統(tǒng)穩(wěn)定性，適合各種對數(shù)據(jù)安全有高要求的應用場景。集成 StackFlow 框架，配合 Arduino/UiFlow 庫，幾行代碼就可輕松實現(xiàn)端側智能。

高算力，低能耗

搭載愛芯元智AX630C SoC 處理器，集成 3.2TOPs@Int8 高效 NPU，提供強大的計算能力，原生支持 Transformer 模型，運行功耗僅約 1.5W，確保節(jié)能高效。

AI Benchmark 對比

支持多模型并行

配備 4GB LPDDR4 內(nèi)存（其中1GB供用戶使用，3GB專用于硬件加速）和32GB eMMC存儲，支持多模型并行加載與串聯(lián)推理，確保多任務處理流暢無阻。

內(nèi)置外設

集成麥克風，揚聲器，TF存儲卡，USB OTG 及 RGB狀態(tài)燈，滿足多樣化應用需求，輕松實現(xiàn)語音交互與數(shù)據(jù)傳輸。

靈活拓展

板載 SD 卡槽支持固件冷/熱升級，UART 通信接口簡化連接與調(diào)試，確保模塊功能持續(xù)優(yōu)化與擴展。USB 口支持主從自動切換，既可以做調(diào)試口，也可以外接更多 USB 設備如攝像頭。

視覺識別能力

支持 CLIP，YoloWorld 等 Open world 模型，未來將持續(xù)更新 DepthAnything，SegmentAnything 等先進模型，賦能智能識別與分析。

即插即用

出廠預裝 Qwen2.5-0.5B 大語言模型，內(nèi)置KWS（喚醒詞），ASR（語音識別），LLM（大語言模型）及TTS（文本轉語音）功能，且支持分開調(diào)用或 pipeline 自動流轉，方便開發(fā)。后續(xù)將支持Qwen2.5-1.5B、Llama3.2-1B及InternVL2-1B等多種端側LLM/VLM模型，支持熱更新模型，緊跟社區(qū)潮流，適應不同復雜度的AI任務。搭配M5主機即可實現(xiàn)即插即用的AI交互體驗。

LLM Module可作為離線語音助手，無需聯(lián)網(wǎng)即可進行精準語音識別與響應，提升設備使用的智能和便捷性?；蛘呤峭ㄟ^語音指令輕松控制家中智能設備，實現(xiàn)智能化生活。產(chǎn)品推薦搭配M5系列主機進行使用，無需繁瑣設置，即插即用。