DeepSeek R1模型本地部署與產(chǎn)品接入實(shí)操

近期，深度求索（DeepSeek）推出的DeepSeek V3/R1系列模型在人工智能領(lǐng)域掀起了一股熱潮，引發(fā)了廣泛的關(guān)注與深入探討。該大模型憑借其卓越的推理能力和對(duì)硬件要求的顯著降低，贏得了市場(chǎng)的熱烈反響。DeepSeek的發(fā)布，標(biāo)志著大模型產(chǎn)品正式邁入“普惠”時(shí)代，使得普通個(gè)人電腦乃至手機(jī)等便攜式設(shè)備均能流暢運(yùn)行大型模型。這一里程碑式的進(jìn)展，不僅激發(fā)了部署的浪潮，更激發(fā)了人們對(duì)大模型潛在應(yīng)用場(chǎng)景的無(wú)限遐想。

DeepSeek之所以備受矚目，不僅在于其技術(shù)的先進(jìn)性，更在于其為用戶提供了前所未有的數(shù)據(jù)隱私與安全保障。在數(shù)據(jù)泄露風(fēng)險(xiǎn)日益嚴(yán)峻的今天，DeepSeek的本地化部署方案為用戶提供了一個(gè)更為安心的選擇。通過(guò)本地部署，所有數(shù)據(jù)運(yùn)算和存儲(chǔ)均在本地完成，有效規(guī)避了數(shù)據(jù)在傳輸和云端存儲(chǔ)過(guò)程中可能面臨的隱私泄露風(fēng)險(xiǎn)。這一特性，使得DeepSeek R1在企業(yè)和個(gè)人用戶中均贏得了廣泛的認(rèn)可與信賴。

自DeepSeek大模型發(fā)布以來(lái)，深蕾半導(dǎo)體團(tuán)隊(duì)迅速展開(kāi)了對(duì)DeepSeek大模型的相關(guān)研究，并積極探索DeepSeek大模型與SOC全系列產(chǎn)品結(jié)合的模式及市場(chǎng)機(jī)遇。

本地部署的私有化DeepSeek R1 32B大模型Web頁(yè)面訪問(wèn)

通過(guò)本地部署私有化大模型，不僅為用戶提供了更為便捷的訪問(wèn)途徑，還進(jìn)一步強(qiáng)化了數(shù)據(jù)的安全性和隱私保護(hù)。這一舉措為后續(xù)SOC產(chǎn)品接入DeepSeek大模型降低了整體成本，同時(shí)也為企業(yè)內(nèi)部應(yīng)用DeepSeek大模型實(shí)現(xiàn)降本增效提供了堅(jiān)實(shí)基礎(chǔ)。

本地部署的私有化Web頁(yè)面訪問(wèn)DeepSeek R1 32B大模型的截圖

在Web應(yīng)用頁(yè)面中，用戶可以清晰地查看DeepSeek R1 32B模型的運(yùn)行狀態(tài)、處理結(jié)果以及歷史記錄等信息。通過(guò)簡(jiǎn)單的點(diǎn)擊和輸入操作，用戶即可輕松實(shí)現(xiàn)與模型的交互和數(shù)據(jù)處理。此外，該頁(yè)面還支持語(yǔ)音交互輸入方式，進(jìn)一步提升了用戶體驗(yàn)。

deepseekR1 32b本地部署-語(yǔ)音交互

DeepSeek R1 32B模型不僅支持通用知識(shí)問(wèn)答，還具備代碼編寫(xiě)、邏輯推理等技能：

本地部署的服務(wù)器配置信息：

CPU：24核

顯卡：nvidia 3090ti 24g

內(nèi)存：60G

配置信息圖

VS680接入DeepSeek R1 32B模型API展示

我們還在VS680設(shè)備上的APP應(yīng)用中成功接入了DeepSeek R1 32B模型的API。VS680作為一款高性能計(jì)算機(jī)設(shè)備，其強(qiáng)大的計(jì)算能力和穩(wěn)定的系統(tǒng)環(huán)境為DeepSeek R1的運(yùn)行提供了堅(jiān)實(shí)的保障。特別是VS680自帶的7.9T AI算力，為端云結(jié)合的應(yīng)用模式創(chuàng)造了有利條件。

在演示中，我們可以看到VS680設(shè)備通過(guò)API接口與DeepSeek R1 32B模型實(shí)現(xiàn)了無(wú)縫連接。用戶只需在設(shè)備上輸入相應(yīng)的指令或數(shù)據(jù)，DeepSeek R1模型即可迅速進(jìn)行運(yùn)算并返回結(jié)果。這一過(guò)程中，模型的響應(yīng)速度、準(zhǔn)確性和穩(wěn)定性均得到了充分展現(xiàn)。

VS680接入字節(jié)豆包智能體DeepSeek R1 671B滿血模型展示

在字節(jié)官方火山引擎大模型開(kāi)發(fā)平臺(tái)把“深蕾科技智能體”開(kāi)發(fā)好，包括DeepSeek R1模型，角色定位，工作流等，然后發(fā)布到豆包應(yīng)用平臺(tái)，就可以在VS680上面直接實(shí)現(xiàn)滿血版的DeepSeek R1大模型接入使用。

DeepSeek大模型與端側(cè)SOC的產(chǎn)品結(jié)合方案

針對(duì)VS680/SL1680系列大算力芯片，我們的研發(fā)團(tuán)隊(duì)正在研究將蒸餾后的輕量級(jí)DeepSeek模型（DeepSeek-R1-Distill-Qwen-1.5B）部署到SOC本地，以便應(yīng)用于相關(guān)業(yè)務(wù)場(chǎng)景，如產(chǎn)品AI助手（問(wèn)答服務(wù)、產(chǎn)品介紹、產(chǎn)品售后、產(chǎn)品故障排查等）。我們采用端側(cè)大模型與云端大模型相結(jié)合的方式，本地能處理的用戶任務(wù)使用端側(cè)大模型快速解決和輸出，而較復(fù)雜的邏輯以及聯(lián)網(wǎng)功能則通過(guò)請(qǐng)求云端大模型API的方式實(shí)現(xiàn)。

針對(duì)SL1640/SL1620/SR110系列小算力芯片，我們則通過(guò)API接入的方式進(jìn)行產(chǎn)品賦能，如不帶屏語(yǔ)音交互產(chǎn)品、小屏桌面音視頻多媒體產(chǎn)品等。端側(cè)的語(yǔ)音識(shí)別、機(jī)器視覺(jué)與云端的DeepSeek大模型相結(jié)合，是智能硬件的最優(yōu)技術(shù)組合，能夠顯著提升產(chǎn)品的智能化程度，增加產(chǎn)品的附加值。

我們即將推出基于深蕾半導(dǎo)體SOC帶機(jī)器視覺(jué)和語(yǔ)音交互的DeepSeek大模型應(yīng)用解決方案，敬請(qǐng)期待！