日B视频 亚洲,啪啪啪网站一区二区,91色情精品久久,日日噜狠狠色综合久,超碰人妻少妇97在线,999青青视频,亚洲一区二卡,让本一区二区视频,日韩网站推荐

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

顯存也能疊疊樂(lè),雙 Intel Arc A770 顯卡低成本部署 DeepSeek R1 32B 蒸餾模型體驗(yàn)

looger123 ? 來(lái)源:looger123 ? 作者:looger123 ? 2025-03-18 12:06 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

今年春節(jié)后,DeepSeek R1 風(fēng)暴般地席卷全國(guó),小到手機(jī) App,大到新能源汽車(chē),似乎一夜間所有產(chǎn)品都接入了 DeepSeek R1。不得不說(shuō) DeepSeek R1 確實(shí)好用,對(duì)筆者這種編輯來(lái)說(shuō),從大綱到審閱,效率有著極大的提升。不過(guò),官方滿血版的 DeepSeek R1 雖然好用,但會(huì)經(jīng)常“掉線”,平均一個(gè)小時(shí)只能使用一次。第三方的滿血 DeepSeek R1 很少掉線,但涉及隱私或保密數(shù)據(jù)時(shí),大家并不放心上傳云端。

于是,很多人萌生自己搭建 DeepSeek R1 的想法。然而滿血版的 DeepSeek R1 模型體積足足有 404GB,遠(yuǎn)超一般消費(fèi)級(jí)顯卡的顯存。即使 32B 的蒸餾模型體積也有 20GB。這就對(duì)顯卡的性能提出了較高的要求。例如,32GB 顯存的英偉達(dá) RTX 5090 D 公版官方售價(jià)為 16999 元,但實(shí)際上要多花一萬(wàn)多元才能買(mǎi)到。

一、配置與部署

那么,有沒(méi)有什么經(jīng)濟(jì)實(shí)惠且效果不錯(cuò)的方案呢?聰明的你想到讓多張顯卡協(xié)同工作,不過(guò) AMD 目前的新顯卡已經(jīng)不支持交火了,英偉達(dá)的 SLI 技術(shù)也不支持顯存疊加,而 Intel 的 Arc 顯卡不僅支持交火,并且顯存也可以疊加,價(jià)格也很實(shí)惠,兩張 Arc A770 16GB 價(jià)格 3600 元左右,就可獲得 32GB 的大現(xiàn)存。IT之家這次嘗試使用兩張藍(lán)戟 Intel Arc A770 Photon 16G OC 進(jìn)行交火,來(lái)配置 DeepSeek R1 32B 的蒸餾模型。其具體配置如下圖:

wKgZPGfY8SqASvLfAABwDQSsQ1c41.jpeg

Intel Arc A770 有 8G 和 16GB 兩個(gè)版本,我們選擇的藍(lán)戟 Intel Arc A770 Photon 16G OC 配備 16GB GDDR6 顯存,顯存帶寬可達(dá) 512GB/s,其擁有 32 個(gè) Xe 核心,最高頻率 2400Mhz。

wKgZO2fY8SqAdRY8AABqVPLigOo29.jpeg

因?yàn)槭请p卡方案,所以需要留意主板與電源的配置,主板至少需要有兩個(gè) PCIe 顯卡插槽,并且每個(gè)插槽必須支持 PCIe 4.0 x8 的傳輸速率。電源方面,單張藍(lán)戟 Intel Arc A770 Photon 16G OC 的 TBP 為 285W,兩張顯卡的功耗就要接近 600W。為了保證系統(tǒng)的穩(wěn)定,我們選擇了海韻的 1300W 電源進(jìn)行測(cè)試,這款電源不僅能滿足功率需求,還能滿足兩張顯卡所需的 4 個(gè) PCIe 8Pin 接口。模型我們選擇通過(guò)使用 IPEX-LLM 部署在 Linux 上,相比 Window 系統(tǒng)效率會(huì)更高一些。

wKgZPGfY8SqAWrdgAABdO7eJe3E40.jpeg

搭建結(jié)束后,我們用另一臺(tái)電腦局域網(wǎng)訪問(wèn)后端,在操作時(shí)盡量不使用測(cè)試電腦進(jìn)行截圖錄屏,避免無(wú)關(guān)操作對(duì) GPU 的占用。

wKgZO2fY8SuAXfFPAABFDw2JMvQ10.jpeg

二、性能與效果

因?yàn)槭?32B 的模型,所以我們直接上強(qiáng)度,讓模型幫我們寫(xiě)一個(gè) HTML 小游戲。我們首先對(duì)模型進(jìn)行提問(wèn):

請(qǐng)用 html 寫(xiě)個(gè)貪吃蛇游戲的代碼,需要包含以下功能:

?使用鍵盤(pán)上的上下左右箭頭鍵控制蛇的移動(dòng)方向。

?蛇會(huì)自動(dòng)向前移動(dòng),并在吃到紅色的食物時(shí)增長(zhǎng)并增加得分。

?當(dāng)蛇碰到墻壁或自己時(shí),游戲結(jié)束并顯示得分。

?點(diǎn)擊“重新開(kāi)始”按鈕可以重置游戲并重新開(kāi)始。

游戲規(guī)則:

?蛇不能碰到墻壁或自己,否則游戲結(jié)束。

?每吃一個(gè)食物,得分增加 10 分。

?食物不會(huì)出現(xiàn)在蛇的身體上。

DeepSeek R1 開(kāi)始分析問(wèn)題并生成代碼,此時(shí)兩張 Arc A770 顯卡的風(fēng)扇全力運(yùn)轉(zhuǎn),后端顯示 Avg Generation Throughput 可以穩(wěn)定在 26 tokens / s 以上。對(duì)比之下,單張 RTX 5090 D 運(yùn)行 32B 模型的性能大約為 46 tokens / s,而官方不到兩成的價(jià)格卻得到了五成以上的性能,這個(gè)表現(xiàn)還是很讓人驚喜的。

wKgZPGfY8SuAKM97AADOEl3IYJo88.jpeg

生成后的 HTML 小游戲可以直接預(yù)覽運(yùn)行,我發(fā)現(xiàn)操作有沖突,按上下方向鍵會(huì)滾動(dòng)網(wǎng)頁(yè)。

wKgZO2fY8SuAHQrhAAN5HM-_qI8714.gif

于是我提出對(duì)代碼進(jìn)行修改,要求用 A、S、D、W 來(lái)代替方向鍵。DeepSeek R1 很精準(zhǔn)的理解了我的需求,并完成了修改。

wKgZPGfY8SyAOvnbAABPpDqY6DA41.jpeg

隨后,我要求生成更為復(fù)雜的俄羅斯方塊 HTML 代碼,雖說(shuō)參數(shù)量只有 32B,但 DeepSeek R1 所生成的游戲同樣很完善,幾乎沒(méi)有什么 Bug。

wKgZO2fY8SyAYhfxAASrughOLYg746.gif

說(shuō)到 AI 大模型的邏輯能力測(cè)試,那肯定繞不開(kāi)弱智吧經(jīng)典問(wèn)答。我們選擇了兩個(gè)問(wèn)題對(duì)雙 A770 搭建的 DeepSeek R1 進(jìn)行測(cè)試:

1、神父去世是離職還是升職?

這種讓人一愣的問(wèn)題 32B 的 DeepSeek R1 也能從現(xiàn)實(shí)與信仰兩種角度出發(fā)給出分析與解釋??梢钥闯?32B 模型的邏輯能力還是很強(qiáng)的,有著極高的可用性。

wKgZPGfY8SyALvFxAABxxNwJIBo96.jpeg

2、變形金剛應(yīng)該交車(chē)險(xiǎn)還是人險(xiǎn)?

面對(duì)二選一的提問(wèn),32B 的 DeepSeek R1 并沒(méi)有死板的做出選擇,其理解了變形金剛不同形態(tài)的特征給出了兩種保險(xiǎn)都買(mǎi)的絕佳選擇。

wKgZO2fY8S2APLXAAAB7QebVhAY92.jpeg

總結(jié):

從測(cè)試結(jié)果來(lái)看,兩張 Intel Arc A770 16GB 顯卡(總計(jì) 3600 元)組成的雙卡部署 DeepSeek R1 蒸餾模型的方案確實(shí)經(jīng)濟(jì)實(shí)惠。通過(guò) IPEX-LLM 工具在 Linux 系統(tǒng)上部署,測(cè)試顯示雙 A770 顯卡能穩(wěn)定運(yùn)行 32B 模型,生成 HTML 小游戲和處理復(fù)雜問(wèn)題時(shí)表現(xiàn)優(yōu)異,平均吞吐量達(dá) 26 tokens / s,有著不錯(cuò)的性?xún)r(jià)比??傮w而言,A770 雙卡低成本部署 DeepSeek 32B 兼具成本、性能和數(shù)據(jù)隱私優(yōu)勢(shì),適合中小企業(yè)和個(gè)人開(kāi)發(fā)者。

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 英特爾
    +關(guān)注

    關(guān)注

    61

    文章

    10326

    瀏覽量

    181150
  • 顯卡
    +關(guān)注

    關(guān)注

    17

    文章

    2523

    瀏覽量

    71730
  • 顯存
    +關(guān)注

    關(guān)注

    0

    文章

    112

    瀏覽量

    14116
  • DeepSeek
    +關(guān)注

    關(guān)注

    2

    文章

    855

    瀏覽量

    3416
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    如何在ZYNQ本地部署DeepSeek模型

    一個(gè)將最小號(hào) DeepSeek 模型部署到 AMD Zynq UltraScale+ MPSoC 處理系統(tǒng)的項(xiàng)目。
    的頭像 發(fā)表于 12-19 15:43 ?7877次閱讀
    如何在ZYNQ本地<b class='flag-5'>部署</b><b class='flag-5'>DeepSeek</b><b class='flag-5'>模型</b>

    基于合眾恒躍rk3576?開(kāi)發(fā)板deepseek-r1-1.5b/7b 部署指南

    ? 核心結(jié)論:部署流程分為?5?大核心步驟,依次為基礎(chǔ)環(huán)境安裝、模型下載、模型格式轉(zhuǎn)換、部署程序編譯、開(kāi)發(fā)板運(yùn)行測(cè)試,1.5b?
    的頭像 發(fā)表于 12-09 07:08 ?770次閱讀
    基于合眾恒躍rk3576?開(kāi)發(fā)板<b class='flag-5'>deepseek-r1-1.5b</b>/7<b class='flag-5'>b</b> <b class='flag-5'>部署</b>指南

    DeepSeek模型如何在云服務(wù)器上部署?

    隨著大型語(yǔ)言模型(LLM)的應(yīng)用日益普及,許多開(kāi)發(fā)者和企業(yè)希望將像DeepSeek這樣的優(yōu)秀模型部署到自己的云服務(wù)器上,以實(shí)現(xiàn)私有化、定制化服務(wù)并保障數(shù)據(jù)安全。本文將詳細(xì)闡述
    的頭像 發(fā)表于 10-13 16:52 ?1184次閱讀

    廣和通成功部署DeepSeek-R1-0528-Qwen3-8B模型

    近日,廣和通在MediaTek MT8893平臺(tái)上成功部署并運(yùn)行了DeepSeek-R1-0528-Qwen3-8B模型,顯著提升了端側(cè)AI設(shè)備的處理效率與智能化水平,特別是在本地化復(fù)雜
    的頭像 發(fā)表于 09-26 13:35 ?1011次閱讀

    DeepSeek R1 MTP在TensorRT-LLM中的實(shí)現(xiàn)與優(yōu)化

    。我們?cè)谥暗牟┛蚚1] 中介紹了 DeepSeek-R1 模型實(shí)現(xiàn)超低推理延遲的關(guān)鍵優(yōu)化措施。本文將深入探討 TensorRT-LLM 中的 MTP 實(shí)現(xiàn)與優(yōu)化。
    的頭像 發(fā)表于 08-30 15:47 ?4736次閱讀
    <b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b> MTP在TensorRT-LLM中的實(shí)現(xiàn)與優(yōu)化

    如何在NVIDIA Blackwell GPU上優(yōu)化DeepSeek R1吞吐量

    開(kāi)源 DeepSeek R1 模型的創(chuàng)新架構(gòu)包含多頭潛在注意力機(jī)制 (MLA) 和大型稀疏混合專(zhuān)家模型 (MoE),其顯著提升了大語(yǔ)言模型
    的頭像 發(fā)表于 08-12 15:19 ?4528次閱讀
    如何在NVIDIA Blackwell GPU上優(yōu)化<b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b>吞吐量

    速看!EASY-EAI教你離線部署Deepseek R1模型

    1.Deepseek簡(jiǎn)介DeepSeek-R1,是幻方量化旗下AI公司深度求索(DeepSeek)研發(fā)的推理模型DeepSeek-R1采用
    的頭像 發(fā)表于 07-25 15:22 ?1602次閱讀
    速看!EASY-EAI教你離線<b class='flag-5'>部署</b><b class='flag-5'>Deepseek</b> <b class='flag-5'>R1</b>大<b class='flag-5'>模型</b>

    【VisionFive 2單板計(jì)算機(jī)試用體驗(yàn)】3、開(kāi)源大語(yǔ)言模型部署

    可以看到有個(gè)進(jìn)度條在拉取0.6B的Qwen模型。當(dāng)然可以拉去deepseek模型,如下: ./ollama run
    發(fā)表于 07-19 15:45

    【「DeepSeek 核心技術(shù)揭秘」閱讀體驗(yàn)】書(shū)籍介紹+第一章讀后心得

    提升,達(dá)到 60TPS。 從書(shū)上得知,DeepSeek-V3的訓(xùn)練成本只需五百萬(wàn)美元,堪比AI領(lǐng)域的拼多多。而且其準(zhǔn)確率在某幾項(xiàng)評(píng)測(cè)指標(biāo)上達(dá)到了不錯(cuò)的水平 DeepSeek
    發(fā)表于 07-17 11:59

    Arm Neoverse N2平臺(tái)實(shí)現(xiàn)DeepSeek-R1滿血版部署

    頗具優(yōu)勢(shì)。Arm 攜手合作伙伴,在 Arm Neoverse N2 平臺(tái)上使用開(kāi)源推理框架 llama.cpp 實(shí)現(xiàn) DeepSeek-R1 滿血版的部署,目前已可提供線上服務(wù)。
    的頭像 發(fā)表于 07-03 14:37 ?1456次閱讀
    Arm Neoverse N2平臺(tái)實(shí)現(xiàn)<b class='flag-5'>DeepSeek-R1</b>滿血版<b class='flag-5'>部署</b>

    【書(shū)籍評(píng)測(cè)活動(dòng)NO.62】一本書(shū)讀懂 DeepSeek 全家桶核心技術(shù):DeepSeek 核心技術(shù)揭秘

    DeepSeek-V3 的發(fā)布幾乎沒(méi)有預(yù)熱和炒作,僅憑借其出色的效果和超低的成本迅速走紅。 DeepSeek-R1 則是在 DeepSeek-V3 的基礎(chǔ)上構(gòu)建的推理
    發(fā)表于 06-09 14:38

    DeepSeek開(kāi)源新版R1 媲美OpenAI o3

    ;還有一些網(wǎng)友的實(shí)測(cè)評(píng)價(jià)都顯示,?DeepSeek新版R1 的性能可以媲美OpenAI最新的o3模型高版本。妥妥的超高性?xún)r(jià)比的平替。 此外,關(guān)于DeepSeek
    的頭像 發(fā)表于 05-29 11:23 ?1553次閱讀

    銘瑄在COMPUTEX 2025上發(fā)布Intel Arc Pro B60 Dual 48G Turbo顯卡

    臺(tái)北?2025年5月22日?/美通社/ --?銘瑄在2025 臺(tái)北國(guó)際電腦展(COMPUTEX 2025)上展示了其最新突破性產(chǎn)品——MAXSUN Intel Arc Pro B60 Dual
    的頭像 發(fā)表于 05-22 13:56 ?1266次閱讀
    銘瑄在COMPUTEX 2025上發(fā)布<b class='flag-5'>Intel</b> <b class='flag-5'>Arc</b> Pro <b class='flag-5'>B</b>60 Dual 48G Turbo<b class='flag-5'>顯卡</b>

    瑞薩RZ/V2H平臺(tái)支持部署離線版DeepSeek -R1大語(yǔ)言模型

    瑞薩RZ/V2H平臺(tái)支持部署離線版DeepSeek -R1大語(yǔ)言模型
    的頭像 發(fā)表于 05-13 17:07 ?1892次閱讀
    瑞薩RZ/V2H平臺(tái)支持<b class='flag-5'>部署</b>離線版<b class='flag-5'>DeepSeek</b> -<b class='flag-5'>R1</b>大語(yǔ)言<b class='flag-5'>模型</b>

    DeepSeek 引領(lǐng)邊緣 AI 芯片向更高性能、更低功耗、更強(qiáng)泛化能力的方向演進(jìn)

    DeepSeek 系列模型概覽 DeepSeek 系列包括大型語(yǔ)言模型(如 DeepSeek LLM、R
    的頭像 發(fā)表于 05-09 10:27 ?2459次閱讀
    珠海市| 固原市| 曲阳县| 娄烦县| 斗六市| 嘉兴市| 武鸣县| 湘潭县| 永寿县| 柘城县| 阿克陶县| 沂南县| 安吉县| 炉霍县| 鸡西市| 株洲县| 林芝县| 廊坊市| 鹰潭市| 社会| 马公市| 大同市| 工布江达县| 紫阳县| 扶沟县| 呼和浩特市| 扎鲁特旗| 和平区| 澜沧| 射阳县| 卢龙县| 鹤岗市| 金沙县| 水富县| 连州市| 板桥市| 乌什县| 芒康县| 义乌市| 赤壁市| 资源县|