通過(guò)靈活的基礎(chǔ)設(shè)施實(shí)現(xiàn)創(chuàng)新

　　在本系列的第二部分也是最后一部分中，我將介紹一種更好的方法來(lái)應(yīng)對(duì)這些挑戰(zhàn)，并展示Microchip創(chuàng)新如何構(gòu)建計(jì)算、內(nèi)存和存儲(chǔ)的敏捷基礎(chǔ)架構(gòu)。我還將...

2023-04-23 標(biāo)簽：GPU交換機(jī)PCIe 801 0

AWQ/GPTQ量化模型加載與顯存優(yōu)化實(shí)戰(zhàn)

大語(yǔ)言模型（LLM）推理顯存需求呈指數(shù)級(jí)增長(zhǎng)，70B參數(shù)的模型需要約140GB顯存（FP16），遠(yuǎn)超單卡GPU容量。量化技術(shù)通過(guò)降低模型參數(shù)精度（從FP...

2026-03-13 標(biāo)簽：gpu操作系統(tǒng)模型 788 0

人工智能在影像升級(jí)中的關(guān)鍵作用

GPU和深度學(xué)習(xí)的結(jié)合對(duì)于使人工智能更快、更高效地升級(jí)也至關(guān)重要。GPU可以同時(shí)處理大量數(shù)據(jù)，從而實(shí)現(xiàn)更快的訓(xùn)練和推理。

2024-03-11 標(biāo)簽：gpuAI圖像增強(qiáng) 760 0

用于始終在線電子設(shè)備的高性能PMIC

VR/AR頭顯的功耗挑戰(zhàn)是許多計(jì)算密集型、始終在線的移動(dòng)電子產(chǎn)品面臨的常見困境。想想家庭自動(dòng)化中心、機(jī)頂盒、游戲系統(tǒng)和上網(wǎng)本。這些類型的應(yīng)用越來(lái)越依賴于...

2023-06-29 標(biāo)簽：cpu神經(jīng)網(wǎng)絡(luò)gpu 745 0

生成式AI時(shí)代要來(lái)了嗎 NVIDIA生成式AI獲新突破

這些性能強(qiáng)大的新系統(tǒng)將利用 NVIDIA Omniverse 平臺(tái)加速高計(jì)算密集度的復(fù)雜應(yīng)用，包括 AI 訓(xùn)練和推理、3D 設(shè)計(jì)和可視化、視頻處理、工業(yè)...

2023-08-23 標(biāo)簽：NVIDIAgpuAI 722 0

基于深度學(xué)習(xí)的路面坑洞檢測(cè)方案

請(qǐng)注意，所有剩余的命令都將從Darknet目錄執(zhí)行。因此，所有路徑都將相對(duì)于該目錄，并且數(shù)據(jù)集目錄應(yīng)該是相對(duì)于Darknet目錄的一個(gè)文件夾。

2023-09-18 標(biāo)簽：gpu分辨率深度學(xué)習(xí) 715 0

微軟自研人工智能芯片進(jìn)程脈絡(luò)梳理

一方面AMD的半定制芯片領(lǐng)域?qū)?huì)是未來(lái)人工智能領(lǐng)域公司的重點(diǎn)投入方向之一，因?yàn)槿斯ぶ悄軕?yīng)用的大客戶（主要是互聯(lián)網(wǎng)科技巨頭）對(duì)于這個(gè)領(lǐng)域有非常大的興趣

2023-05-17 標(biāo)簽：amdgpu人工智能 677 0

ARM Mali GPU: 抽象機(jī)器幀管線化

圖形工作負(fù)載的優(yōu)化對(duì)于許多現(xiàn)代移動(dòng)應(yīng)用程序而言往往必不可少，因?yàn)閹缀跛袖秩粳F(xiàn)在都直接或間接地由基于 OpenGL ES 的渲染后端負(fù)責(zé)處理。本文介紹如...

2019-04-17 標(biāo)簽：armgpu 674 0

一文詳解自壓縮神經(jīng)網(wǎng)絡(luò)

過(guò)去十年，人工智能研究主要集中在探索深度神經(jīng)網(wǎng)絡(luò)的潛力。我們近年來(lái)看到的進(jìn)步至少可以部分歸因于網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大。從使用GPT-3 [1] 的文本生成到...

2022-10-25 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)gpu人工智能 660 0

大模型服務(wù)為什么總是爆顯存

大模型服務(wù)報(bào) CUDA out of memory，很多現(xiàn)場(chǎng)第一反應(yīng)都是“模型太大，換更大的卡”。這個(gè)結(jié)論通常過(guò)于粗糙。生產(chǎn)里的顯存問(wèn)題至少有五類來(lái)源：...

2026-03-11 標(biāo)簽：gpu參數(shù)大模型 566 0

借助NVIDIA CUDA Tile IR后端推進(jìn)OpenAI Triton的GPU編程

NVIDIA CUDA Tile 是基于 GPU 的編程模型，其設(shè)計(jì)目標(biāo)是為 NVIDIA Tensor Cores 提供可移植性，從而釋放 GPU 的...

2026-02-10 標(biāo)簽：gpu編程CUDA 562 0

FPGA+GPU異構(gòu)混合部署方案設(shè)計(jì)

為滿足對(duì) “納秒級(jí)實(shí)時(shí)響應(yīng)” 與 “復(fù)雜數(shù)據(jù)深度運(yùn)算” 的雙重需求，“FPGA+GPU”異構(gòu)混合部署方案通過(guò)硬件功能精準(zhǔn)拆分與高速協(xié)同，突破單一硬件的性...

2026-01-13 標(biāo)簽：FPGA接口gpu 512 0