NVIDIA A100張量核心GPU的內(nèi)部和新特性研究

A100 GPU 的新 MIG 功能可以將每個 A100 劃分為多達(dá)七個 GPU 加速器以實(shí)現(xiàn)最佳利用率，有效提高了 GPU 資源利用率和 GPU 訪問...

2022-04-06 標(biāo)簽：NVIDIAgpu人工智能 1.1萬 0

通過NVIDIA GPU內(nèi)存預(yù)取實(shí)現(xiàn)應(yīng)用程序性能的提高

NVIDIA GPU 具有強(qiáng)大的計(jì)算能力，通常必須以高速傳輸數(shù)據(jù)才能部署這種能力。原則上這是可能的，因?yàn)?GPU 也有很高的內(nèi)存帶寬，但有時他們需要你的...

2022-04-02 標(biāo)簽：存儲器NVIDIAgpu 4k 0

在動態(tài)環(huán)境中使用CUDA圖提高實(shí)際應(yīng)用程序性能

具有許多小 CUDA 內(nèi)核的應(yīng)用程序通常可以使用 CUDA 圖進(jìn)行加速，即使內(nèi)核啟動模式在整個應(yīng)用程序中發(fā)生變化。鑒于這種動態(tài)環(huán)境，最佳方法取決于應(yīng)用程...

2022-04-01 標(biāo)簽：NVIDIAgpu 4.8k 0

如何在GPU上使用TensorRT部署深度學(xué)習(xí)應(yīng)用程序

本文未涉及的一個主題是在 TensorRT 中以 INT8 精度精確地執(zhí)行推理。 TensorRT 自動轉(zhuǎn)換 FP32 網(wǎng)絡(luò)以進(jìn)行部署，同時降低精度損失...

2022-04-01 標(biāo)簽：NVIDIAgpu 5.9k 0

Merlin HugeCTR 分級參數(shù)服務(wù)器簡介

　　參數(shù)服務(wù)器是推薦系統(tǒng)的重要組成部分，但是目前的訓(xùn)練端參數(shù)服務(wù)器由于高延遲和同步問題無法有效解決推理部署中模型過大的瓶頸。

2022-03-31 標(biāo)簽：cpugpu服務(wù)器 2.2k 0

Merlin HugeCTR分級參數(shù)服務(wù)器：緩存和在線更新設(shè)計(jì)

　　在這一期的 HugeCTR 分級參數(shù)服務(wù)器介紹中，我們介紹了 CPU 分布式緩存，本地緩存，以及在線更新的設(shè)計(jì)細(xì)節(jié)。在下一期中，我們將著重介紹 Hu...

2022-03-31 標(biāo)簽：cpugpu服務(wù)器 2.3k 0

NVIDIA Sionna：一個GPU加速的開源庫

即使 5G 無線網(wǎng)絡(luò)正在全球范圍內(nèi)安裝和使用，學(xué)術(shù)界和工業(yè)界的研究人員已經(jīng)開始為 6G 定義 愿景和關(guān)鍵技術(shù) 。雖然沒有人知道 6G 將是什么，但一個反...

2022-03-30 標(biāo)簽：通信NVIDIAgpu 1.2萬 0

快手基于Alveo優(yōu)化大規(guī)模網(wǎng)絡(luò)直播和短視頻自動語音識別服務(wù)

自動語音識別（ASR）是電子商務(wù)、短視頻、直播等眾多應(yīng)用的核心技術(shù)之一。ASR 在快手有許多的應(yīng)用場景，是快手 APP、直播、風(fēng)控、游戲等眾多業(yè)務(wù)的核心...

2021-12-21 標(biāo)簽：fpgagpu語音識別 4.1k 0

云服務(wù)、OEM 借助 NVIDIA AI讓AI訓(xùn)練更上層樓

借助 NVIDIA AI，戴爾、浪潮、Microsoft Azure 和 Supermicro 在今天發(fā)布的新 MLPerf 基準(zhǔn)測試中創(chuàng)下快速訓(xùn)練 A...

2021-12-03 標(biāo)簽：NVIDIAgpuAI 1.9k 0

【自適應(yīng)計(jì)算在機(jī)器人領(lǐng)域的應(yīng)用】連載二：工業(yè)類比CPU／GPU，ASIC和FPGA，誰更適合機(jī)器人計(jì)算

總體而言，CPU、GPU 和 ASIC 等采用固定架構(gòu)的器件，在其為開發(fā)者提供優(yōu)勢的同時，也讓其付出了代價(jià)。

2021-11-11 標(biāo)簽：fpga機(jī)器人asic 3.3k 0

FPGA與GPU計(jì)算存儲加速對比：單位功耗性能考量因素

使用或者不使用機(jī)器學(xué)習(xí)輔助的分析以及驗(yàn)證，都可以借助計(jì)算存儲器件進(jìn)行加速。

2021-08-20 標(biāo)簽：fpgagpuAI 4.3k 0

助力轉(zhuǎn)型：GPU如何完成曾經(jīng)不可能完成的分析工作

最新版本的Cloudera Data Platform采用通過NVIDIA技術(shù)加速的Spark 3.0，能夠幫助操作團(tuán)隊(duì)實(shí)現(xiàn)8倍性能提升，從而成功運(yùn)行一...

2021-08-06 標(biāo)簽：gpu機(jī)器學(xué)習(xí) 1.2k 0

GPT-3難以復(fù)現(xiàn)，為什么說PyTorch走上了一條“大彎路”？

據(jù) NVIDIA 估算，如果要訓(xùn)練GPT-3 ，即使單個機(jī)器的顯存/內(nèi)存能裝得下，用 8 張 V100 的顯卡，訓(xùn)練時長預(yù)計(jì)要 36 年。

2021-05-19 標(biāo)簽：NVIDIAgpuAI 1.8k 0

使用OpenGL ES構(gòu)架和GPU的離屏幀合成器/分解器功能實(shí)現(xiàn)

用于處理離屏頁面的視頻幀合成與分解模塊是視頻通信、視頻網(wǎng)絡(luò)、視頻安防等多媒體應(yīng)用中最重要的軟件組件之一。離屏頁面是指沒有在屏幕上顯示的那些視頻幀。

2021-03-19 標(biāo)簽：gpu分辨率多媒體 3.5k 0