NVIDIA 四大主題論壇

全棧式解決方案

為您啟動(dòng) AI 引擎

12 月 8 日-10 日，CNCC 邀您共赴 “計(jì)算之約”。以算力、數(shù)據(jù)、生態(tài)為主題，本屆 CNCC 首次全面改為線上舉辦，但規(guī)?？烧f(shuō)是史上之 “最” ：邀請(qǐng)嘉賓包括 ACM 圖靈獎(jiǎng)獲得者、田納西大學(xué)教授 Jack Dongarra，以及多位院士及專(zhuān)家，還有七百余位國(guó)內(nèi)外名校學(xué)者、名企領(lǐng)軍人物、各領(lǐng)域極具影響力的業(yè)內(nèi)專(zhuān)家。

今年，NVIDIA會(huì)在CNCC帶來(lái)涵蓋DPU、元宇宙、超大模型的推理和部署實(shí)踐三大主題的演講論壇和面向開(kāi)發(fā)者的CUDA Python線上編程培訓(xùn)實(shí)驗(yàn)論壇，內(nèi)容豐富、干貨滿滿、場(chǎng)場(chǎng)精彩！（* NVIDIA 將免費(fèi)放送四大論壇，線上票價(jià)值 1080 元，千萬(wàn)別錯(cuò)過(guò)）

NVIDIA 在 CNCC 主題論壇概覽

時(shí)間	主題
12 月 8 日（星期四）1330	探索 DPU 應(yīng)用場(chǎng)景 加速云原生基礎(chǔ)設(shè)施創(chuàng)新
12 月 8 日（星期四）1900	如何利用元宇宙相關(guān)技術(shù) 實(shí)現(xiàn)虛擬世界和現(xiàn)實(shí)世界的連接
12 月 9 日（星期五）1330	超大模型的推理和部署實(shí)踐
12 月 10 日（星期六）1330	基于 Python 的 CUDA 編程入門(mén) 培訓(xùn)及線上編程體驗(yàn)

在 8 號(hào)的“為數(shù)據(jù)中心不斷“減負(fù)” ：探索 DPU 應(yīng)用場(chǎng)景，加速云原生基礎(chǔ)設(shè)施創(chuàng)新”、穿梭虛實(shí)之間，元宇宙技術(shù)是如何做到的？兩期主題論壇之后。

這一程，NVIDIA 將攜手百度、騰訊、小冰，于 12 月 9 日下午共同解讀《超大模型的推理和部署實(shí)踐》。論壇云集技術(shù)大牛，您將了解：

• 飛槳超大模型的壓縮和推理優(yōu)化；

• 基于精調(diào)、蒸餾和壓縮的大模型落地應(yīng)用；

• 通往高參數(shù)效用比的自然語(yǔ)言處理；

• “小冰”如何利用 FasterTransformer 實(shí)現(xiàn)大規(guī)模語(yǔ)言模型的產(chǎn)品級(jí)部署等內(nèi)容。

對(duì)超大模型推理及其具體應(yīng)用感興趣的小伙伴們，

下方查看會(huì)議詳情！

超大模型的推理和部署實(shí)踐

12 月 9 日，星期五，1330

線上會(huì)議室 6

隨著 AI 的發(fā)展，創(chuàng)新和數(shù)據(jù)復(fù)雜性不斷提升，超大規(guī)模成為必然趨勢(shì)。通過(guò)本次分論壇，您將了解飛槳超大模型的壓縮和推理優(yōu)化；基于精調(diào)、蒸餾和壓縮的大模型落地應(yīng)用；通往高參數(shù)效用比的自然語(yǔ)言處理；如何利用 FasterTransformer 實(shí)現(xiàn)大規(guī)模語(yǔ)言模型的產(chǎn)品級(jí)部署，以及 Transformer 模型在 TensorRT 上的推理性能優(yōu)化等內(nèi)容。

具體議程

飛槳超大模型的壓縮和推理優(yōu)化

超大模型在各類(lèi)任務(wù)上取得卓越的效果，然而由于超大模型體積大、速度慢，推理部署面臨巨大的挑戰(zhàn)，大模型的高效推理是實(shí)現(xiàn)大模型產(chǎn)業(yè)應(yīng)用落地的關(guān)鍵所在。飛槳推出了針對(duì)大模型的壓縮、推理、服務(wù)化全流程部署方案。該方案通過(guò)面向大模型的精度無(wú)損模型壓縮技術(shù)、自適應(yīng)分布式推理技術(shù)，可自動(dòng)感知硬件特性，完成模型壓縮、自動(dòng)切分和混合并行推理計(jì)算，實(shí)現(xiàn)領(lǐng)先性能。

黨青青 | 百度資深研發(fā)工程師

黨青青，百度資深研發(fā)工程師，目前主要從事深度學(xué)習(xí)模型推理、壓縮、視覺(jué)算法的研究。負(fù)責(zé)飛槳推理性能優(yōu)化，以及模型壓縮工具、視覺(jué)套件建設(shè)。有豐富的深度學(xué)習(xí)框架系統(tǒng)研發(fā)、高性能優(yōu)化、算法調(diào)優(yōu)經(jīng)驗(yàn)。

通往高參數(shù)效用比的自然語(yǔ)言處理-預(yù)訓(xùn)練、

下游任務(wù)、與前沿展望

如今自然語(yǔ)言處理領(lǐng)域正在進(jìn)行 “訓(xùn)練->推理” 到 “預(yù)訓(xùn)練->下游任務(wù)微調(diào)”的范式轉(zhuǎn)換，其中模型神經(jīng)元數(shù)量和預(yù)訓(xùn)練所用數(shù)據(jù)規(guī)模已經(jīng)遠(yuǎn)超人類(lèi)大腦的神經(jīng)元數(shù)量和人類(lèi)人均閱讀總量，同時(shí)在 GLUE 等通用大模型評(píng)估榜單中獲得的收益是非常微弱的。對(duì)此，我們開(kāi)展了一系列高參數(shù)效用比的自然語(yǔ)言處理預(yù)訓(xùn)練、和下游任務(wù)的探索，來(lái)幫助大模型更加智能、高效的從海量數(shù)據(jù)中挖掘知識(shí)，并魯棒、準(zhǔn)確的遷移到下游任務(wù)中。

丁亮 | 京東探索研究院算法科學(xué)家

丁亮，京東探索研究院算法科學(xué)家，自然語(yǔ)言處理方向負(fù)責(zé)人。博士畢業(yè)于悉尼大學(xué)，師從 IEEE/ACM Fellow 陶大程教授。他致力于基于深度學(xué)習(xí)的自然語(yǔ)言處理，包括大規(guī)模語(yǔ)言模型預(yù)訓(xùn)練、語(yǔ)言理解、生成和翻譯。他帶領(lǐng)團(tuán)隊(duì)在 2021 年 12 月在兩個(gè) GLUE 基準(zhǔn)評(píng)測(cè)任務(wù)上實(shí)現(xiàn)首次超越人類(lèi)的表現(xiàn)，隨后在 2022 年 1 月以均分 91.3 獲得總榜單第一。

基于精調(diào)、蒸餾和壓縮的大模型落地應(yīng)用

大模型歷經(jīng)過(guò)去幾年探索已經(jīng)相對(duì)成熟。目前如何能夠在真實(shí)場(chǎng)景快速落地成為急需解決的問(wèn)題。為解決大模型落地方面的各種問(wèn)題，我們開(kāi)發(fā)提供精調(diào)、蒸餾、壓縮、推理、服務(wù)化全流程部署方案，助力大模型快速有效落地。

劉凱 | 騰訊軟件工程師

從事 NLP 訓(xùn)練推理一體化服務(wù)開(kāi)發(fā)。

小冰如何利用 FasterTransformer

實(shí)現(xiàn)大規(guī)模語(yǔ)言模型的產(chǎn)品級(jí)部署

小冰在部署 GPT 1B/6B 模型中遇到的困難；Faster Transformer (FT) 如何解決上述困難；在上述模型配置下，F(xiàn)T+Triton 與 baseline (Huggingface Transformers 和 Deepspeed) 在 a. latency, b. throughput, c. 可部署的最低配置GPU環(huán)境 上的差異；小冰如何利用 FT 對(duì) soft prompt/prefix 的支持，在只使用同一個(gè) backbone model 的情況下實(shí)現(xiàn)對(duì)不同用戶的高度自定義化。

趙天雨 | 小冰高級(jí)研究員

2015 年本科畢業(yè)于北京大學(xué)計(jì)算機(jī)系，2020 年博士畢業(yè)于京都大學(xué)智能信息學(xué)系，同年就職于小冰日本團(tuán)隊(duì)。研究方向?yàn)樽匀徽Z(yǔ)言處理，主要關(guān)注對(duì)話系統(tǒng)、大模型的訓(xùn)練與部署。

鄭鵬 | NVIDIA GPU 計(jì)算專(zhuān)家

畢業(yè)于佐治亞理工計(jì)算科學(xué)與工程專(zhuān)業(yè)，2021 年加入 NVIDIA 主要參與 FasterTransformer Multi-GPU Multi-Node 相關(guān)的優(yōu)化工作。

基于 FasterTransformer

和 Triton大模型的預(yù)估

自 2020 年 OpenAI 推出 GPT 模型之後，越來(lái)越多研究證明超大模型在自然語(yǔ)言處理上的能力與重要性。NVIDIA 在 2021 年時(shí)基于 FasterTransformer 開(kāi)發(fā)多機(jī)多卡并行推理的功能，提出第一個(gè)多機(jī)多卡大模型推理的解決方案。FasterTransformer 本身不具有收集、整理請(qǐng)求的能力，這在實(shí)際應(yīng)用上是非常重要的功能。為了填補(bǔ)不足，我們將 FasterTransformer 與推理框架 Triton 進(jìn)行結(jié)合，讓 FasterTransformer 能夠更好的支持實(shí)際的推理場(chǎng)景。在這次的演講中，我們會(huì)詳細(xì)的講解我們?nèi)绾螌?shí)現(xiàn)以上的功能，讓用戶能透過(guò) FasterTransformer 將大模型推理實(shí)際落地。

薛博陽(yáng) | NVIDIA GPU 技術(shù)專(zhuān)家

2019 年加入 NVIDIA，目前主要負(fù)責(zé) FasterTransformer 的開(kāi)發(fā)與優(yōu)化。FasterTransformer 提供 Transformer 模型推理上靈活與高效的調(diào)用，對(duì)比一般的框架能提供數(shù)倍到十倍以上的加速效果。除此之外，是第一個(gè)支持 GPT-3 的推理庫(kù)。FasterTransformer 針對(duì) GPT-3 這種超大規(guī)模(1750 億模型參數(shù))的模型提供了模型并行、優(yōu)化通信開(kāi)銷(xiāo)、顯存使用，讓使用者能以最少的 GPU、透過(guò)多 GPU、多節(jié)點(diǎn)在 GPT-3 的服務(wù)上得到最好的速度。

Transformer 模型

在 TensorRT 上的推理性能優(yōu)化

Transformer 在 NLP 和 CV 領(lǐng)域大放異彩，在眾多深度學(xué)習(xí)模型中顯現(xiàn)了突出的效果。同時(shí)，它相比于卷積網(wǎng)絡(luò)需要更高的計(jì)算量，其推理優(yōu)化值得關(guān)注。TensorRT 是 NVIDIA 專(zhuān)門(mén)針對(duì)推理場(chǎng)景推出的性能優(yōu)化工具；NVIDIA DevTech 團(tuán)隊(duì)將若干常用的 Transformer 模型移植到 TensorRT，獲得了良好的加速效果。

王猛 | NVIDIA GPU 技術(shù)專(zhuān)家

2019 年加入 NVIDIA，目前主要從事 GPU 上模型部署與優(yōu)化，在 TensorRT，ONNX 和 CUDA 并行計(jì)算等領(lǐng)域有較多的研究和應(yīng)用經(jīng)驗(yàn)，目前主要負(fù)責(zé) TensorRT workflow。

小組座談

參與嘉賓：

王猛 | NVIDIA GPU 技術(shù)專(zhuān)家

劉凱 | 騰訊軟件工程師

怎樣報(bào)名參會(huì)

掃描下方二維碼或點(diǎn)擊閱讀原文，添加微信小助手

并備注“CNCC”加入本次活動(dòng)微信交流群

分論壇觀看入口將在直播開(kāi)始前在微信群內(nèi)發(fā)布

與行業(yè)先鋒一同，探尋超大模型的推理和部署實(shí)踐