2023 年《NVIDIA 專家面對面技術(shù)沙龍----——大語言模型專場》于 7 月 30 日下午在北京順利舉行。闊別兩年，首次重返線下！即便是滂沱大雨，也阻擋不了數(shù)百位與會者的熱情。本次活動共匯聚了 40 余位 NVIDIA 技術(shù)專家和上百位業(yè)界人才圍繞大語音模型進行全面交流和深入探討。包含來自科研教育、汽車、金融服務(wù)、能源、消費者互聯(lián)網(wǎng)、醫(yī)療健康、電信、云服務(wù)、制造業(yè)、農(nóng)業(yè)及初創(chuàng)企業(yè)等各大領(lǐng)域的開發(fā)人員、工程師、研發(fā)經(jīng)理、技術(shù)負(fù)責(zé)人等專家。NVIDIA 全球副總裁劉念寧以及 NVIDIA中國區(qū)工程和解決方案高級總監(jiān)賴俊杰博士通過現(xiàn)場致辭，成功為本屆的技術(shù)沙龍揭開完美序幕。

劉念寧表示，“在 NVIDIA，除了過往的經(jīng)驗累積造就成功決策之外，更重要的是，研發(fā)團隊大量創(chuàng)新想法的涌現(xiàn)以及團隊之間的相互碰撞和與客戶之間的相互激蕩 。正如同本次的專家面對面活動，專家們不僅來自于 NVIDIA 團隊，更包括來自現(xiàn)場在坐的各位，你們最了解前端的應(yīng)用場景，雙方透過互動交流，NVIDIA 才能夠一步步在 AI 領(lǐng)域造就技術(shù)創(chuàng)新?！?/p>

賴俊杰表示，“NVIDIA 之所以在軟硬件生態(tài)做得相對優(yōu)秀，其實是因為我們很注重去聽取來自不同行業(yè)客戶的反饋，包括軟件、硬件、應(yīng)用的需求，針對這個需求，我們研發(fā)出相應(yīng)的解決方案，然后再將其融入固化到產(chǎn)品中。透過這樣的專家面對面線下的活動，我們期許這個交流是雙向的，而不只是單向輸出。衷心希望大家不虛此行，通過今天的交流，各位皆能有所收獲?！?/p>

主論壇分享精彩回顧

本次技術(shù)沙龍以大語言模型（LLM）為主題，NVIDIA 技術(shù)團隊共分享了三大技術(shù)指南，包括從大語言模型的基礎(chǔ)設(shè)施搭建、訓(xùn)練到推理，助力企業(yè)打造專屬的大模型高光時刻。

1. LLM 基礎(chǔ)設(shè)施最佳實踐：如何建構(gòu)穩(wěn)定的大模型訓(xùn)練系統(tǒng)的方法論，訓(xùn)練任務(wù)生命周期拆解，如何做好集群監(jiān)控、確保環(huán)境可靠和針對大模型訓(xùn)練集群的存儲設(shè)計，以及集群參考架構(gòu)的分享。

2. LLM 訓(xùn)練最佳實踐：NVIDIA 針對大模型訓(xùn)練的解決方案 NeMo Framework 概要，如何做數(shù)據(jù)治理、超參搜尋、分布式訓(xùn)練加速、FP8 混合精度訓(xùn)練以及 RLHF 的最佳實踐，NeMo Framework 對社區(qū)模型和自定義模型的支持進展和方法。

3. LLM 推理最佳實踐：剖析 LLM 生成階段之加速技術(shù) K/V Cache、Self-Attention 推理加速技術(shù)實測、LLM 推理服務(wù)部署優(yōu)化技術(shù)實踐，以及如何進行大模型低精度推理的最佳實踐。

左右滑動查看主論壇活動照片

深度交流，共話 LLM 挑戰(zhàn)與創(chuàng)新進展

除了主論壇分享，我們也安排了“分論壇技術(shù)話題及技術(shù)演示”的交流環(huán)節(jié)，讓來自行業(yè)的技術(shù)伙伴們能與 NVIDIA 專家面對面探討 LLM 的最新趨勢及應(yīng)用挑戰(zhàn)。專家親自剖析構(gòu)建及訓(xùn)練 LLM 的實例，分享相關(guān)實戰(zhàn)經(jīng)驗及 LLM 對行業(yè)未來發(fā)展。包括大模型訓(xùn)練集群監(jiān)控實踐及演示、常見集群穩(wěn)定性問題詳解及解決方案、NeMo Framework RLHF 設(shè)計解讀及實踐、NVIDIA 多模態(tài)訓(xùn)練方案解讀、如何評估大模型訓(xùn)練計算熱點、低精度推理管線詳解及演示、如何在 NVIDIA 大模型推理產(chǎn)品中新增模型、基于 NeMo LLM Service 定制化開發(fā)企業(yè)級 AI 應(yīng)用，以及如何通過 NeMo-Guardrails 讓大語言模型的使用合法合規(guī)等豐富內(nèi)容。

左右滑動查看分論壇活動照片

AI 之路，NVIDIA 從未止步

從首屆舉辦到現(xiàn)在，我們定制了不同主題的專場，無論線下或線上，NVIDIA 中國團隊通過“專家面對面技術(shù)沙龍”已累計與千余名各界的技術(shù)專家交流互動。未來，我們將持續(xù)舉辦技術(shù)沙龍，引導(dǎo)更多的行業(yè)人才在科技創(chuàng)新之路，精準(zhǔn)實踐專業(yè)技能，一同聚焦 AI 發(fā)展，通過近距離交流及答疑，加速解決跨行業(yè)痛點。

再次感謝所有與會者的熱情支持，

讓本次活動圓滿成功。

NVIDIA 期待與您下一次相見！