會(huì)話 AI 服務(wù)已經(jīng)存在多年，但不論是聊天機(jī)器人，還是智能個(gè)人助理或搜索引擎，其理解能力很難達(dá)到與人類相當(dāng)?shù)乃健?strong>主要瓶頸則在于超大型AI模型的實(shí)施部署無(wú)法實(shí)現(xiàn)。正因如此，不論是Google、Microsoft、Facebook，還是阿里巴巴、百度等，都在模型的部署方面孜孜以求。

NVIDIA于太平洋時(shí)間8月13日宣布重大突破：BERT訓(xùn)練時(shí)間實(shí)現(xiàn)創(chuàng)紀(jì)錄的53分鐘，推理時(shí)間縮短至2毫秒，并構(gòu)建了迄今為止同類型中最大的語(yǔ)言模型，使得實(shí)時(shí)會(huì)話 AI與用戶進(jìn)行互動(dòng)時(shí)更為自然。

超大模型面前，GPU再證強(qiáng)大可擴(kuò)展性

BERT（Bidirectional Encoder Representations from Transformers）是世界上最先進(jìn)的AI語(yǔ)言模型之一，Google于去年發(fā)布不久就刷爆AI業(yè)界。作為一種新型的語(yǔ)言模型，它只需一個(gè)額外的輸出層對(duì)預(yù)訓(xùn)練BERT進(jìn)行微調(diào)就可以滿足各種任務(wù)，而無(wú)需再對(duì)模型進(jìn)行修改，實(shí)現(xiàn)了在11項(xiàng)NLP任務(wù)上取得突破進(jìn)展。

在對(duì)BERT模型進(jìn)行訓(xùn)練時(shí)，NVIDIA使用搭載了92臺(tái) NVIDIA DGX-2H系統(tǒng)的 NVIDIA DGX SuperPOD運(yùn)行該模型的大型版本，憑借1472個(gè)NVIDIA V100 GPU的強(qiáng)大性能，NVIDIA將BERT-Large的典型訓(xùn)練時(shí)間從幾天縮短至僅僅 53 分鐘。

此外，NVIDIA還在單獨(dú)一臺(tái)NVIDIA DGX-2系統(tǒng)上執(zhí)行了BERT-Large 模型的訓(xùn)練任務(wù)，用時(shí)也僅為 2.8天，充分體現(xiàn)了GPU在會(huì)話 AI 方面的可擴(kuò)展性。

推理方面，借助于運(yùn)行了NVIDIA TensorRT的NVIDIA T4 GPU，NVIDIA 執(zhí)行 BERT-Base SQuAD數(shù)據(jù)集的推理任務(wù)，用時(shí)僅為2.2毫秒，遠(yuǎn)低于許多實(shí)時(shí)應(yīng)用程序所需的10毫秒處理閾值；與使用高度優(yōu)化的CPU代碼時(shí)所測(cè)得的40多毫秒相比，有著顯著改進(jìn)。

對(duì)此，NVIDIA 深度學(xué)習(xí)應(yīng)用研究副總裁 Bryan Catanzaro 表示，“對(duì)于適用于自然語(yǔ)言的AI而言，大型語(yǔ)言模型正在為其帶來(lái)革新。NVIDIA 所取得的突破性工作成果加速了這些模型的創(chuàng)建，它們能夠幫助解決那些最為棘手的語(yǔ)言問(wèn)題，讓我們距離實(shí)現(xiàn)真正的會(huì)話 AI 更進(jìn)了一步。

NVIDIA BERT推理解決方案Faster Transformer宣布開(kāi)源

開(kāi)發(fā)者們對(duì)于更大模型的需求正在日益增長(zhǎng)，NVIDIA 研究團(tuán)隊(duì)基于Transformer構(gòu)建并訓(xùn)練了世界上最大的語(yǔ)言模型。Transformer是BERT的技術(shù)構(gòu)件，正被越來(lái)越多的其他自然語(yǔ)言AI模型所使用。NVIDIA定制的模型包含83億個(gè)參數(shù)，是BERT-Large的24 倍。

2017年12月Google在論文“Attention is All You Need”中首次提出了Transformer，將其作為一種通用高效的特征抽取器。至今，Transformer已經(jīng)被多種NLP模型采用，比如BERT以及上月發(fā)布重刷其記錄的XLNet，這些模型在多項(xiàng)NLP任務(wù)中都有突出表現(xiàn)。在NLP之外，TTS、ASR等領(lǐng)域也在逐步采用Transformer?？梢灶A(yù)見(jiàn)，Transformer這個(gè)簡(jiǎn)潔有效的網(wǎng)絡(luò)結(jié)構(gòu)會(huì)像CNN和RNN一樣被廣泛采用。

不過(guò)，雖然Transformer在多種場(chǎng)景下都有優(yōu)秀表現(xiàn)，但是在推理部署階段，其計(jì)算性能卻受到了巨大的挑戰(zhàn)：以BERT為原型的多層Transformer模型，其性能常常難以滿足在線業(yè)務(wù)對(duì)于低延遲（保證服務(wù)質(zhì)量）和高吞吐（考慮成本）的要求。以BERT-BASE為例，超過(guò)90%的計(jì)算時(shí)間消耗在12層Transformer的前向計(jì)算上。因此，一個(gè)高效的Transformer 前向計(jì)算方案，既可以為在線業(yè)務(wù)帶來(lái)降本增效的作用，也有利于以Transformer結(jié)構(gòu)為核心的各類網(wǎng)絡(luò)在更多實(shí)際工業(yè)場(chǎng)景中落地。

NVIDIA GPU計(jì)算專家團(tuán)隊(duì)針對(duì)Transformer推理提出的性能優(yōu)化方案Faster Transformer宣布開(kāi)源，其底層基于CUDA和cuBLAS，是一個(gè)BERT Transformer 單層前向計(jì)算的高效實(shí)現(xiàn)，其代碼簡(jiǎn)潔明了，后續(xù)可以通過(guò)簡(jiǎn)單修改支持多種Transformer結(jié)構(gòu)。目前優(yōu)化集中在編碼器（encoder）的前向計(jì)算（解碼器decoder開(kāi)發(fā)在后續(xù)特性規(guī)劃中），能夠助力于多種BERT的應(yīng)用場(chǎng)景。Faster Transformer對(duì)外提供C++ API，TensorFlow OP 接口，以及TensorRT插件，并提供了相應(yīng)的示例，用以支持用戶將其集成到不同的線上應(yīng)用代碼中。

2021年15%的客服互動(dòng)將通過(guò)AI完成

預(yù)計(jì)未來(lái)幾年，基于自然語(yǔ)言理解的 AI 服務(wù)將呈指數(shù)級(jí)增長(zhǎng)。根據(jù)Juniper Research 的研究表明，在未來(lái)4年中，僅數(shù)字語(yǔ)音助手的數(shù)量就將有望從25 億攀升到 80 億。此外，據(jù)Gartner預(yù)計(jì)，到 2021 年，15%的客服互動(dòng)都將通過(guò)AI完成，相比2017年將增長(zhǎng)4倍。

當(dāng)前，全球數(shù)以百計(jì)的開(kāi)發(fā)者都使用 NVIDIA 的 AI 平臺(tái)，來(lái)推進(jìn)他們自己的語(yǔ)言理解研究并創(chuàng)建新的服務(wù)。

Microsoft Bing正在通過(guò)先進(jìn)的 AI 模型和計(jì)算平臺(tái)，為客戶提供更好的搜索體驗(yàn)。通過(guò)與 NVIDIA 密切合作，Bing 使用 NVIDIA GPU（Azure AI 基礎(chǔ)設(shè)施的一部分）進(jìn)一步優(yōu)化了熱門自然語(yǔ)言模型 BERT 的推理功能，從而大幅提升了 Bing 于去年部署的排名搜索的搜索質(zhì)量。與基于 CPU 的平臺(tái)相比，使用 Azure NVIDIA GPU 進(jìn)行推理，延遲降低了一半，吞吐量提升了5倍。

多家初創(chuàng)公司（例如Clinc、Passage AI 和Recordsure等）正在使用 NVIDIA的AI平臺(tái)為銀行、汽車制造商、零售商、醫(yī)療服務(wù)提供商、旅行社和酒店等客戶構(gòu)建先進(jìn)的會(huì)話 AI 服務(wù)。據(jù)悉，中國(guó)市場(chǎng)也有相應(yīng)的合作伙伴，日后將進(jìn)一步公開(kāi)。

會(huì)話AI才是真正意義上的人工智能的基本特征，不論是語(yǔ)言模型還是訓(xùn)練、推理，底層技術(shù)的逐步強(qiáng)大，才是實(shí)現(xiàn)這一切的基礎(chǔ)。距離我們所期望的人工智能雖然還很遙遠(yuǎn)，但技術(shù)上的每一次突破都值得記載。