NVIDIA Clara Guardian是一個(gè)應(yīng)用框架，同時(shí)也是一種合作伙伴生態(tài)系統(tǒng)，它可以利用多模態(tài) AI 簡(jiǎn)化智能傳感器的開(kāi)發(fā)和部署，可應(yīng)用于醫(yī)療健康設(shè)施的各個(gè)位置。借助各種各樣的預(yù)訓(xùn)練模型、參考應(yīng)用和設(shè)備群管理解決方案，開(kāi)發(fā)者能夠以更快的速度構(gòu)建解決方案，從而將 AI 引入醫(yī)療健康設(shè)施，并提高患者護(hù)理水平。

Clara Guardian 的關(guān)鍵組件包括醫(yī)療健康預(yù)訓(xùn)練模型，該模型適用于計(jì)算機(jī)視覺(jué)和語(yǔ)音、訓(xùn)練工具、部署 SDK 和 NVIDIA Fleet Command。NVIDIA Fleet Command是一個(gè)混合云平臺(tái)，可支持在數(shù)百萬(wàn)臺(tái)服務(wù)器或醫(yī)院的邊緣設(shè)備中安全管理并擴(kuò)展 AI 部署。

這使得生態(tài)系統(tǒng)合作伙伴可以輕松將 AI 功能添加到常用傳感器中，從而監(jiān)控人群的安全社交距離、測(cè)量體溫、檢測(cè)是否佩戴口罩等防護(hù)裝備，或與高風(fēng)險(xiǎn)患者進(jìn)行遠(yuǎn)程交互，從而在保護(hù)醫(yī)療健康機(jī)構(gòu)人員安全的同時(shí)，還能讓他們隨時(shí)了解狀況。

應(yīng)用和服務(wù)可以在各種硬件上運(yùn)行，因此，開(kāi)發(fā)者能夠在從邊緣到云端的任意位置安全地進(jìn)行部署。

NVIDIA Clara Guardian 功能特性

提供解決方案

利用高性能的預(yù)訓(xùn)練模型在醫(yī)療健康領(lǐng)域構(gòu)建精確 AI。

云原生，邊緣優(yōu)先

快速擴(kuò)展軟件，并在邊緣輕松部署應(yīng)用。

安全管理

在數(shù)十臺(tái)，甚至多達(dá)數(shù)百萬(wàn)臺(tái)的服務(wù)器或邊緣設(shè)備上安全地管理和擴(kuò)展 AI 部署。

醫(yī)療健康領(lǐng)域?qū)Ｓ玫念A(yù)訓(xùn)練模型

適用于語(yǔ)音的 Clara Guardian

適用于語(yǔ)音的 Clara Guardian 是 Riva 對(duì)話式 AI 功能針對(duì)醫(yī)療健康領(lǐng)域的特定版本。

對(duì)于自動(dòng)語(yǔ)音識(shí)別（ASR）功能，模型執(zhí)行離線識(shí)別和串流識(shí)別兩種模式，可自動(dòng)添加標(biāo)點(diǎn)符號(hào)、輸出字詞時(shí)間戳并返回前 n 個(gè)腳本。

我們推薦使用 CitriNet 這個(gè)基于端到端卷積 Connectionist Temporal Classification（CTC）的全新 ASR 模型。CitriNet 模型會(huì)接收音頻片段，并將其轉(zhuǎn)寫(xiě)為字母、字節(jié)對(duì)或詞片段序列。CitriNet 已在 ASR 數(shù)據(jù)集上進(jìn)行訓(xùn)練，在沒(méi)有任何外部 LM 的情況下，它可以在 LibriSpeech test-other 上達(dá)到 6.22% 的誤字率（WER），并且在各種硬件 / GPU 上高效運(yùn)行，如此處所示。

Conformer-CTC 模型是用于自動(dòng)語(yǔ)音識(shí)別的 Conformer 模型的非自回歸變體，該模型使用 CTC 損失 / 解碼代替 Transducer。

對(duì)于自然語(yǔ)言理解（NLU）功能，深度學(xué)習(xí)模型通過(guò)編碼向量理解上下文，并為特定語(yǔ)言任務(wù)（如預(yù)測(cè)下一個(gè)單詞和文本摘要）提供適當(dāng)?shù)妮敵觥?/p>

對(duì)于文本轉(zhuǎn)語(yǔ)音（TTS），有一款基于 FastPitchHifiGanE2E 的語(yǔ)音合成模型。FastPitchHifiGanE2E 是一個(gè)端到端的非自回歸模型，可將文本轉(zhuǎn)化成音頻。它將 FastPitch 和 HiFiGan 組合成一個(gè)模型，并以端到端方式聯(lián)合訓(xùn)練。

語(yǔ)音模型（ASR、NLP 和 TTS）可用于截取、處理和響應(yīng)患者在醫(yī)療健康設(shè)置中可能提出的常見(jiàn)請(qǐng)求。

適用于計(jì)算機(jī)視覺(jué)的 Clara Guardian

適用于計(jì)算機(jī)視覺(jué)的 Clara Guardian 是DeepStream和Riva計(jì)算機(jī)視覺(jué)功能在醫(yī)療健康領(lǐng)域的特定版本。

Clara Guardian 包含可用于手勢(shì)識(shí)別、心率監(jiān)測(cè)、口罩檢測(cè)和身體姿態(tài)估計(jì)的預(yù)訓(xùn)練模型。

身體姿態(tài)估計(jì)可用于檢測(cè)身體中重要關(guān)節(jié)和面部特征的位置（眼睛、耳朵、肘部、肩膀、手腕、臀部、膝蓋、腳踝、鼻子、頸部等），從而建立患者監(jiān)控 AI 模型。

手勢(shì)識(shí)別模型可以識(shí)別一系列常見(jiàn)的手勢(shì)（揮手、表示同意、豎大拇指、表示制止等）。

僅通過(guò)觀察人臉的視頻流，心率估計(jì)模型就可以獲得一個(gè)人的心率數(shù)據(jù)。

預(yù)編譯的NVIDIA TensorRT引擎已在NVIDIA GPUs上進(jìn)行優(yōu)化。

借助 Fleet Command 進(jìn)行安全管理

NVIDIA Fleet Command是一個(gè)混合云平臺(tái)，可以跨數(shù)十臺(tái)到數(shù)百萬(wàn)臺(tái)服務(wù)器或邊緣設(shè)備，安全地遠(yuǎn)程部署、管理和擴(kuò)展 AI。管理員無(wú)需花費(fèi)數(shù)周時(shí)間規(guī)劃和執(zhí)行部署，只需幾分鐘即可將 AI 擴(kuò)展到醫(yī)院。管理員能夠在一個(gè)控制面板中實(shí)現(xiàn)整個(gè) IT 部門的相關(guān)操作，從而管理 AI 應(yīng)用的生命周期、通過(guò)無(wú)線以及遠(yuǎn)程監(jiān)控和訪問(wèn)系統(tǒng)更新系統(tǒng)軟件。

端到端 AI 解決方案

Clara Guardian 包含經(jīng) GPU 優(yōu)化的組件，可加速應(yīng)用開(kāi)發(fā)的各個(gè)階段。

訓(xùn)練

一系列醫(yī)療健康領(lǐng)域?qū)Ｓ玫念A(yù)訓(xùn)練計(jì)算機(jī)視覺(jué)和對(duì)話式 AI 模型，適用于各種用例。

NVIDIA NeMo，為 ASR、NLP 和 TTS 構(gòu)建對(duì)話式 AI 模型。

TAO 工具套件，可創(chuàng)建零編碼且高度準(zhǔn)確的計(jì)算機(jī)視覺(jué)模型。

部署

NVIDIA Riva用于部署融合了視覺(jué)、語(yǔ)音和其他傳感器數(shù)據(jù)的對(duì)話式 AI 模型。

NVIDIA DeepStream SDK借助傳輸層安全性（TLS）協(xié)議，提供多平臺(tái)可擴(kuò)展的視頻分析框架，可在邊緣進(jìn)行部署，可連接到任意云。

審核編輯：湯梓紅