使用 NVIDIA NeMo 和 標(biāo)簽工作室 中的自動(dòng)語(yǔ)音識(shí)別（ ASR ）模型處理音頻數(shù)據(jù)時(shí)，可以節(jié)省時(shí)間并產(chǎn)生更準(zhǔn)確的結(jié)果。

NVIDIA NeMo 提供了可重用的神經(jīng)模塊，使得創(chuàng)建新的神經(jīng)網(wǎng)絡(luò)架構(gòu)變得容易，包括 ASR 的預(yù)構(gòu)建模塊和現(xiàn)成模型。借助 NVIDIA NeMo 的強(qiáng)大功能，您可以從預(yù)訓(xùn)練語(yǔ)音識(shí)別模型中獲得音頻轉(zhuǎn)錄。添加 labelstudio 及其開(kāi)源數(shù)據(jù)標(biāo)記功能，您可以進(jìn)一步提高轉(zhuǎn)錄質(zhì)量。

解決方案

圖 1 使用 Label Studio 和 NeMo 注釋和更正轉(zhuǎn)錄本的 ASR 工作流。

按照本文中的步驟使用 Label Studio 設(shè)置 NVIDIA NeMo ASR ，以生成高質(zhì)量的音頻轉(zhuǎn)錄本。

連接 NVIDIA NeMo 模型，在 Label Studio 中自動(dòng)轉(zhuǎn)錄音頻文件。

設(shè)置音頻轉(zhuǎn)錄項(xiàng)目。

從 Label Studio 驗(yàn)證和導(dǎo)出修訂的音頻轉(zhuǎn)錄本。

微調(diào) NeMo ASR 模型與修改后的音頻轉(zhuǎn)錄從標(biāo)簽工作室。

先決條件

開(kāi)始之前，請(qǐng)確保您擁有以下資源：

音頻數(shù)據(jù)文件。 此音頻 MIG 可以是客戶(hù)服務(wù)電話(huà)、電話(huà)訂單、銷(xiāo)售對(duì)話(huà)的錄音，也可以是其他與人交談的錄音。音頻文件必須采用以下文件格式之一：

WAV

AIFF

MP3

AU

FLAC

已安裝 Label Studio 。 在本地計(jì)算機(jī)或云服務(wù)器上使用首選方法安裝 Label Studio 。有關(guān)更多信息，請(qǐng)參閱 Label Studio 文檔中的 Quickstart 。

NeMo 工具箱已安裝

免費(fèi)音頻數(shù)據(jù)

如果您沒(méi)有任何音頻數(shù)據(jù)，可以使用示例數(shù)據(jù)集或歷史音頻數(shù)據(jù)集：

LJ 語(yǔ)音數(shù)據(jù)集 是非小說(shuō)類(lèi)書(shū)籍段落的公共域數(shù)據(jù)集。

Librispeech 還提供了一個(gè) 基于開(kāi)放 SLR 的開(kāi)源 ASR 語(yǔ)料庫(kù) 。

您可以使用許多其他 ASR 數(shù)據(jù)集。有關(guān)詳細(xì)信息，請(qǐng)參閱 數(shù)據(jù)集 – 簡(jiǎn)介 。您還可以使用國(guó)會(huì)圖書(shū)館網(wǎng)站上的公共域錄音集，如 美國(guó)棒球運(yùn)動(dòng)員訪(fǎng)談錄 。

確定要轉(zhuǎn)錄的音頻后，就可以開(kāi)始處理它了。

安裝 Label Studio ML 后端

安裝 Label Studio 后，請(qǐng)安裝 Label Studio 機(jī)器學(xué)習(xí)后端。從命令行運(yùn)行以下命令：

git clone https://github.com/heartexlabs/label-studio-ml-backend 

設(shè)置環(huán)境：

cd label-studio-ml-backend

# Install label-studio-ml and its dependencies
pip install -U -e .

# Install the nemo example dependencies
pip install -r label_studio_ml/examples/requirements.txt

連接 NVIDIA NeMo 模型，在 Label Studio 中自動(dòng)轉(zhuǎn)錄音頻文件

要使用預(yù)先訓(xùn)練的 ASR 模型的預(yù)測(cè)對(duì)數(shù)據(jù)進(jìn)行預(yù)標(biāo)記，請(qǐng)?jiān)?Label Studio 中將 NeMo 工具箱設(shè)置為機(jī)器學(xué)習(xí)后端。 Label Studio 機(jī)器學(xué)習(xí)后端允許您使用預(yù)先訓(xùn)練的模型來(lái)預(yù)標(biāo)記數(shù)據(jù)。

Label Studio 包括使用 利用 NGC 云中的 NeMo 開(kāi)發(fā)的預(yù)訓(xùn)練 QuartzNet15x5 模型 的 一個(gè)例子 ，但是如果另一個(gè)模型更適合，您可以用您的數(shù)據(jù)設(shè)置一個(gè)不同的模型。有關(guān)更多信息，請(qǐng)參閱 NeMo 提供的 ASR 型號(hào)列表 。

在命令行中，將 NeMo 設(shè)置為機(jī)器學(xué)習(xí)后端，并使用該模型啟動(dòng)一個(gè)新的 Label Studio 項(xiàng)目。

安裝 NeMo 工具箱 在 Docker 容器中或使用 pip 。

下載 NeMo ASR 模型。提供的 Label Studio 示例腳本從 NGC 云下載預(yù)先訓(xùn)練的 QuartzNet 模型。要使用不同的模型，請(qǐng)從 NGC 下載該模型。

從命令行啟動(dòng) Label Studio 機(jī)器學(xué)習(xí)后端。

label-studio-ml init my_model --from label_studio_ml/examples/nemo/asr.py

啟動(dòng)機(jī)器學(xué)習(xí)后端。默認(rèn)情況下，模型在本地主機(jī)上以端口 9090 啟動(dòng)。

label-studio-ml start my_model

用模型啟動(dòng) Label Studio 。

label-studio start my_project --ml-backends http://localhost:9090

設(shè)置音頻轉(zhuǎn)錄項(xiàng)目

啟動(dòng) Label Studio 后，導(dǎo)入音頻數(shù)據(jù)并設(shè)置正確的模板來(lái)配置標(biāo)簽。 VZX19 是自動(dòng)語(yǔ)音識(shí)別的最佳選擇，它使音頻數(shù)據(jù)的注釋變得容易。

打開(kāi) Label Studio ，導(dǎo)入數(shù)據(jù)，然后選擇模板。

選擇 Import 并以純文本或 JSON 文件的形式導(dǎo)入音頻數(shù)據(jù)，這些文件引用在線(xiàn)存儲(chǔ)（如 Amazon S3 ）中托管的音頻文件的有效 url 。

2 從 Tasks 列表中，選擇 Settings 。

3 在 標(biāo)簽界面 選項(xiàng)卡上，瀏覽模板并選擇 自動(dòng)語(yǔ)音識(shí)別 模板。

4 選擇 Save 。

驗(yàn)證并輸出模型預(yù)測(cè)

作為注釋器，檢查任務(wù)界面上音頻數(shù)據(jù)的任務(wù)并驗(yàn)證。如有必要，糾正 NeMo 語(yǔ)音模型預(yù)測(cè)的轉(zhuǎn)錄本。

從 Label Studio 中的任務(wù)列表中，選擇 Label 。

對(duì)于每個(gè)音頻樣本，聆聽(tīng)音頻并回顧 NeMo 模型產(chǎn)生的轉(zhuǎn)錄，作為預(yù)標(biāo)記過(guò)程的一部分。

如果成績(jī)單中有任何單詞不正確，請(qǐng)更新。

保存對(duì)成績(jī)單的更改。選擇 Submit 提交成績(jī)單并查看下一個(gè)音頻樣本。

接下來(lái)，按照 NVIDIA NVIDIA 文檔中的 NeMo ASR 集合 所述，以 NeMo 模型所期望的正確格式從 Label Studio 導(dǎo)出完成的音頻轉(zhuǎn)錄本。

要導(dǎo)出完成的音頻，請(qǐng)執(zhí)行以下操作：

從 Label Studio 中的任務(wù)列表中，選擇 Export 。

選擇名為 ASR_MANIFEST 的音頻轉(zhuǎn)錄 JSON 格式。

有關(guān) Label Studio 中可用導(dǎo)出格式的詳細(xì)信息，請(qǐng)參閱 從 Label Studio 導(dǎo)出結(jié)果 。

使用高質(zhì)量的成績(jī)單來(lái)微調(diào)您的 ML 模型

當(dāng)您處理完音頻并調(diào)整完轉(zhuǎn)錄的文本后，剩下的是音頻轉(zhuǎn)錄本，您可以用來(lái)重新培訓(xùn) NeMo 中包含的 ASR 模型。 Label Studio 生成與 NeMo 培訓(xùn)完全兼容的注釋。

要更新 QuartzNet 模型檢查點(diǎn)，您可以在幾行代碼中完成，從頭開(kāi)始訓(xùn)練模型，或者使用 PyTorch Lightning 。例子也可以在 NeMo Jupyter 筆記本中找到。

通過(guò)同時(shí)使用 Label Studio 和 NeMo ，您可以節(jié)省從頭開(kāi)始處理每個(gè)音頻文件的時(shí)間 NeMo 可以立即為您提供高度準(zhǔn)確的預(yù)測(cè)，而 Label Studio 可以幫助您實(shí)現(xiàn)完美的預(yù)測(cè) 今天就試試 ！

關(guān)于作者

Nikolai Liubimov是Heartex的CTO。 完成博士學(xué)位后 他在CS擔(dān)任機(jī)器學(xué)習(xí)研究員，后來(lái)進(jìn)入該行業(yè)，并花了10年的時(shí)間將深度學(xué)習(xí)技術(shù)應(yīng)用于現(xiàn)實(shí)世界中的問(wèn)題。 這項(xiàng)經(jīng)驗(yàn)為當(dāng)前缺少哪些工具提供了寶貴的見(jiàn)解，從而創(chuàng)建了一家初創(chuàng)公司來(lái)幫助數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)工程團(tuán)隊(duì)構(gòu)建和改進(jìn)其ML模型。

Sarah Moir是Heartex的產(chǎn)品內(nèi)容和教育主管，為Heartex的數(shù)據(jù)注釋和標(biāo)簽解決方案撰寫(xiě)文檔，博客文章和教育教程。 薩拉（Sarah）在過(guò)去的八年中一直是數(shù)據(jù)和安全領(lǐng)域的技術(shù)作家，并且對(duì)數(shù)據(jù)分析，機(jī)器學(xué)習(xí)和編寫(xiě)充滿(mǎn)熱情。

審核編輯：郭婷