會話式人工智能正在改變我們與計算機的交互方式。它包括三個令人興奮的人工智能研究領(lǐng)域：自動語言識別（Automatic Speech Recognition，ASR）、自然語言處理（Natural Language Processing，NLP）和語言合成（或文本到語音，Text-to-Speech，TTS）。NVIDIA 的目標是通過讓研究人員和從業(yè)人員更容易地訪問、重用和建立這些領(lǐng)域的最新構(gòu)建模塊和預訓練模型，使這些領(lǐng)域的進展能夠?qū)崿F(xiàn)民主化并得到加速。

NVIDIA NeMo 是一個基于 PyTorch 的開源工具包，它允許開發(fā)者快速構(gòu)建、訓練和微調(diào)會話式人工智能模型。NeMo 由 NeMo Core 和 NeMo Collection 組成，NeMo Core 為所有模型和模塊提供了一個通用的“外觀”，NeMo Collection 是特定領(lǐng)域模塊和模型的組合。在 NeMo 的 Speech Collection（nemo_asr）中，你可以找到用于語音識別、命令識別、說話人識別、說話人驗證和語音活動檢測的模型和各種構(gòu)建模塊。NeMo 的 NLP Collection（nemo_nlp）包含了諸如問題回答、標點符號、命名實體識別等任務(wù)的模型。最后，在 NeMo 的 Speech Synthesis（nemo_tts）中，你會發(fā)現(xiàn)一些譜圖生成器和聲碼器，它們將讓你能夠生成合成語音。

語音交換示例

讓我們從一個簡單的原型開始介紹 NeMo。在 這個示例 中，我們將獲取一個音頻文件，并用 NeMo 模型生成的合成語音來替換其中的語音。點擊 此處 可以獲取此語音文件。

從概念上講，這個應用程序演示了會話式人工智能系統(tǒng)的所有三個階段：（1）語音識別；（2）推導意義或理解所說的內(nèi)容；（3）生成合成語音作為響應。如果你有支持 GPU 的 PyTorch 1.6 版或更高版本，NeMo 可以簡單地通過 PIP 安裝，如下所示：

pip install nemo_toolkit[all]==1.0.0b1

基于 NeMo 的應用程序的第一步是導入必要的 Collection。在這個應用程序中，我們將使用這三種 Collection。

import nemo
# Import Speech Recognition collection
import nemo.collections.asr as nemo_asr
# Import Natural Language Processing collection
import nemo.collections.nlp as nemo_nlp
# Import Speech Synthesis collection
import nemo.collections.tts as nemo_tts

Collection 使我們可以訪問 NeMo 模型，我們可以使用它們來執(zhí)行某些會話式人工智能任務(wù)。模型是 NeMo 的關(guān)鍵概念之一，我們將在下面更詳細地討論它們，但我們只使用現(xiàn)在需要的那些：

# Speech Recognition model - QuartzNet
quartznet =
nemo_asr.models.EncDecCTCModel.from_pretrained(model_nam)
# Punctuation and capitalization model
punctuation =
nemo_nlp.models.PunctuationCapitalizationModel.from_pretrained(model_name='Punctuation
_Capitalization_with_DistilBERT')
# Spectrogram generator which takes text as an input and produces spectrograms
spectrogram_generator =
nemo_tts.models.Tacotron2Model.from_pretrained(model_nam)
# Vocoder model which takes spectrograms and produces actual audio
vocoder = nemo_tts.models.WaveGlowModel.from_pretrained(model_nam)

大多數(shù) NeMo 模型可以使用from_pretrained()函數(shù)直接從 NVIDIA NGC 目錄 中直接實例化。通過調(diào)用list_available_models()函數(shù)，你可以查看每個模型的可用預訓練權(quán)重列表。

從上面的代碼片段中可以看到，我們將使用 QuartzNet 模型 進行語音識別，一個基于 DistillBert 的標點模型，以及 Tacotron2+WaveGlow 模型進行語音合成、語音識別。注意，NeMo 的 NLP Collection 與出色的 Hugging Face 轉(zhuǎn)換器兼容，其語言模型通常被 NeMo 的 NLP 模型用作編碼器。一旦所有模型被實例化之后，它們就可以使用了。下面是一個使用 ASR 模型轉(zhuǎn)錄音頻文件和 NLP 模型在轉(zhuǎn)錄文本中添加標點符號的例子：

transcription = quartznet.transcribe(paths2audio_files=files)
result = punctuation.add_punctuation_capitalization(queries=transcription)

有關(guān)完整的運行示例，請參考這個 交互式 Google Colab Notebook。請注意，標點符號模型是如何在所生成的語音質(zhì)量 產(chǎn)生巨大影響 的。基于標點符號模型的輸出生成的語音比直接從 ASR 模型的原始輸出生成的語音更容易理解，因為它會 在適當?shù)奈恢冒ｎD和語調(diào)。

NeMo 模型、神經(jīng)模塊和神經(jīng)類型

在 NeMo 中，主要有三個概念：模型、神經(jīng)模塊和神經(jīng)類型。模型 包含了訓練和優(yōu)化所需的所有信息。因此，它們封裝了如下內(nèi)容：

1、神經(jīng)網(wǎng)絡(luò)實現(xiàn)：所有神經(jīng)模塊都連接在一起進行訓練和評估。

2、所有必要的預處理和后處理：標記化、數(shù)據(jù)增強等。

3、可用于此模型的 Dataset 類。

4、優(yōu)化算法和學習率調(diào)度。

5、基礎(chǔ)設(shè)施細節(jié)：例如，有多少 GPU、節(jié)點以及應使用哪種訓練精度。

正如我們在上面的演示中所看到的，大多數(shù)模型可以直接從 NVIDIA NGC 目錄 上的倉庫使用特定的預訓練權(quán)重進行實例化。

深度神經(jīng)網(wǎng)絡(luò)通常可以被認為是由負責不同任務(wù)的概念構(gòu)建塊組成的。編碼器 - 解碼器架構(gòu)就是一個著名的例子。編碼器負責學習輸入表示，而解碼器則負責根據(jù)輸入表示生成輸出序列。在 NeMo 中，我們稱這些模塊為“神經(jīng)模塊”（順便說一句，這就是 NeMo 名字的由來）。神經(jīng)模塊（nemo.core.NeuralModule）表示神經(jīng)網(wǎng)絡(luò)的邏輯部分，如語言模型、編碼器、解碼器、數(shù)據(jù)增強算法、損失函數(shù)等。它們構(gòu)成了描述模型和訓練該模型過程的基礎(chǔ)。NeuralModule 類是直接從torch.nn派生的。因此，你可以在 PyTorch 應用程序中使用 NeMo Collection 中的模塊。Collection 中有數(shù)百個神經(jīng)模塊可供你在模型中重用。

神經(jīng)模塊的輸入和輸出按神經(jīng)類型輸入。神經(jīng)類型是一對包含有關(guān)張量軸布局（類似于 PyTorch 中的命名張量）及其元素語義的信息對。每個神經(jīng)模塊都有input_type和output_type屬性，這些屬性描述（并幫助強制執(zhí)行）這個模塊接受什么類型的輸入以及它返回什么類型的輸出。

讓我們考慮模型、神經(jīng)模塊和類型是如何相互作用的。如果我們仔細查看 QuartzNet 模型的forward()方法，就會看到：

@typecheck()
def forward(self, input_signal, input_signal_length):
processed_signal, processed_signal_len = self.preprocessor(
input_signal=input_signal, length=input_signal_length,
)
# Spec augment is not applied during evaluation/testing
if self.spec_augmentation is not None and self.training:
processed_signal = self.spec_augmentation(input_spec=processed_signal)
encoded, encoded_len = self.encoder(audio_signal=processed_signal,
length=processed_signal_len)
log_probs = self.decoder(encoder_output=encoded)
greedy_predictions = log_probs.argmax(dim=-1, keepdim=False)
return log_probs, encoded_len, greedy_predictions

QuartzNet 模型包含預處理器、（可選）譜圖增強、編碼器和解碼器神經(jīng)模塊。請注意，它們的使用方式與使用torch.nn.Module模塊完全相同，但增加了類型安全性。以下是這個模型的神經(jīng)模塊的一些輸入 / 輸出類型：

print(quartznet.preprocessor.input_types['input_signal'])
print(quartznet.preprocessor.output_types['processed_signal'])
print(quartznet.spec_augmentation.input_types['input_spec'])
axes: (batch, time); elements_type: AudioSignal
axes: (batch, dimension, time); elements_type: MelSpectrogramType
axes: (batch, dimension, time); elements_type: SpectrogramType

正如你所見到的，類型決定了其元素的張量布局和語義。預處理器不僅將檢查傳遞給它的張量是否為 2 維[batch,time]張量，而且還將強制張量內(nèi)的元素表示 AudioSignal。神經(jīng)類型支持繼承，這就是為什么MelSpectrogramType 輸出在任何地方都可以接受的原因。類型在@typecheck修飾器的幫助下被強制執(zhí)行，并且可以打開或關(guān)閉強制。這是一個實驗性的特性，但我們發(fā)現(xiàn)，它有助于幫助模塊的用戶正確使用它們。

使用 NeMo 進行訓練和微調(diào)

NeMo 是為訓練和微調(diào)會話式人工智能模型而構(gòu)建的。雖然可以使用“純”PyTorch 來處理 NeMo 的模型和模塊，但它們可有效地用于 PyTorch 生態(tài)系統(tǒng)中的其他兩個項目：PyTorch Lightning 和 Hydra。

NeMo 模型派生自 PyTorch Lightning 模塊，可用于 Lightning 的 Trainer 實例。這種與 Lightning 的集成使得使用 Tensor Core 可以非常輕松地以混合精度來訓練模型，并且可以將訓練擴展到多個 GPU 和計算節(jié)點。例如，我們將一些 NeMo 模型的訓練擴展為使用 512 個 GPU。Lightning 還為用戶提供了許多其他方便的功能，如日志記錄、檢查點、過擬合檢查等等。

NeMo 的用戶可以使用 Facebook 的 Hydra 來參數(shù)化腳本。一個典型的深度學習實驗可以包含數(shù)百個甚至數(shù)千個參數(shù)。這就是為什么將它們保存在組織良好的配置文件中很方便。NeMo 模型和模塊使用 Hydra 進行參數(shù)化，為用戶提供了 Hydra 的靈活性和錯誤檢查功能。

與 PyTorch Lighting 和 Hydra 的集成使得為用戶簡化任務(wù)成為可能。請考慮下面的示例。它是一個完整的 Python 腳本，能夠獲取 .yaml 配置文件并訓練語音識別模型。NeMo + Lightning + Hydra 標準化了很多東西，只需修改兩行代碼，就可以將其轉(zhuǎn)換為一個腳本，用于訓練基于 BERT 的問答模型。

import pytorch_lightning as pl
from nemo.core.config import hydra_runner
from nemo.collections.asr.models import EncDecCTCModel
#from nemo.collections.nlp.models.question_answering.qa_model import QAModel
@hydra_runner(config_pat, config_nam)
def main(cfg):
trainer = pl.Trainer(**cfg.trainer)
#model = QAModel(cfg.model, trainer=trainer)
model = EncDecCTCModel(cfg=cfg.model, trainer=trainer)
trainer.fit(asr_model)

結(jié)論

NeMo 是為對會話式人工智能——語音識別、自然語言處理和語音合成感到好奇的開發(fā)者而打造的。NVIDIA 還投入了大量精力和算力來創(chuàng)建對用戶有用的預訓練模型的 Collection。

NVIDIA 鼓勵開發(fā)者嘗試 NeMo。請訪問 NVIDIA 的 GitHub，以使用 NeMo 的交互式教程。本文開頭討論的語音交換示例就是一個很好的起點。

最后，NeMo 是 GitHub 上的一個開源項目，NVIDIA 歡迎外部的貢獻，人們可以通過許多方式做出貢獻，從編寫代碼或文檔到使用新語言訓練模型。

作者介紹：

Oleksii Kuchaiev，NVIDIA 高級應用科學家；Poonam Chitale，NVIDIA 高級產(chǎn)品經(jīng)理。

本文轉(zhuǎn)自 公眾號：AI前線 ，作者Oleksii Kuchaiev

審核編輯 黃昊宇