NNI 自動(dòng)機(jī)器學(xué)習(xí)調(diào)參，是微軟開源的又一個(gè)神器，它能幫助你找到最好的神經(jīng)網(wǎng)絡(luò)架構(gòu)或超參數(shù)，支持 各種訓(xùn)練環(huán)境 。

它常用的使用場景如下：

• 想要在自己的代碼、模型中試驗(yàn) 不同的機(jī)器學(xué)習(xí)算法 。
• 想要在不同的環(huán)境中加速運(yùn)行機(jī)器學(xué)習(xí)。
• 想要更容易實(shí)現(xiàn)或試驗(yàn)新的機(jī)器學(xué)習(xí)算法的研究員或數(shù)據(jù)科學(xué)家，包括：超參調(diào)優(yōu)算法，神經(jīng)網(wǎng)絡(luò)搜索算法以及模型壓縮算法。

它支持的框架有：

• PyTorch
• Keras
• TensorFlow
• MXNet
• Caffe2
• Scikit-learn
• XGBoost
• LightGBM

基本上市面上所有的深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的框架它都支持。

下面就來看看怎么使用這個(gè)工具。

1.準(zhǔn)備

開始之前，你要確保Python和pip已經(jīng)成功安裝在電腦上，如果沒有，可以訪問這篇文章：超詳細(xì)Python安裝指南 進(jìn)行安裝。

**(可選1) **如果你用Python的目的是數(shù)據(jù)分析，可以直接安裝Anaconda：Python數(shù)據(jù)分析與挖掘好幫手—Anaconda，它內(nèi)置了Python和pip.

**(可選2) **此外，推薦大家用VSCode編輯器，它有許多的優(yōu)點(diǎn)：Python 編程的最好搭檔—VSCode 詳細(xì)指南。

請(qǐng)選擇以下任一種方式輸入命令安裝依賴 ：

1. Windows 環(huán)境 打開 Cmd (開始-運(yùn)行-CMD)。
2. MacOS 環(huán)境 打開 Terminal (command+空格輸入Terminal)。
3. 如果你用的是 VSCode編輯器 或 Pycharm，可以直接使用界面下方的Terminal.

pip install nni

2.運(yùn)行示例

讓我們運(yùn)行一個(gè)示例來驗(yàn)證是否安裝成功，首先克隆項(xiàng)目：

git clone -b v2.6 https://github.com/Microsoft/nni.git

如果你無法成功克隆項(xiàng)目，請(qǐng)?jiān)赑ython實(shí)用寶典后臺(tái)回復(fù) **nni **下載項(xiàng)目。

運(yùn)行 MNIST-PYTORCH 示例， Linux/macOS ：

nnictl create --config nni/examples/trials/mnist-pytorch/config.yml

Windows ：

nnictl create --config nniexamplestrialsmnist-pytorchconfig_windows.yml

出現(xiàn)這樣的界面就說明安裝成功，示例運(yùn)行正常：

訪問 http://127.0.0.1:8080 可以配置運(yùn)行時(shí)間、實(shí)驗(yàn)次數(shù)等：

3.模型自動(dòng)調(diào)參配置

那么如何讓 NNI 和我們自己的模型適配呢？

觀察 config_windows.yaml 會(huì)發(fā)現(xiàn)：

searchSpaceFile: search_space.json
trialCommand: python mnist.py
trialGpuNumber: 0
trialConcurrency: 1
tuner:
  name: TPE
  classArgs:
    optimize_mode: maximize
trainingService:
  platform: local

我們先看看 trialCommand, 這很明顯是訓(xùn)練使用的命令，訓(xùn)練代碼位于 mnist.py，其中有部分代碼如下：

def get_params():
    # Training settings
    parser = argparse.ArgumentParser(description='PyTorch MNIST Example')
    parser.add_argument("--data_dir", type=str,
                        default='./data', help="data directory")
    parser.add_argument('--batch_size', type=int, default=64, metavar='N',
                        help='input batch size for training (default: 64)')
    parser.add_argument("--batch_num", type=int, default=None)
    parser.add_argument("--hidden_size", type=int, default=512, metavar='N',
                        help='hidden layer size (default: 512)')
    parser.add_argument('--lr', type=float, default=0.01, metavar='LR',
                        help='learning rate (default: 0.01)')
    parser.add_argument('--momentum', type=float, default=0.5, metavar='M',
                        help='SGD momentum (default: 0.5)')
    parser.add_argument('--epochs', type=int, default=10, metavar='N',
                        help='number of epochs to train (default: 10)')
    parser.add_argument('--seed', type=int, default=1, metavar='S',
                        help='random seed (default: 1)')
    parser.add_argument('--no_cuda', action='store_true', default=False,
                        help='disables CUDA training')
    parser.add_argument('--log_interval', type=int, default=1000, metavar='N',
                        help='how many batches to wait before logging training status')
    args, _ = parser.parse_known_args()
    return args

如上所示，這個(gè)模型里提供了 10 個(gè)參數(shù)選擇。也就是說 NNI 可以幫我們自動(dòng)測(cè)試這10個(gè)參數(shù)。

那么這些參數(shù)在哪里設(shè)定？答案是在 searchSpaceFile 中，對(duì)應(yīng)的值也就是 search_space.json:

{
    "batch_size": {"_type":"choice", "_value": [16, 32, 64, 128]},
    "hidden_size":{"_type":"choice","_value":[128, 256, 512, 1024]},
    "lr":{"_type":"choice","_value":[0.0001, 0.001, 0.01, 0.1]},
    "momentum":{"_type":"uniform","_value":[0, 1]}
}

這里有4個(gè)選項(xiàng)，NNI 是怎么組合這些參數(shù)的呢？這是 tuner 參數(shù)干的事，為了讓機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型適應(yīng)不同的任務(wù)和問題，我們需要進(jìn)行超參數(shù)調(diào)優(yōu)，而自動(dòng)化調(diào)優(yōu)依賴于優(yōu)秀的調(diào)優(yōu)算法。NNI 內(nèi)置了先進(jìn)的調(diào)優(yōu)算法，并且提供了易于使用的 API。

在 NNI 中，Tuner 向 trial 發(fā)送超參數(shù)，接收運(yùn)行結(jié)果從而評(píng)估這組超參的性能，然后將下一組超參發(fā)送給新的 trial。

下表簡要介紹了 NNI 內(nèi)置的調(diào)優(yōu)算法。

可以看到本示例中，選擇的是TPE tuner.

其他的參數(shù)比如 trialGpuNumber，指的是使用的gpu數(shù)量，trialConcurrency 指的是并發(fā)數(shù)。trainingService 中 platform 為 local，指的是本地訓(xùn)練。

當(dāng)然，還有許多參數(shù)可以選，比如：

trialConcurrency: 2                 # 同時(shí)運(yùn)行 2 個(gè) trial
maxTrialNumber: 10                  # 最多生成 10 個(gè) trial
maxExperimentDuration: 1h # 1 小時(shí)后停止生成 trial

不過這些參數(shù)在調(diào)優(yōu)開始時(shí)的web頁面上是可以進(jìn)行調(diào)整的。

所以其實(shí)NNI干的事情就很清楚了，也很簡單。你只需要在你的模型訓(xùn)練文件中增加你想要調(diào)優(yōu)的參數(shù)作為輸入，就能使用NNI內(nèi)置的調(diào)優(yōu)算法對(duì)不同的參數(shù)進(jìn)行調(diào)優(yōu)，而且允許從頁面UI上觀察調(diào)優(yōu)的整個(gè)過程，相對(duì)而言還是很方便的。

不過，NNI可能不太適用一些數(shù)據(jù)量極大或模型比較復(fù)雜的情況。比如基于DDP開發(fā)的模型，在NNI中可能無法實(shí)現(xiàn)大型的分布式計(jì)算。