本文將介紹以下三部分內(nèi)容：第一：Kubeflow的應(yīng)用；第二：基于 Kubeflow 的開發(fā)；第三：Momenta深度學(xué)習(xí)數(shù)據(jù)流。

ubeflow的應(yīng)用

為什么要用 Kubeflow？

在一些 GPU 集群較小的機(jī)構(gòu)（例如實(shí)驗(yàn)室、科研機(jī)構(gòu)等）中，他們一般只有幾臺(tái)多卡 GPU。實(shí)驗(yàn)人員可能會(huì)將一臺(tái)機(jī)器或兩臺(tái)機(jī)器用于安裝各種環(huán)境以及 GPU 的驅(qū)動(dòng)，同時(shí)使用 Caffe 或 TensorFlow 等工具做模型訓(xùn)練。這種場(chǎng)景較為簡(jiǎn)單，但會(huì)帶來一個(gè)問題，即人員需要花大量精力管理這幾臺(tái)機(jī)器的環(huán)境。

為了解決這個(gè)問題，降低用戶的部署成本，技術(shù)人員可以引入容器技術(shù)，用 nvidia-docker允許容器使用 GPU，將 TensorFlow、PyTorch 以及 Caffe 封裝到 Docker 鏡像中，用 nvidia-docker 在物理機(jī)上面運(yùn)行訓(xùn)練任務(wù)。

但是以上只是小規(guī)模 GPU 集群中的解決方法，一旦集群規(guī)模擴(kuò)大，實(shí)驗(yàn)人員就不得不需要解決這些問題：如何合理地分配 GPU 資源？如果讓每位用戶直接在每臺(tái)機(jī)器上獲取資源？技術(shù)人員如何進(jìn)行資源管理、環(huán)境維護(hù)？2017 年年底發(fā)行的 Kubeflow 很好地解決了這些難題，它將訓(xùn)練任務(wù)裝到容器中，利用 Kubernetes 對(duì) CPU、GPU 等資源進(jìn)行充分管理。

什么是 Kubeflow？

Kubeflow 可以看作是 Kubernetes + TensorFlow 的成果。它是一個(gè)基于 Kubernetes 的機(jī)器學(xué)習(xí)工具項(xiàng)目，支持眾多訓(xùn)練框架，包括 TensorFlow、PyTorch、Caffe2、MxNet 等。

Kubeflow 社區(qū)在半年多的時(shí)間內(nèi)收集了 4000 多個(gè) stars，發(fā)展非常迅速。同時(shí)，眾多國(guó)內(nèi)公司也助力了 Kubeflow 的發(fā)展，貢獻(xiàn)了很多項(xiàng)目。例如才云貢獻(xiàn)的 tf - operator 項(xiàng)目，Momenta 貢獻(xiàn)的 caffe2 - operator 項(xiàng)目。新浪、京東和拼多多也在嘗試使用 Kubeflow 解決問題。

在 Kubernetes里部署 Kubeflow的方法有很多，常規(guī)方法是用 ksonnet 或單獨(dú)用 kubectl 手動(dòng)部署各個(gè) Operator 以及相應(yīng)的服務(wù)。個(gè)人用戶也可以很方便地體驗(yàn)用 Kubeflow 輕松部署一套用于訓(xùn)練模型的環(huán)境。

# CNN_JOB_NAME=mycnnjob # VERSION=v0.2-branch # ks registry add kubeflow-git github.com/kubeflow/kubeflow/tree/${VERSION}/kubeflow # ks pkg install kubeflow-git/examples # ks generate tf-job-simple ${CNN_JOB_NAME} --name=${CNN_JOB_NAME} # ks apply ${KF_ENV} -c ${CNN_JOB_NAME}

以上是直接從 Kubeflow 官網(wǎng)上獲取的一個(gè)示例。以往在部署環(huán)境時(shí)，實(shí)驗(yàn)人員需要預(yù)裝很多東西用于模型訓(xùn)練，但如果使用 Kubeflow，他們就可以很簡(jiǎn)單地跑一個(gè)已知數(shù)、已知模型。如果在其中加入一些參數(shù)，程序就可以跑整個(gè) Kubeflow 的任務(wù)（僅以 TensorFlow 為例）。

# arena submit tf --name=tf-git --gpus=1 --image=tensorflow/tensorflow:1.5.0-devel-gpu --syncMode=git --syncSource=https://github.com/cheyang/tensorflow-sample-code.git --env=GIT_SYNC_USERNAME=yourname --env=GIT_SYNC_PASSWORD=yourpwd "python code/tensorflow-sample-code/tfjob/docker/mnist/main.py” # arena list NAME STATUS TRAINER AGE NODE tf-git RUNNING tfjob 0s 192.168.1.120

在這個(gè)實(shí)例中，arena 是另外一套基于 Kubeflow 的封裝，相當(dāng)于簡(jiǎn)化版本的命令行。arena 能幫助算法研發(fā)人員減少對(duì) kubectl 的使用，通過命令行指定各種算法參數(shù)以及要運(yùn)行的腳本，直接運(yùn)行 arena submit 來提交訓(xùn)練任務(wù)。

基于 Kubeflow的開發(fā)

為了滿足不同場(chǎng)景需求，目前 Kubeflow 已經(jīng)擁有許多解決方案，但它們大多比較簡(jiǎn)單。如果訓(xùn)練數(shù)據(jù)集較大，需求較復(fù)雜，開發(fā)任務(wù)將會(huì)涉及很多塊 GPU的使用（例如用 128 塊 GPU 訓(xùn)練很多天）。

接下來，我們嘗試搭設(shè)一個(gè)深度學(xué)習(xí)實(shí)驗(yàn)平臺(tái)。這里需要注意的是，我們定義的是 “實(shí)驗(yàn)平臺(tái)”，因?yàn)?Momenta 的算法研究人員在調(diào)參、看論文時(shí)需要測(cè)試各種各樣的網(wǎng)絡(luò)。對(duì)他們而言，深度學(xué)習(xí)實(shí)驗(yàn)平臺(tái)非常重要，而且要滿足多種需求。

第一：實(shí)驗(yàn)平臺(tái)需要多機(jī)多卡調(diào)度。比如研發(fā)人員有調(diào)度 128 塊卡的需求，如果卡不足，就需要等待調(diào)度；

第二：多租戶。在多用戶的環(huán)境下共用相同的系統(tǒng)或程序組件，且仍可確保各用戶間數(shù)據(jù)的隔離性；

第三：多訓(xùn)練框架支持。比如 Caffe、TensorFlow、PyTorch 等；其他的還有日志收集、監(jiān)控信息收集（如 GPU 的使用率）等。

考慮到以上需求，我們?cè)O(shè)計(jì)了一個(gè)訓(xùn)練平臺(tái)架構(gòu)，如上圖所示。我們?cè)?Kubernetes 前面加了一個(gè)帶狀態(tài)的 apigateway，它包含用戶信息、狀態(tài)管理、后期審計(jì)等功能。架構(gòu)還包括 caffe2 - operator、mpi - operator和TensorFlow 的 Operator，主要是為了能夠統(tǒng)一管理訓(xùn)練任務(wù)的生命周期。此外，該架構(gòu)還支持運(yùn)用 kube - batch 實(shí)現(xiàn)多機(jī)多卡的調(diào)度期。圖中的假設(shè)比較簡(jiǎn)單，每個(gè) Pod都是一個(gè)單獨(dú)的機(jī)器。

如何實(shí)現(xiàn)多臺(tái)機(jī)器間的通訊也是框架的重點(diǎn)。該設(shè)計(jì)分為兩套環(huán)境：

線下的環(huán)境使用 Infiniband，借助高速的 RDMA 網(wǎng)絡(luò)就能很好地解決延遲問題，并提供非常高的帶寬；

線上的環(huán)境使用 25Gb/s 的以太網(wǎng)，其相對(duì)于 Infiniband 延遲過高，所以在多機(jī)通訊的過程中，需要包一個(gè)聚合再下發(fā)，才能解決延遲問題。

底層的數(shù)據(jù)存儲(chǔ)也需要使用分布式數(shù)據(jù)存儲(chǔ)以及圖像緩存，基于 Momenta 的數(shù)據(jù)的特征（不需要對(duì)圖片進(jìn)行修改），用戶可以在客戶端加上一些緩存。比如在客戶端安裝高速 SSD，使用開源的 fscache 把數(shù)據(jù)緩存到 SSD 上，保證整個(gè)訓(xùn)練過程中數(shù)據(jù)的高速傳輸。用相對(duì)比較便宜的 SSD確保昂貴的 GPU的充分使用，這是 Momenta 整套訓(xùn)練平臺(tái)的架構(gòu)的最大優(yōu)勢(shì)之一。

對(duì)具有一定操作經(jīng)驗(yàn)的用戶而言，他們更喜歡以命令行的方式操作，習(xí)慣用 HPC 領(lǐng)域的 slurm 作為操作工具。為了兼容 slurm 的命令行，Momenta 形成了一套類似 slurm 管理命令行的操作方式。同時(shí)，平臺(tái)也提供 Web 端的操作方式。

上圖是一個(gè)任務(wù)提交的案例，包括以下幾點(diǎn)：

定義了幾個(gè)節(jié)點(diǎn)；

每個(gè)節(jié)點(diǎn)需要幾個(gè) GPU；

基于哪些的框架（如 TensorFlow、PyTorch 及 Caffe2 等）；

當(dāng)前的工作任務(wù)。

我們之所以做出這樣的設(shè)計(jì)，一個(gè)原因是為了兼容舊的使用習(xí)慣，讓老用戶能夠無縫遷移。另一個(gè)原因是重新設(shè)計(jì)一套交互方式的時(shí)間成本太高，基礎(chǔ)架構(gòu)開發(fā)人員需要花很長(zhǎng)時(shí)間才能了解平臺(tái)用戶在進(jìn)行深度學(xué)習(xí)研發(fā)的操作行為和操作意圖。

Momenta深度學(xué)習(xí)數(shù)據(jù)流

在實(shí)現(xiàn)自動(dòng)駕駛的過程中，深度學(xué)習(xí)算法在訓(xùn)練模型時(shí)需要大量圖像數(shù)據(jù)作為支撐。Momenta 平臺(tái)可以處理自動(dòng)駕駛領(lǐng)域的數(shù)據(jù)流。

數(shù)據(jù)篩選

上圖是車輛識(shí)別的（電動(dòng)車）的一個(gè)典型。目前，Momenta在電動(dòng)車識(shí)別上準(zhǔn)確率較高。在人工智能數(shù)據(jù)流中，數(shù)據(jù)篩選有以下作用：

降低成本：無需重復(fù)標(biāo)注即可識(shí)別素材，降低標(biāo)注成本。

提高模型訓(xùn)練效率：去除無效素材，提取包含識(shí)別目標(biāo)的素材，提高訓(xùn)練效率；

提高模型訓(xùn)練邊際效用：通過對(duì)極端情況（corner case）的數(shù)據(jù)進(jìn)行針對(duì)性訓(xùn)練，有效地提高模型性能。

數(shù)據(jù)標(biāo)注

經(jīng)過一輪篩選后，部分圖片會(huì)需要人工標(biāo)注。Momenta 開發(fā)的在線遠(yuǎn)程眾包數(shù)據(jù)標(biāo)注系統(tǒng)允許可視化操作，即便不懂代碼的眾包人員也能遠(yuǎn)程完成各類標(biāo)注任務(wù)。數(shù)據(jù)標(biāo)注的作用主要是提供更多帶標(biāo)注的圖像數(shù)據(jù)，提供包含更多識(shí)別目標(biāo)的素材，最終提高模型訓(xùn)練精度。

模型訓(xùn)練

上圖是模型訓(xùn)練的流程圖：

數(shù)據(jù)導(dǎo)入：支持多種數(shù)據(jù)類型，支持多批次數(shù)據(jù)合并，支持多種組合規(guī)則；

模型訓(xùn)練：多機(jī)多卡并發(fā)訓(xùn)練，共享式集群、支持多人多任務(wù)同時(shí)進(jìn)行，支持多種主流訓(xùn)練框架，所有任務(wù)由 Kubernetes 自動(dòng)調(diào)度完成；

模型驗(yàn)證：訓(xùn)練所得模型自動(dòng)在驗(yàn)證集上進(jìn)行驗(yàn)證，通過驗(yàn)證的模型將進(jìn)入模型倉庫供后續(xù)流程使用；

與傳統(tǒng)方式相比，Momenta 采用的共享集群調(diào)度讓用戶（內(nèi)部的算法研發(fā)人員）可以編寫任務(wù)描述和訓(xùn)練腳本，而管理員通過網(wǎng)頁界面進(jìn)行集群管理和工作調(diào)度。極大地節(jié)省人工成本，提高資源利用率，實(shí)現(xiàn)集中性管理，提高安全性。

結(jié)語

Kubeflow基于Kubernetes 和 TensorFlow ，提供了一個(gè)數(shù)據(jù)科學(xué)工具箱和部署平臺(tái)。它具有很多優(yōu)點(diǎn)，如 DevOps 和 CICD 的支持、多核心支持等。但它的缺點(diǎn)也很明顯，就是組件較多，協(xié)調(diào)較差。

如何利用 Kubeflow 更好地做二次開發(fā)？這是當(dāng)下的一個(gè)熱點(diǎn)問題，也是 Momenta致力于解決的一大問題，是我們圍繞不同級(jí)別自動(dòng)駕駛方案和一級(jí)供應(yīng)商展開合作時(shí)首先要解決的一個(gè)必要問題。為了見證自動(dòng)駕駛汽車的落地，為了共同打造更好的人工智能自動(dòng)駕駛產(chǎn)品，歡迎有想法的小伙伴與我共同探討基于 Kubeflow 的深度學(xué)習(xí)。