“我們之所以推出Analytics Zoo這樣的大數(shù)據(jù)分析和人工智能平臺(tái)，就是希望讓用戶(hù)在實(shí)際的生產(chǎn)環(huán)境中可以更方便地構(gòu)建深度學(xué)習(xí)應(yīng)用，將不同的模塊、不同的框架統(tǒng)一到端到端流水線(xiàn)上，從而大幅提升客戶(hù)開(kāi)發(fā)部署大數(shù)據(jù)分析和深度學(xué)習(xí)的能力。”英特爾高級(jí)首席工程師、大數(shù)據(jù)技術(shù)全球CTO戴金權(quán)說(shuō)。

已供職英特爾近17年的戴金權(quán)如今負(fù)責(zé)領(lǐng)導(dǎo)英特爾全球（硅谷和上海）工程團(tuán)隊(duì)高級(jí)大數(shù)據(jù)分析的研發(fā)工作，以及與全球研究機(jī)構(gòu)（如UC Berkeley AMPLab、RISELab等）的技術(shù)合作，是BigDL和Analytics Zoo項(xiàng)目的創(chuàng)始人。

英特爾高級(jí)首席工程師

大數(shù)據(jù)技術(shù)全球CTO戴金權(quán)

為了幫助客戶(hù)在數(shù)據(jù)的海洋中抓住商業(yè)價(jià)值，并且讓這一過(guò)程通過(guò)更加智能化的手段變得簡(jiǎn)單易用，英特爾在底層架構(gòu)和軟件堆棧領(lǐng)域一直在持續(xù)投入。在2019全球人工智能技術(shù)大會(huì)上，戴金權(quán)分享了英特爾構(gòu)建大數(shù)據(jù)分析+AI平臺(tái)背后的思考和實(shí)踐，而兩大開(kāi)源項(xiàng)目BigDL、Analytics Zoo可謂是其中的代表。

BigDL是一個(gè)建立在大數(shù)據(jù)平臺(tái)之上原生的分布式深度學(xué)習(xí)庫(kù)，某種程度上類(lèi)似Tensorflow、Caffe等DL框架，提供了在Apache Spark上豐富的深度學(xué)習(xí)功能，以幫助Hadoop/Spark成為統(tǒng)一的數(shù)據(jù)分析平臺(tái)，為整個(gè)數(shù)據(jù)分析和機(jī)器學(xué)習(xí)過(guò)程提供比現(xiàn)有框架更加集成化的支持。Analytics Zoo則是在Apache Spark、BigDL以及TensorFLow、Keras的基礎(chǔ)上構(gòu)建的大數(shù)據(jù)分析+AI平臺(tái)，大幅降低用戶(hù)開(kāi)發(fā)基于大數(shù)據(jù)、端到端深度學(xué)習(xí)應(yīng)用的門(mén)檻。

生產(chǎn)環(huán)境面臨數(shù)據(jù)難題

《連線(xiàn)》雜志創(chuàng)始主編Kevin Kelly曾說(shuō)：“大數(shù)據(jù)時(shí)代，沒(méi)有人能夠成為旁觀者，數(shù)據(jù)將‘橫掃一切’。”隨著萬(wàn)物互聯(lián)時(shí)代的到來(lái)，數(shù)據(jù)對(duì)于客戶(hù)需求的指導(dǎo)性意義愈發(fā)凸顯，如何采集、傳輸、存儲(chǔ)、分析、處理數(shù)據(jù)成為各行各業(yè)攫取數(shù)字經(jīng)濟(jì)紅利的必備技能，可以說(shuō)“數(shù)據(jù)在哪里，生意就在哪里”。

而英特爾所做的事情，就是讓這一切變得簡(jiǎn)單高效。“如今深度學(xué)習(xí)、人工智能的應(yīng)用場(chǎng)景更加廣泛，要處理的數(shù)據(jù)也更加復(fù)雜，所以要構(gòu)建端到端的大數(shù)據(jù)處理分析加上機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的統(tǒng)一流水線(xiàn)。”戴金權(quán)說(shuō)。

不過(guò)要做到這些并不容易，當(dāng)前的生產(chǎn)系統(tǒng)中基于Apache Spark這樣的大數(shù)據(jù)集群仍是生產(chǎn)數(shù)據(jù)和大量硬件資源的聚集地，這樣生產(chǎn)資料和生產(chǎn)工具要通過(guò)AI應(yīng)用串聯(lián)起來(lái)。同時(shí)，工業(yè)級(jí)的分析平臺(tái)需要對(duì)數(shù)據(jù)收集/導(dǎo)入/處理、特征提取、模型訓(xùn)練、部署、推理等一系列的復(fù)雜工作流做出響應(yīng)，難度可想而知。

從架構(gòu)角度來(lái)看，很多獨(dú)立的深度學(xué)習(xí)框架與大數(shù)據(jù)平臺(tái)的架構(gòu)存在差異，例如前者對(duì)高性能有著格外的要求，后者更注重于橫向擴(kuò)展，這樣一來(lái)就需要在一個(gè)通用的大數(shù)據(jù)平臺(tái)上將不同的分布式深度學(xué)習(xí)系統(tǒng)統(tǒng)一兼容起來(lái)。此外，無(wú)論是利用Spark還是像Flink這樣的流處理框架，都要將數(shù)據(jù)處理的流水線(xiàn)和深度學(xué)習(xí)相互連接，在數(shù)十甚至是數(shù)千個(gè)節(jié)點(diǎn)的集群上提升計(jì)算效率和可擴(kuò)展性。

從生產(chǎn)角度來(lái)看，像工業(yè)大數(shù)據(jù)在構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)時(shí)往往會(huì)面對(duì)高達(dá)數(shù)百個(gè)KPI的流程處理，而且不同企業(yè)所面臨的數(shù)據(jù)類(lèi)型和需求也是千差萬(wàn)別，例如有些偏向?qū)D像或視頻數(shù)據(jù)的建模、訓(xùn)練、推理，需要很多的卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化（CNN），而有些則是時(shí)序數(shù)據(jù)，要收集設(shè)備每秒鐘的振動(dòng)頻率，并對(duì)這些數(shù)據(jù)進(jìn)行循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的分析。

由此引發(fā)出來(lái)的兩個(gè)挑戰(zhàn)，一是要手動(dòng)把不同框架整合起來(lái)，二是用戶(hù)在處理數(shù)據(jù)時(shí)不再是單機(jī)環(huán)境，而是要在大規(guī)模分布式環(huán)境、甚至是生產(chǎn)環(huán)境中操作。

戴金權(quán)談到，無(wú)論是阿里云、騰訊云等CSP廠(chǎng)商，還是硬件OEM廠(chǎng)商、軟件提供商，其主要訴求都是希望將深度學(xué)習(xí)等AI框架和模型應(yīng)用于數(shù)據(jù)在生產(chǎn)系統(tǒng)上跑起來(lái)，這也是客戶(hù)使用Analytics Zoo的一個(gè)重要原因，“我們可以幫助用戶(hù)將大數(shù)據(jù)分析+AI應(yīng)用在端到端的流水線(xiàn)上輕松構(gòu)建出來(lái)，它可以從PC終端運(yùn)行到集群、生產(chǎn)環(huán)境當(dāng)中，這是我們?cè)诘讓覣nalytics Zoo所做的工作。”

端到端的一致性體驗(yàn)

在Analytics Zoo之下，英特爾集成了豐富的深度學(xué)習(xí)框架和庫(kù)，可以隨時(shí)調(diào)用OpenVINO工具包、MKL-DNN等各種深度學(xué)習(xí)加速指令。同時(shí)，英特爾在上層也提供了高級(jí)的流水線(xiàn)API用于構(gòu)建端到端的應(yīng)用，以及深度學(xué)習(xí)模型，對(duì)圖片、文本、時(shí)間序列數(shù)據(jù)等不同類(lèi)型的對(duì)象提供支持，用戶(hù)可以直接將內(nèi)嵌的模型嵌入到解決方案中。

舉例來(lái)說(shuō)，英特爾可以將TensorFlow和Apache Spark整合到端到端的流水線(xiàn)中，讓TensorFlow無(wú)縫接受Apache Spark處理的數(shù)據(jù)，并且對(duì)用戶(hù)透明，以分布式的方式運(yùn)行在大數(shù)據(jù)集群上。此外，還提供了像基于標(biāo)準(zhǔn)JAVA 、Python、Web Server、深度學(xué)習(xí)尤其是視覺(jué)方面的神經(jīng)網(wǎng)絡(luò)加速，幫助用戶(hù)更方便地部署到網(wǎng)絡(luò)服務(wù)器上，幫助用戶(hù)更好地構(gòu)建模型和開(kāi)展服務(wù)。

這一過(guò)程中，英特爾不僅在性能層面圍繞BigDL、Analytics Zoo做了大量?jī)?yōu)化，還有效解決了可編程性的問(wèn)題，使得用戶(hù)可以在Spark代碼中嵌入TensorFlow代碼，省去了不同框架之間反復(fù)調(diào)試等復(fù)雜的流程。在可擴(kuò)展性和部署方面，開(kāi)發(fā)人員可以直接在大規(guī)模數(shù)據(jù)平臺(tái)進(jìn)行作業(yè)，這里就發(fā)揮了Analytics Zoo在大規(guī)模分布式、流式、批處理時(shí)的特性。

“我們可以支持各種不同的深度學(xué)習(xí)框架，比如要是原來(lái)有Caffe的模型，可以直接通過(guò)BigDL、Analytics Zoo加載到Spark運(yùn)行，然后對(duì)HBase讀取數(shù)據(jù)，這個(gè)天然就是Spark可以做的事情。后面深度學(xué)習(xí)的模型通過(guò)BigDL、Analytics Zoo的功能，可以透明、無(wú)縫的與大數(shù)據(jù)處理相結(jié)合，整個(gè)開(kāi)發(fā)過(guò)程是非常簡(jiǎn)單的。”戴金權(quán)表示，“所有分布式的任務(wù)、數(shù)據(jù)的分割、負(fù)載均衡，出錯(cuò)后如何處理，這些事情不再需要開(kāi)發(fā)人員來(lái)?yè)?dān)心，完全可以交給大數(shù)據(jù)平臺(tái)來(lái)做，效率能夠大幅提升。”

Analytics Zoo支持多種AI框架和庫(kù)

即將發(fā)布的0.5.0版Analytics Zoo，英特爾會(huì)結(jié)合傲騰數(shù)據(jù)中心級(jí)持久內(nèi)存等新的硬件平臺(tái)對(duì)軟件算法進(jìn)行支持和優(yōu)化，如Spark RDD的緩存機(jī)制在內(nèi)存中計(jì)算訓(xùn)練數(shù)據(jù)可以實(shí)現(xiàn)降本增效、VNNI指令集可以大幅提升AI性能。框架語(yǔ)言多元化方面，英特爾除了會(huì)支持PyTorch，還將加入對(duì)像RISELab的Ray等最新框架的支持。

智能化改造效果顯著

一直以來(lái)，英特爾都在與開(kāi)源社區(qū)用戶(hù)，以及多個(gè)合作伙伴和客戶(hù)開(kāi)展廣泛合作，包括京東、UCSF、Mastercard、寶信軟件、世界銀行、Cray等，以構(gòu)建基于Apache Spark的深度學(xué)習(xí) 和人工智能應(yīng)用，而B(niǎo)igDL和Analytics Zoo將端到端的開(kāi)發(fā)和部署體驗(yàn)更進(jìn)一步。例如在京東，雙方基于Spark和BigDL的深度學(xué)習(xí)技術(shù)在搭建大規(guī)模圖片特征提取框架上進(jìn)行了合作。

京東電商平臺(tái)的圖像信息數(shù)以?xún)|計(jì)，分布在大規(guī)模的HBase集群中，過(guò)去要使用Caffe將訓(xùn)練出來(lái)的模型放在GPU集群上，如果想把流水線(xiàn)串聯(lián)起來(lái)就要通過(guò)人工的方法把數(shù)據(jù)從HBase讀出來(lái)后對(duì)圖片預(yù)處理，再返回給GPU集群進(jìn)行推理，如此反復(fù)數(shù)次后將得到的數(shù)據(jù)再次手動(dòng)整合起來(lái)，開(kāi)發(fā)運(yùn)行效率和部署方式都存在問(wèn)題。

對(duì)此，英特爾認(rèn)為應(yīng)該將讀取、處理、神經(jīng)網(wǎng)絡(luò)推理、數(shù)據(jù)處理和存儲(chǔ)等全流程統(tǒng)一到一個(gè)流水線(xiàn)上進(jìn)行，并且可以直接運(yùn)行再大數(shù)據(jù)集群上，進(jìn)而大幅提升端到端的效率。“京東做過(guò)測(cè)試，當(dāng)他們把原來(lái)的方案整體遷移到Spark BigDL這樣一個(gè)完整的流水線(xiàn)上 （基于CPU）之后，端到端的運(yùn)行效率提高了3、4倍。”戴金權(quán)說(shuō)。

基于BigDL的圖像特征提取

K40和Xeon在圖片特征提取流水線(xiàn)的吞吐量比較

與寶信軟件的合作，雙方則是在深度學(xué)習(xí)的基礎(chǔ)上探索出了設(shè)備智能維護(hù)的新方向。在工業(yè)制造行業(yè)，通常對(duì)由設(shè)備失效導(dǎo)致的生產(chǎn)中斷問(wèn)題，所給出的解決方法是定期檢修維護(hù)或者提前更換設(shè)備零部件，成本居高不下。

在英特爾的幫助下，兩家公司開(kāi)發(fā)了設(shè)備故障自動(dòng)預(yù)測(cè)的驗(yàn)證模型，該模型基于公開(kāi)的設(shè)備全生命周期數(shù)據(jù)，利用RNN和LSTM，實(shí)現(xiàn)了時(shí)間序列的異常檢測(cè)，可以借助無(wú)監(jiān)督深度學(xué)習(xí)和建模對(duì)設(shè)備下一時(shí)刻的運(yùn)行健康狀況進(jìn)行預(yù)判，降低了額外的設(shè)備維護(hù)成本。

在和這些行業(yè)客戶(hù)聯(lián)合研發(fā)的過(guò)程中，英特爾也切實(shí)看到了場(chǎng)景應(yīng)用的痛點(diǎn)所在，那就是盡管企業(yè)在深度學(xué)習(xí)、機(jī)器學(xué)習(xí)的技術(shù)研發(fā)上投入頗多，但怎樣將這些創(chuàng)新融入實(shí)踐環(huán)境，尤其是大規(guī)模的大數(shù)據(jù)生產(chǎn)系統(tǒng)，在軟硬件架構(gòu)的支持和優(yōu)化上存在不小的缺陷，而這一“斷層”就是英特爾致力于去彌合的，方法即是利用開(kāi)源和軟硬結(jié)合的路徑。

Analytics Zoo與底層硬件的優(yōu)化，并且可與CSP的產(chǎn)品無(wú)縫協(xié)作

軟件與開(kāi)源的新高度

就像英特爾首席架構(gòu)師，英特爾公司高級(jí)副總裁兼架構(gòu)、圖形與軟件部門(mén)總經(jīng)理Raja Koduri所說(shuō)的：“對(duì)于全新硬件架構(gòu)的每一個(gè)數(shù)量級(jí)的性能提升潛力，軟件能帶來(lái)超過(guò)兩個(gè)數(shù)量級(jí)的性能提升。”這樣的例子比比皆是，戴金權(quán)以Cascade Lake上的VNNI深度學(xué)習(xí)加速指令為例，通過(guò)在底層的軟硬件協(xié)同優(yōu)化，可根據(jù)不同DL框架將推理性能加速2-3倍甚至更多。

在英特爾的軟件生態(tài)中，活躍著超過(guò)1200萬(wàn)名開(kāi)發(fā)者，為了讓開(kāi)發(fā)者利用通用工具集實(shí)現(xiàn)應(yīng)用性能的指數(shù)級(jí)擴(kuò)展，英特爾推出了“One API”項(xiàng)目，以簡(jiǎn)化跨CPU、GPU、FPGA、人工智能和其它加速器的各種計(jì)算引擎的編程，該項(xiàng)目包括一個(gè)全面、統(tǒng)一的開(kāi)發(fā)工具組合，可以將軟件匹配到能最大程度加速軟件代碼的硬件上，從而讓英特爾的計(jì)算架構(gòu)釋放出更高的性能和效率。

戴金權(quán)表示：“無(wú)論是基于至強(qiáng)（可擴(kuò)展處理器）的服務(wù)器，還是像Movidius、FPGA，神經(jīng)網(wǎng)絡(luò)處理器，包括將來(lái)的獨(dú)立顯卡，都可以通過(guò)One API下面的底層生態(tài)系統(tǒng)來(lái)給上層的平臺(tái)和應(yīng)用所使用。”

為了讓用戶(hù)在x86平臺(tái)上獲得更優(yōu)質(zhì)的體驗(yàn)，英特爾一直都在致力于軟件的創(chuàng)新，開(kāi)源更是英特爾軟件生態(tài)策略的重要體現(xiàn)，不僅對(duì)TensorflowPyTorch、MXNet、PaddlePaddle等AI框架進(jìn)行了大量?jī)?yōu)化，自己也開(kāi)源了BigDL、Analytics Zoo、OpenVINO、MKL-DNN、nGraph等項(xiàng)目，戴金權(quán)本人更是Apache Spark項(xiàng)目的創(chuàng)始委員和項(xiàng)目管理委員會(huì)委員、Apache MXNet項(xiàng)目導(dǎo)師。

此外，在前不久的英特爾開(kāi)源技術(shù)峰會(huì)（Intel Open Source Technical Summit，OSTS）上，筆者看到了高性能集成開(kāi)源軟件棧Deep Learning Reference Stack與企業(yè)分析、分類(lèi)、識(shí)別和數(shù)據(jù)處理工具Data Analytics Reference Stack的發(fā)布，這些都是英特爾為了融合從框架、庫(kù)、OS、VM等軟件到硬件平臺(tái)優(yōu)化體驗(yàn)所做出的努力。

或許是因?yàn)橛⑻貭栐?a target="_blank">半導(dǎo)體領(lǐng)域的地位過(guò)于強(qiáng)勢(shì)，外界常常忽視其在軟件和開(kāi)源領(lǐng)域的成績(jī)。事實(shí)上，英特爾擁有超過(guò)15000名軟件工程師，軟件布局橫跨數(shù)據(jù)中心基礎(chǔ)設(shè)施、操作系統(tǒng)、產(chǎn)品開(kāi)發(fā)、ISV、工具/SDK、云計(jì)算、物聯(lián)網(wǎng)、AI、HPC、邊緣計(jì)算等領(lǐng)域。

過(guò)去的6個(gè)月時(shí)間里，英特爾在軟件領(lǐng)域取得了數(shù)百項(xiàng)成果，包括從JDK8到JDK9，將現(xiàn)有硬件的性能提升6倍；結(jié)合內(nèi)存層級(jí)架構(gòu)，加上軟件棧技術(shù)，通過(guò)傲騰+軟件的方式將工作負(fù)載的性能提升8倍；利用DL Boost等架構(gòu)擴(kuò)展，使得從Skylake升級(jí)到Cascade Lake之后，相比上一代硬件提速28倍……這一系列的表現(xiàn)若是從硬件的角度看都是數(shù)代的硬件性能提升。

這一切的背后都在印證，軟硬結(jié)合、開(kāi)源協(xié)作已經(jīng)變得越來(lái)越重要。正如戴金權(quán)在采訪(fǎng)中對(duì)筆者所說(shuō)的：“如果想實(shí)現(xiàn)指數(shù)級(jí)的增長(zhǎng)，必須要硬件和軟件共同創(chuàng)新。軟件社區(qū)和硬件社區(qū)相互交流，并真正去思考彼此的問(wèn)題，這比以往任何時(shí)候都更加關(guān)鍵。”