日前IBM發布POWER 9處理器是基于14nm工藝制程，并且專為AI、加速計算設計 ，相比 X86 系統，可縮短在機器學習框架下的訓練時間。IBM表示設計之初的理念就是未來為 AI 服務，且率先使用了PCIe 4.0技術。

近日 IBM 在紐約發布了最新設計的POWER9處理器，以及裝有 POWER9的新一代Power Systems服務器—— AC922。2017年下半年以來，針對大數據和云計算，IBM發布了多款硬件。值得一提的是，AC922是 IBM 第一款針對企業級 AI市場發布的新品，該系統專門為人工智能、加速計算而設計，根據其內部測試數據，相比 X86 系統，可將深度學習框架下將訓練時間縮短至原來的1/4。

IBM大中華區科技合作部副總裁Mary Coucher 表示，早四年前IBM 開始設計 POWER9時，就在整個過程中都考慮了如何來為 AI 服務。

具體到數據上，跟x86相比，POWER9的線程增加 2 倍， I/O帶寬增加5倍，CPU和GPU之間的內存共享提升至2TB，且率先使用了PCIe 4.0技術的，速度比基于PCIe Gen3的x86快了2倍多。

基于POWER9 的 AC922，則嵌入了PCI-Express 4.0、新一代NVIDIA的 NVLink及OpenCAPI，在加速數據傳送方面，超越了 x86 數倍，能夠大幅提升Chainer、TensorFlow及Caffe等人工智能框架的性能，并加速Kinetica等數據庫。

記者了解到，正式產品已于本月22日上市。

以下為針對該新品在人工智能及應用方面的采訪，受訪人有IBM副總裁、大中華區硬件系統部總經理侯淼，IBM大中華區科技合作部副總裁Mary Coucher ，IBM杰出工程師、大中華區硬件系統部首席技術官李永輝等，記者在不改變原意的基礎上，做了增刪。

關于人工智能

提問：為什么針對 AI ？使用場景有哪些？

侯淼：大家好奇為什么這次發布針對AI，機器對AI和機器不對AI到底有什么差別。

在過去IBM很多產品都是針對傳統的工作負載，像大家在銀行做銀行交易一樣，可能手機上有一個消費，你買了一本書，花了30塊錢，這筆交易會留到銀行和你的賬戶，會訪問Database，會從你的銀行的賬戶減掉30塊錢，然后確認把這個錢給商家，這樣的輸入就完成了，整個過程是串行的程序來保證數據一致性，不可能并行起來。對后臺機器的要求在于I/O、內存和CPU之間通路的完整性，通過軟件要使這個交易完整，我們傳統叫針對Online Transaction系統。

什么是AI的場景？舉一個很有意思的例子，比如說在一個視頻上識別一個人，有幾個步驟來做，第一，要讓一個機器知道要找的這個人的面貌特征，知道的過程就要用深度學習訓練。這里有幾個很關鍵的點，識別時間越短越好，越快越好，越準越好。

IBM這一套技術在進行訓練的時候，有一個深度學習的的一套框架，這里包括我們改進了NVLINK GPU-CPU互連加速技術、CAPI I/O加速及內存一致性訪問技術、水平擴展等，以前只能在一臺機器，可能是十個小時，如果能夠十臺機器一塊兒來做的，有可能是1個小時，這是IBM的優勢。

接下來當你進行識別的時候，發現如果一個視頻里有十個人，這個識別不是不需要從左邊找第一個人到右邊，而是會同時去看這些人。如果有一百個人，也會同時看一百個人到底這里面能看多少人，這取決于GPU的能力，GPU的數量越多，并發的密度越高，能力越強。

如果是高清圖像的話要求你的分辨率很高，這就跟GPU和CPU的內存相關，內存越大，你所得到的數據越高，從而這個比對的精準度會越快。IBM這次發布的AC922，第一個特征就是支持在2U的設備里支持6個GPU，這使識別的速度會大幅度提高。

第二是跟NVIDIA合作，采用了新一代 NVLink，它把CPU和GPU相連接，好處在于，進行高清識別的時候，當GPU內存不夠的話可以訪問主內存，這是非常大的優勢。高清識別的時候，很多情況下GPU的內存不夠，會限制訪問速率，或者犧牲速度增加質量，或者犧牲質量增加速度，而在AC922不需要這樣來做。

提問：近4倍的超越對于芯片來講是一個什么概念？ AI現在的發展跟軟件有很大關系，軟件的倍數會更多，是否可以介紹一下這一點？

李永輝：人工智能不單單是硬件平臺，還涉及到軟件的堆棧。AC922是為了人工智能而設計的，在2個U的密度里放了最多6個 GPU，可以大大加速很多人工智能框架。

我們采用最新的GPU技術——V100，業界最頂級的，有雙密度、單密度、半密度的算法，有效加速人工智能訓練過程，也可以做一個性能的提升。在V100 GPU里有Tensor Core的設計，專門針對人工智能權重算法，實現并行度的加速。

在這個基礎上做了軟件堆棧，這個堆棧是去年年底發布的Power AI，我們隨著業界出現的主流AI框架，優化到IBM Power平臺上去。今天有很多客戶是不容許在網下載一些開源的軟件，怕有病毒，IBM已經把這些應用編譯到POWER 平臺上，利用NVLink技術和POWER9，提供了對開源軟件很好的支持和優化。

此外，還做了一些功能性的增強，一方面是水平的擴展，很多的開源應用只局限在一臺機器跑，我們透過Spark的技術，在12月初剛發布了 Deep Learning Impact，利用大數據的技術，把人工智能的框架水平擴展到多臺機器上去跑，同時也提供一些工具，實現Hyper-parameter Search超參條選，縮短 AI 應用開發的時間。

提問：現在國內對人工智能保持非常激進的態度，政府、企業界、學術界都非常激進，對IBM來說，是否會在中國放更大的精力，投入更多？

李永輝：我們了解到人工智能在中國是很熱門的課題，包括中國政府在8月4號發布新一代人工智能的規劃。

其次， IBM看到在全球領域，在AI比較關注的國家或者是很多比較創新的跟AI有關的國家，中國絕對是領先之一。因此，在我們這次發布的POWER服務器和相關配套的解決方案里，IBM中國的研究院開發團隊都有參與部分人工智能的軟件或者是有關產品的開發。IBM是非常關注中國人工智能的發展，同時我們也有一定的投入在這里，把我們對中國市場的了解反饋到產品里，更好的支持我們的客戶。

提問：培訓原來是單機用得比較多，什么情況下會用到并行？行業應用好像一臺就夠了吧？

李永輝：今天的AI剛剛發展起來，當初發展很快的原因是因為業界有很多開源AI的框架可以供一些人做應用實驗，這個框架往往只能放在一臺物理機器上跑。很多廠家，不只是IBM，也在摸索怎么樣可以更有效的把AI框架拓展到多臺機器上去。這里涉及到Caffe和TensorFlow等人工智能框架能不能水平擴展開，還涉及到底層的互聯互通，信息的交互等。

學習的過程，當你處理的圖像越大，精密度越高，性能要快的話，就需要用到這種水平拓展的技術。單一臺機器跑，如果今天要處理一些比較復雜的問題，可能要跑數天或者超過一周的時間才能訓練完一堆數據。如果你在神經網絡里選擇了不合適的超參（Hyper-parameter），在人工智能網絡里，跑了一半或者跑了數天后才發現數據有問題或訓練收斂不了，那就需要重新設定，重新訓練，整個開發應用周期就太慢了，IBM提供的工具可以自動化幫你做一個超參的首巡，這也是IBM很出色的能力，同時間底層做水平的擴展，加快訓練的時間，做水平擴展的另外一個好處是多租戶的環境。

IBM是做平臺出身，我們做一個框架幫你打通所有的平臺，將來對客戶來講這是AI的資源池，在上面放Deep Learning Impact解決方案，底層打通，無論將來的應用提交到多少CPU上去都可以跑起來，如果一個不夠可以給兩個，兩個不夠可以給三個，這樣對用戶來講是加快速度，另外是多租戶的使用場景。

提問：POWER9除了HPC和AI方面，還適用于什么市場呢？

李永輝：POWER 有超過25年的市場，今天很多的客戶是跑在核心的關鍵應用，像數據庫的應用，像一些企業資源管理的應用，像一些大數據分析的應用或者是中間件等等，今天很多客戶核心的平臺都會用的。

為什么我們強調AI，原因是我們看到在過去可能一兩年內，這個領域做了很大的改變，我們看到IT正進入一個新時代，這個新的時代，IBM稱之為認知時代。在這個認知時代里面，新的平臺是需要有能力做到一些認知的能力，這些認知的能力包括所謂理解的能力、推理的能力、學習的能力、交互的能力，這些能力很多都是需要通過GPU來實現的。比如說做圖像識別、語音識別等等。

為什么我們看到新一代的機器需要有一種混合架構，GPU的能力，不單只是傳統的CPU能力，我們還需要很好的連接GPU的能力， POWER9的第一款服務器不僅提供了很好的CPU以外，也提供新一代NVLINK 連接CPU 來加速AI的能力，同時也做了很多I/O加速的能力。IBM的一個調研發現，到2020年網絡上流動的數據有超過一半是視頻，如果今天沒有一種像CAPI這種加速網絡的技術，將來怎么應付這么海量的數據處理呢？

侯淼：從以前IBM POWER4、5、6、7、8，到現在的POWER9，針對傳統的工作負載不斷在增強，包括支持更多的核，包括更大的內存總線、更大的內存、更強的I/O，很正常。新的POWER9？ AC922作為第一款的主打產品發布，實際上是增加了對AI市場的支持，換句話說增加了GPU，使這個機器不單單能夠解決傳統的工作負載的問題，也能夠解決新的有關分析和人工智能問題。

關于應用

提問： AC922主要是面對AI，但我們更多的應用還是傳統的應用，不知道這些用戶從POWER9當中能夠獲得什么受益？

Mary Coucher：我們這個產品的確是針對AI來發布的，在整個2018年大家會看到我們會有更多關于POWER9的產品一些新的發布。我們針對各種類型的，比如說針對scale-out、針對超算，還有scale-up……傳統可能更注重商業機會，對于傳統商業客戶和研究機構來講，他們其實對AI非常感興趣，因為AI可以幫助促進他們的商業機會，能夠更好地運用他們掌握的數據，增加更多的機會，他們可以去更好的理解市場，更好的去獲得更大的客戶群。這對制造業、零售業、供應鏈、醫療、銀行業等等來講都是這樣的。

提問：原來在POWER8上跑的系統對軟件有沒有挑戰，是可以順利的遷移呢？

李永輝：IBM POWER到今天是第九代，但是一直保留了兼容性，IBM POWER的核是兼容的，今天POWER8的用戶到POWER9都可以跑下去，沒有問題。

我們這次發布是AC922，是凸顯了IBM對AI領域的重視，并不是說我們只有這一款機器。這是POWER9的第一個開始。我們在明年會有針對商業化，針對水平、縱向擴展的機器也會慢慢陸陸續續發布。

針對應用的部分來講，POWER8的應用可以遷移到POWER9，沒有問題，同時間POWER9帶來新類型的能力，像剛才講的GPU采用最新一代的V系列的芯片，它也有一些新的算法上的優化，有新一代的NVLink，CAPI和OpenCAPI、PCIe 4.0等等一些標準，這肯定是原來POWER8沒有的，這是POWER9才有的，如果用戶需要體現一個新的能力的話，他需要在我們新的平臺當中做一些優化，重新編譯等。