NPU（AI芯片）和GPU的亮點在于它們能夠運行多個并行線程。NPU通過一些特殊的硬件級優(yōu)化，比如為一些真正不同的處理核提供一些容易訪問的緩存系統(tǒng)，將其提升到另一個層次。這些高容量內(nèi)核比通常的“常規(guī)”處理器更簡單，因為它們不需要執(zhí)行多種類型的任務(wù)。

寒武紀(jì)在A股科創(chuàng)板上市，成為AI芯片第一股，就引起了業(yè)內(nèi)的熱議和關(guān)注。 根據(jù)相關(guān)的資料顯示，目前中國IC設(shè)計企業(yè)已超過1500家。但AI芯片的公司卻比較少，創(chuàng)企僅超過20家。在這些AI芯片企業(yè)中，寒武紀(jì)是最突出的，尤其是最近的IPO，科創(chuàng)上市第一天股票便一路飆升。那么AI芯片到底是什么，與我們普通的CPU有何區(qū)別呢？ 從原理邏輯來看，AI處理器是一種特殊的芯片，它結(jié)合了人工智能技術(shù)和機(jī)器學(xué)習(xí)，使芯片的移動設(shè)備足夠智能，可以模仿人類的大腦，用于優(yōu)化深度學(xué)習(xí)AI的工作，也是使用多個具有特定功能的處理器的系統(tǒng)。而普通的芯片（普通cpu）則被封裝在一個更小的芯片包中，設(shè)計用于支持移動應(yīng)用程序，提供支持移動設(shè)備應(yīng)用程序所需的所有系統(tǒng)功能。

大多數(shù)時候，各個大公司營銷團(tuán)隊發(fā)現(xiàn)AI（人工智能）這個詞非常“前位且華麗”，所以他們幾乎把它捆綁到任何可能的商業(yè)用途中。因此，你肯定聽說過“人工智能芯片”，其實它是NPU（神經(jīng)處理單元）的重命名版本，這些是特殊類型的ASIC（專用集成電路），旨在移動市場中將機(jī)器學(xué)習(xí)廣泛應(yīng)用。 這些ASIC有一種特殊的架構(gòu)設(shè)計，使它們能夠更快地執(zhí)行機(jī)器學(xué)習(xí)模型，而不是將數(shù)據(jù)卸載到服務(wù)器，然后等待它的響應(yīng)。這種執(zhí)行可能沒有那么強(qiáng)大，但由于數(shù)據(jù)和處理中心之間的障礙更小，所以速度會更快。

NPU比普通的CPU有什么優(yōu)勢？

通俗來說，我們可以理解為NPU就是AI芯片，普通芯片就是CPU。 CPU在一般的負(fù)載環(huán)境中工作會很好，因為它有一個較高的IPC，可以通過許多串行執(zhí)行。且CPU遵循的是馮諾依曼架構(gòu)，其核心是存儲程序、順序執(zhí)行。CPU的架構(gòu)中需要大量的空間去放置存儲單元（Cache）和控制單元（Control），相比之下計算單元只占據(jù)了很小的一部分，所以它在大規(guī)模并行計算能力上極受限制，而更擅長于邏輯控制。 NPU和GPU的亮點在于它們能夠運行多個并行線程。NPU通過一些特殊的硬件級優(yōu)化，比如為一些真正不同的處理核提供一些容易訪問的緩存系統(tǒng)，將其提升到另一個層次。這些高容量內(nèi)核比通常的“常規(guī)”處理器更簡單，因為它們不需要執(zhí)行多種類型的任務(wù)。這一整套的“優(yōu)化”使得NPU更加高效，這就是為什么這么多的研發(fā)會投入到ASIC中的原因。 機(jī)器學(xué)習(xí)模型處理要求CPU、DSP、GPU和NPU同時同步，這是很多芯片處理單元在共同工作。但這也解釋了為什么這樣執(zhí)行對于移動設(shè)備來說是“沉重的”。 NPU的優(yōu)勢之一在于，大部分時間集中在低精度的算法，新的數(shù)據(jù)流架構(gòu)或內(nèi)存計算能力。與GPU不同，它們更關(guān)注吞吐量而不是延遲。

當(dāng)然，AI算法是至關(guān)重要的，在圖像識別等領(lǐng)域，常用的是CNN卷積網(wǎng)絡(luò)，語音識別、自然語言處理等領(lǐng)域，主要是RNN，這是兩類有區(qū)別的算法。但是，他們本質(zhì)上，都是矩陣或vector的乘法、加法，然后配合一些除法、指數(shù)等算法。

另外，一個成熟的AI算法，針對卷積運算和加權(quán)求和的特定數(shù)學(xué)進(jìn)行了優(yōu)化。這個過程非常快。它就像一個沒有圖形硬件的GPU。對于AI芯片來說，如果確定了具體的目標(biāo)尺寸，那么總的乘法加法計算次數(shù)是確定的。比如一萬億次， 就好比說，我用AI芯片跑程序，吃頓飯的功夫就就解決了，而CPU需要運行好幾個禮拜，時間上的差距，沒有任何一家商業(yè)公司會浪費時間。

全球AI芯片公司有哪些？

除了寒武紀(jì)，國內(nèi)還有這些比較有名的AI芯片公司比特大陸，地平線，天數(shù)智芯，熠知電子，探境科技，燧原科技，海思，嘉楠科技等公司，都是經(jīng)歷了自2015年至現(xiàn)在的實際落地的檢驗期，才到現(xiàn)在境況。各個公司的產(chǎn)品也都是獨特的，功耗、性能、應(yīng)用場景都有自己的風(fēng)格，可以在中國的廣大的市場中占有一席之地。 中國AI芯片公司處于一個發(fā)展熱潮中，那國外AI的芯片發(fā)展情況又如何呢？現(xiàn)在讓我們來看看那些我們認(rèn)為是人工智能芯片頂級開發(fā)者的公司，盡管沒有任何特定的順序——只是那些已經(jīng)展示了他們的技術(shù)并且已經(jīng)將其投入生產(chǎn)或者即將投入生產(chǎn)的公司。具體如下：

1. Alphabet（谷歌母公司） 谷歌的母公司督促著人工智能技術(shù)在多個領(lǐng)域的發(fā)展，包括云計算、數(shù)據(jù)中心、移動設(shè)備和臺式電腦。可能最值得注意的是它的張量處理單元（Tensor Processing Unit），這是一款專門為谷歌的TensorFlow編程框架設(shè)計的ASIC，主要用于AI的兩個分支機(jī)器學(xué)習(xí)和深度學(xué)習(xí)。 谷歌的Cloud TPU是應(yīng)用于數(shù)據(jù)中心或云解決方案，其大小相當(dāng)于一張信用卡， 但Edge TPU大小是小于一美分的硬幣， 是專為某些特定的設(shè)備而設(shè)計的。盡管如此，更仔細(xì)觀察這一市場的分析師說，谷歌的Edge TPU不太可能在短期內(nèi)出現(xiàn)在該公司自己的智能手機(jī)和平板電腦上，而更有可能被用于更高端、企業(yè)和昂貴的機(jī)器和設(shè)備。

2. Apple 蘋果多年來一直在開發(fā)自己arm芯片，最終可能會徹底停止使用英特爾（Intel）等供應(yīng)商。蘋果也基本上擺脫了與高通的糾纏，看起來確實決心要在未來的人工智能領(lǐng)域走自己的路。 該公司在最新款的iphone和ipad上使用了A13“仿生”芯片。該芯片使用了蘋果的神經(jīng)引擎，這是電路的一部分，第三方應(yīng)用程序無法使用。A13仿生芯片比之前的版本更快，耗電更低。據(jù)報道，A14版本目前正在生產(chǎn)中，今年可能會出現(xiàn)在該公司更多的移動設(shè)備上。

3. ARM Arm （ArmHoldings）生產(chǎn)的芯片設(shè)計被包括蘋果在內(nèi)的所有領(lǐng)先技術(shù)制造商采用。作為一個芯片設(shè)計師，它不制造自己的芯片，這給了它某種優(yōu)勢，就像微軟不制造自己的電腦一樣。換句話說，Arm在市場上有著巨大的影響力。該公司目前正沿著三個主要方向開發(fā)人工智能芯片設(shè)計： Project Trillium，一種“超高效”、可擴(kuò)展的新型處理器，目標(biāo)是機(jī)器學(xué)習(xí)應(yīng)用;機(jī)器學(xué)習(xí)處理器，這是不言而喻的; Arm NN是神經(jīng)網(wǎng)絡(luò)的縮寫，它是一種用于處理TensorFlow的處理器，Caffe是一種深度學(xué)習(xí)框架，還有其他一些結(jié)構(gòu)。

4. Intel （英特爾） 早在2016年，據(jù)華爾街日報報道，芯片巨頭英特爾宣布收購初創(chuàng)公司NervanaSystems，英特爾將獲得該公司的軟件、云計算服務(wù)和硬件，從而使產(chǎn)品更好地適應(yīng)人工智能的發(fā)展。但它的人工智能芯片系列，被稱為“神經(jīng)網(wǎng)絡(luò)處理器”：人工神經(jīng)網(wǎng)絡(luò)模仿人類大腦的工作方式，通過經(jīng)驗和實例進(jìn)行學(xué)習(xí)，這就是為什么你經(jīng)常聽到機(jī)器和深度學(xué)習(xí)系統(tǒng)需要“訓(xùn)練”。隨著之前發(fā)布的Nervana，英特爾似乎將優(yōu)先解決與自然語言過程和深度學(xué)習(xí)相關(guān)的問題。

5. Nvidia （英偉達(dá)） 在GPU市場中，我們提到過GPU處理人工智能任務(wù)的速度比CPU快得多，Nvidia看起來處于領(lǐng)先地位。同樣，該公司似乎在新生的人工智能芯片市場獲得了優(yōu)勢。這兩項技術(shù)似乎是密切相關(guān)的，英偉達(dá)在GPU方面的進(jìn)展有助于加速其人工智能芯片的開發(fā)。事實上，gpu似乎是Nvidia人工智能產(chǎn)品的支撐，而其芯片組可以被稱為人工智能加速器。Jetson Xavier于2018年已經(jīng)發(fā)布，該公司CEO黃仁勛在新聞發(fā)布會上表示：“這臺小電腦，將成為未來機(jī)器人的大腦”。 深度學(xué)習(xí)似乎是英偉達(dá)感興趣的主要領(lǐng)域。深度學(xué)習(xí)是一種更高層次的機(jī)器學(xué)習(xí)。你可以把機(jī)器學(xué)習(xí)看作是使用相對有限的數(shù)據(jù)集的短期學(xué)習(xí)，而深度學(xué)習(xí)使用在較長一段時間內(nèi)收集的大量數(shù)據(jù)來返回結(jié)果，這些結(jié)果反過來被設(shè)計用來解決更深層次的、潛在的問題。

6. AMD（超微半導(dǎo)體） 和英偉達(dá)一樣，AMD是另一家與顯卡和GPU有著密切聯(lián)系的芯片制造商，部分原因是過去幾十年電腦游戲市場的增長，以及比特幣礦業(yè)的增長。AMD提供硬件和軟件解決方案，如EPYC cpu和Radeon Instinct gpu的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)。Epyc是AMD為服務(wù)器（主要用于數(shù)據(jù)中心）提供的處理器名稱，而Radeon則是一款主要面向游戲玩家的圖形處理器。AMD提供的其他芯片包括Ryzen，也許還有更知名的Athlon。該公司在人工智能專用芯片的開發(fā)上似乎還處于相對早期的階段，但鑒于其在GPU領(lǐng)域的相對實力，觀察家們認(rèn)為它將成為該市場的領(lǐng)導(dǎo)者之一。AMD已簽約向美國能源部提供Epyc和Radeon系統(tǒng)，用于建造世界上最快、最強(qiáng)大的超級計算機(jī)之一，被稱為“Frontier”。

7. Qualcomm （高通） 高通在智能手機(jī)熱潮開始之初就通過與蘋果的合作賺了一大筆錢，對于Apple停止購買其芯片的決定，高通可能覺得自己被冷落了。當(dāng)然，高通本身在這個領(lǐng)域也不是什么小公司，而且考慮到未來，一直在進(jìn)行一些重大投資。 去年，高通發(fā)布了一款新的“云人工智能芯片”，似乎將其與其在第五代電信網(wǎng)絡(luò)（5G）方面的開發(fā)聯(lián)系起來。這兩項技術(shù)被認(rèn)為是構(gòu)建自動駕駛汽車和移動計算設(shè)備新生態(tài)系統(tǒng)的基礎(chǔ)。分析師表示，高通在人工智能芯片領(lǐng)域算是后來者，但該公司在移動設(shè)備市場擁有豐富經(jīng)驗，這將有助于實現(xiàn)其“讓設(shè)備上的人工智能無處不在”的目標(biāo)。 當(dāng)然，其他還有Samsung（三星）， TSMC（臺積電）， Facebook（臉書）， IBM， LG等大型國際公司也在研發(fā)自己得AI芯片，誰能先掌握最前沿的AI芯片，誰就能在新的經(jīng)濟(jì)上升潮流中分一杯羹。 各個大公司的市場部描繪給我們的現(xiàn)實與那些公司外的現(xiàn)實截然不同。盡管幾十年的研究給了我們處理信息和分類輸入的新方法，比以往任何時候都快，但我們購買的硬件中并沒有真正的AI，因此哪家芯片公司能夠抓住市場痛點 ，最先實現(xiàn)應(yīng)用落地 ，就可以在人工智能芯片的賽道上取得較大優(yōu)勢。 目前全球人工智能產(chǎn)業(yè)依舊處在高速的發(fā)展 中 ，不同的行業(yè)分布為人工智能的應(yīng)用提供了廣闊的市場前景 ，商業(yè)化的社會需要人工智能的應(yīng)用 ，AI芯片是實現(xiàn)算法的硬件基礎(chǔ) ， 也是未來人工智能時代的戰(zhàn)略制高點，全球的各大頂級公司會為此而一戰(zhàn)。但由于目前 的 AI 算法往往都各具優(yōu)劣，只有給它們設(shè)定一個合適的場景才能最好地發(fā)揮它們的作用，也希望AI可以今早進(jìn)入我們普通人的視線中。 從產(chǎn)業(yè)發(fā)展來看 ，現(xiàn)在還是人工智能芯片的初級階段，無論是科研方向還是商業(yè)的應(yīng)用都有非比尋常的創(chuàng)新空間。在應(yīng)用場景中，算法迭代的AI芯片向具備更高靈活性、適應(yīng)性的通用智 能芯片發(fā)展，這是是技術(shù)發(fā)展的必然方向。更少的神經(jīng)網(wǎng)絡(luò)參數(shù)計算位寬 ，更多樣的分布式存儲器定制設(shè)計 ，更稀疏的大規(guī)模向量實現(xiàn) ，復(fù)雜異構(gòu)環(huán)境下更高的計算效率 ，更小的體積和更高的能量效率 ，計算和存儲一體化將成為未來人工智能芯片的主要特征和發(fā)展趨勢。

作者：騰訊新聞知識官、美國賓州州立大學(xué)碩士、芯片工程師 Zach小生

參考資料： 1.《2019年中國IC設(shè)計行業(yè)投資前景研究報告》 2. 人工智能芯片發(fā)展的現(xiàn)狀及趨勢【J】 科技導(dǎo)報