2019云棲大會已經(jīng)揭開了帷幕，就在9月25日，阿里巴巴集團首席技術(shù)官兼阿里云智能總裁、達摩院院長張建鋒發(fā)表了題為《構(gòu)建數(shù)字經(jīng)濟基礎(chǔ)設(shè)施》的演講。在演講中，張建鋒重磅推出AI推理芯片含光800，引發(fā)了眾多關(guān)于它的討論。

近年來科技熱潮一波接著一波。從物聯(lián)網(wǎng)到可穿戴電子、從人工智能到5G，它們推進了國家的科技發(fā)展路徑，與其同時也催生出了一大批創(chuàng)新公司：比如專精于安防的曠視科技、專精于視頻的極鏈科技等等。其中的人工智能（AI）便曾在1950年代、1980年代先后熱議過，并因多項技術(shù)限制與過度期許而回復(fù)平淡。而到了2016年，它又隨著云端資料的增長和影音辨識的需求，再次進入了公眾的視野。

分析AI推理芯片，自然要從人工智能說起。人工智能的運用一般分為兩個階段，即開發(fā)與執(zhí)行，這也與其他大部分應(yīng)用程序相類似。在實際投入運行前，人工智能需要進行學(xué)習(xí)與訓(xùn)練，借助大量繁復(fù)的運算來使模型獲得更佳的參數(shù)調(diào)整數(shù)據(jù)，對運算的精準(zhǔn)度、細(xì)膩度要求都相對較高；而在執(zhí)行階段，由于模型已經(jīng)訓(xùn)練完成，所以不再需要龐大的運算量，再加上效率的考量，往往會采用較低的運算精度。也就是說，在這兩個階段，所需要的芯片能力其實是有所差異的。

目前人類要實現(xiàn)人工智能，只能靠芯片，別無選擇。但是現(xiàn)有的CPU、GPU、FPGA等芯片的基本架構(gòu)早在這次人工智能突破之前就已經(jīng)存在了，并非為人工智能而專門設(shè)計，因此它們并不能完美地承擔(dān)實現(xiàn)人工智能的任務(wù)。人工智能專家MichaelI.Jordan也認(rèn)為，我們今天所做的還不能算是真正的AI，而只是利用技術(shù)來增強一部分的智能而已，也就是所謂的IA（IntelligenceAugmentation：增強智能）。

所以近年來，人們已經(jīng)開始普遍使用CPU之外的芯片來加速，例如GPGPU、FPGA、ASIC等，特別是GPGPU為多，原因在于GPGPU的高階軟體生態(tài)較為完備、可支援多種人工智能框架。相對的，F(xiàn)PGA需要熟悉低階硬體電路者方能開發(fā)，而ASIC通常只針對限定的軟體或框架最佳化。雖然FPGA與ASIC較有難度與限制，但仍有科技大廠愿意投入，如Microsoft即主張用FPGA執(zhí)行人工智能運算，Google則針對TensorFlow人工智能框架開發(fā)ASIC，即CloudTPU芯片。

阿里此次推出的含光800，在業(yè)界標(biāo)準(zhǔn)的ResNet-50測試中推理性能達到78563IPS，比目前業(yè)界最好的AI芯片性能高4倍；能效比500IPS/W，是第二名的3.3倍。在杭州城市大腦的業(yè)務(wù)測試中，一顆含光800的算力相當(dāng)于十顆GPU。這固然令人驚喜，但更重要的是，平頭哥團隊在過去一年中不斷探索芯片與場景的融合，如對算力需求較大的圖像視頻分析、搜索、推薦等業(yè)務(wù)場景。圍繞這一目標(biāo)，平頭哥針對場景深度定制了芯片的軟硬件，例如自研了架構(gòu)、軟件編譯器、框架、工具鏈等，如先后發(fā)布的玄鐵910、無劍SoC平臺，后期也針對INT數(shù)據(jù)類型做了大量優(yōu)化。這說明中國的AI推理芯片不再滿足于IA，而是試圖往真正的AI靠攏。

在推理芯片市場之外，人工智能的訓(xùn)練芯片市場也值得觀察。由于人工智能應(yīng)用的開發(fā)、訓(xùn)練、參數(shù)調(diào)整等工作并非時時在進行，通常在歷經(jīng)一段時間的密集開發(fā)訓(xùn)練后回歸平淡，直到下一次修改調(diào)整才再次進入密集運算。因此，企業(yè)若為了人工智能應(yīng)用的開發(fā)訓(xùn)練購置大量的伺服器等運算力，每次訓(xùn)練完成后，大量的伺服器將閑置無用，直到下一次參數(shù)調(diào)整、密集訓(xùn)練時才能再次顯現(xiàn)價值。鑒于此，許多企業(yè)傾向?qū)⒚芗?xùn)練的運算工作交付給云端服務(wù)供應(yīng)商，依據(jù)使用的運算量、運算時間付費，而不是自行購置與維護龐大運算系統(tǒng)。這也應(yīng)該是阿里只售賣基于含光800的阿里云服務(wù)，而非芯片本身的原因之一。

目前推理芯片市場的主流想法依然是在規(guī)格上做文章，而清華大學(xué)微電子研究所所長魏少軍教授則認(rèn)為這是完全錯誤的思路，“差異化并不是靠規(guī)格設(shè)計出來的，這樣設(shè)計出來的差異化只存在于產(chǎn)品產(chǎn)出的那一段時間，之后就無法更改。別人追上來，差異化越來越小，你的產(chǎn)品便出局?！?/p>

所以說，如何讓推理芯片真正的具有智慧，才是我們當(dāng)前需要思考的。如果只是單純的推進芯片的速度，收效只會越來越小。含光800已經(jīng)踏出了創(chuàng)新的第一步，可剩下的過程，依舊漫長。