在開始介紹MediaTek NeuroPilot之前，我想先幫各位伙伴們科普一下什么是Edge AI。

許多人工智慧仍遠在云端，且可能無法如你所愿，快速地傳送到達終端。伙伴們也許會思考，為什么不讓人工智慧離你近些呢？

MTK將人工智慧技術應用到你周邊的終端裝置，充分地實現終端人工智慧，這意味著伙伴們無需等待，也無需上網，就能立即享受到人工智慧。

使用上可以得到更快速地響應、更好的隱私保護、更多的功能。

Faster response

Better privacy

More Functionality

然而，為了優化終端人工智慧，MediaTek為神經網絡運算，設計了一個全新的人工智慧處理單元APU，和CPU相比，它可以節省高達95%的電力（SAVE 95% ENERGY CONSUMPTION），讓你能有更多的時間處理更多任務

MTK還建立了一個創新的異構運算構架（HETEROGENEOUS COMPUTING），能即時導引正確的任務到正確的位置，讓每個處理器都能發揮最佳性能和最大化的能源效率，這就是MTK的終端人工智慧平臺–NeuroPilot

NeuroPilot支持業界所有主流的人工智慧構架如下列所示。

Google: TENSORFLOW/TENSORFLOW LITE

AMAZON: MXNET

CAFFE

SONY: NNABLA

Other NN Frameworks

如果伙伴們是開發人員，只要開發一次，便可應用NeuroPilot到任何可支持的終端裝置。

CROSS PRODUCT

CROSS OPERATING SYSTEM

Android / Linux / RTOS / Others

NeuroPilot大致可分為三個層級，如下圖所示，最頂層是各種應用程序，也是我們日常就能接觸的一些應用，像是一些臉部識別、面部美化、場景檢測、手勢檢測、語音識別等等。

中間層用于程序編寫和異構運算，主要由軟件算法所構置的，包括神經網絡運行（NN Runtime），異構運行（Heterogeneous Runtime）。

這些基于個別級別的API進行程序編寫的框架，我們稱之為AI framewrok，像Google的tensorflow（Lite）、caffe、Amazon的MXNet、Sony的NNabla等。

聯發科技的NeuroPilot支持市面上主流且常用的所有AI framework，意思就是說，我們的伙伴們就能夠很方便地在NeuroPilot平臺上進行程序開發，同時也能夠很好地與云端對接。

再來最底層是各種硬件處理器CPU、GPU、APU。

一般情況下，我們在處理這個model太大，然后想要把它縮小，做優化來講，有幾個大家比較常用的手法。

我先講一下什么是優化，優化工具主要專注的地方是在training那個階段。會把訓練好的model來做優化。伙伴們可能會想，為什么要在training好的model來做優化呢？

這是因為我們很多AI model在訓練好的時候，其實占用很大的容量，動不動就幾百兆字節。這樣大小的model放在設備端來執行的話，可以想象，第一個跑起來會很慢，第二個是非常的耗電。所以我們會用一些手法來做一些優化，讓這個model變比較小，比較適合在設備端來執行。

第一個手法是有些Model本身就比較小，如下列圖標，而它的準確度，不會因為他model小就被影響，例如像是我們看到MobileNet、SqueezeNet和Shufflenet，這幾種來執行。

或是我們可以使用程序的方式去探索硬件，知道這個硬件適合什么樣的Model在什么樣的硬件上會跑比較快，這種方法叫做NAS，Neuron Architecture Search，這個手法，直接用程序去跑，看找什么樣的Model比較適合的。

另外底下三個手法，它就是用程序，去達成讓Model縮小，首先是Quantization，或是中文我們叫做量化，這樣的手法其實是去改變我們原本Model的儲存數字和參數。

把它從Floating point這種比較大的格式，轉換成integer這種比較小的格式。你可以想象，轉換變小之后，它的Model也會跟著轉換縮小，縮小之后，這個Model就可以在設備端，跑起來比較快，比較省電。

第四個方法，這邊寫到是Network Reduction，或者是我們在軟件上稱做Pruning，中文可能會叫做剪枝，這個手法我們可以想像它是一個Model壓縮的技術，它可以把一個比較大的Model，壓縮成一個比較小的Model。

另外也有人用另一個方法，它把一個大的Model，然后再用一個小的Model去學這個大的Model，就是用原本training完大的Model，用小Model去學它，然后最后在設備端上來執行，這是叫做distilling的手法。

關于NeuroPilot基本的介紹就到此，有興趣的伙伴們，可以隨時與我們探討和研究，謝謝。