機器學習和深度學習已經成為我們生活中不可或缺的一部分。通過自然語言處理（NLP），圖像分類和對象檢測的人工智能（AI）應用程序已深深地嵌入到我們使用的許多設備中。大多數AI應用程序都通過基于云的引擎提供服務，這些引擎可以很好地滿足其用途，例如在Gmail中鍵入電子郵件響應時獲取單詞預測。

盡管我們享受這些AI應用程序帶來的好處，但這種方法帶來了隱私，功耗，延遲和成本挑戰。如果存在一個本地處理引擎能夠在數據本身的原始位置執行部分或全部計算（推斷），則可以解決這些挑戰。對于傳統的數字神經網絡實現而言，這已經很難做到了，在傳統的數字神經網絡實現中，內存成為了耗電的瓶頸。該問題可以通過多級存儲器以及模擬內存計算方法來解決，該方法可以使處理引擎共同滿足更低的毫瓦（mW）至微瓦（uW）功率要求，從而可以在以下條件下執行AI推理網絡的邊緣。

當AI應用程序通過基于云的引擎提供服務時，用戶必須（有意或無意）將一些數據上傳到云，計算引擎將在該云上處理數據，提供預測，并將預測發送到下游以供用戶使用。

為了使用本地處理引擎解決這些挑戰，必須首先使用給定的數據集對將要執行推理操作的神經網絡模型進行訓練，以實現所需的用例。通常，這需要大量的計算（和內存）資源以及浮點算術運算。結果，機器學習解決方案的訓練部分仍然需要在具有數據集的公共或私有云（或本地GPU，CPU，FPGA場）上完成，以生成最佳的神經網絡模型。一旦神經網絡模型準備就緒，就可以使用小型計算引擎為本地硬件進一步優化模型，因為神經網絡模型不需要反向傳播進行推理操作。推理引擎通常需要大量的乘積（MAC）引擎。

大多數神經網絡模型需要大量的MAC操作。例如，即使是相對較小的“ 1.0 MobileNet-224”模型也具有420萬個參數（權重），并且需要5.69億個MAC操作來執行推理。由于大多數模型都由MAC操作控制，因此這里的重點將放在機器學習計算的這一部分上，并探索創造更好解決方案的機會。下面的圖2說明了一個簡單的，完全連接的兩層網絡。