移動仍然是一個充滿活力的行業，技術創新為這個行業帶來了繁榮，特別是圍繞攝像頭相關技術。2017 年，使用移動設備拍攝的照片有超過 1.2 萬億（即 1,200,000,000,000）張，智能手機每年的出貨量超過 15 億部，它不僅是驅動技術創新的平臺和創造經濟收益的主要載體，還是能夠觸及全球大多數人的平臺。Arm近期在該領域展開一系列協作，我們一起來看看。

與 Facebook 合作優化面向移動設備的機器學習

Facebook 利用各種先進技術幫助開發人員打造創新型移動體驗，將全世界用戶連接在一起，去年在 Facebook F8 會議上推出的?Camera Effects Platform?就是一例。

這些功能采用 Facebook 的機器學習技術來增強移動用戶攝像頭的智能和性能，Arm 與 Facebook 攜手合作，共同優化 Arm Mali 圖形處理單元 (GPU) 的 Caffe2 機器學習框架。

2017 年，兩家公司共同優化了 Arm Mali GPU 的關鍵機器學習神經網絡，我們榮幸地宣布這些代碼現在可供開發人員免費下載。可從?Compute Library?直接獲取這些代碼，或與?Caffe2 框架結合使用。

Caffe2 是一種輕型可擴展框架，用于機器學習模型的開發和部署。從數據中心到移動設備和嵌入式設備，Caffe2 的使用范圍非常廣泛，模塊化和靈活性使其成為機器學習開發人員的理想之選。

多虧 Arm 和 Facebook 的協作，Caffe 2 開發人員現在能夠在采用 Arm GPU 的移動設備上實現性能改進。這種協作還將通過 Compute Library 的現有 API 延伸到未來的 Arm ML 處理器。

Caffe2 框架可兼容新型?Arm 機器學習平臺，還能通過 Compute Library 的現有 API 以及新發布的?Arm NN 軟件，充分利用當前和未來的?Arm 機器學習處理器。

此外，Arm 致力于打造開放標準，正因如此，我們加入了由 Amazon、 Facebook 和 Microsoft 發起的 ONNX 社區項目，努力實現各種人工智能網絡模型之間的互操作性 (http://onnx.ai)。

更智能、更高能效的攝像頭

多年以來，Arm 與?ArcSoft?密切協作，優化了多家移動設備 OEM 的攝像頭技術。在今年的世界移動大會上，Arm演示ArcSoft PicSelfie 技術，該技術即得益于新的?Google Android 神經網絡 API。

ArcSoft PicSelfie 技術工作原理

1.拍照時，用戶一般會將智能手機攝像頭指向拍攝主體：拍攝主體可能是一個人、一群人、一件物體，甚至是風景。

2.ArcSoft PicSelfie 引擎通過智能化方式區分照片的拍攝主體，確定哪些要素構成背景，然后針對每個要素應用不同的處理技術。

3.對于背景，算法將應用 Bokeh 效果，讓背景變得模糊，從而突出拍攝主體。

4.對于照片的主要拍攝主體，算法將自動應用美化。

所有這些工作實時進行，由軟件通過智能化方式動態完成。這種技術適用于單鏡頭和雙鏡頭設備，但在雙鏡頭設備中，由于深度計算更加精確，因而性能和質量都得以改進。

ArcSoft PicSelfie - 該算法的雙鏡頭版本

這種技術是獨一無二的，因為該應用程序使用去年新推出的?Google Android 神經網絡 API (NNAPI)，運行 Android 8.1（API 級別 27）或更高版本的設備都能支持。這種技術將適用于搭載了使用 Arm NEON 加速技術的 Arm Cortex CPU 的所有設備。但是，通過上文提及的?Arm NN?和?Compute Library，應用程序能夠利用 Mali GPU 等其他硬件，提高性能和響應能力。

在只有單個攝像頭（無深度信息）的設備上，該算法使用傳統的分割算法，將拍攝主體與背景隔離開。它使用 Mali GPU，通過 Google Android NNAPI 加快分隔階段，該 API 已經可以充分利用 Arm NN 軟件。

下圖是單攝像頭設備的各個處理階段的概覽，其中的分隔算法由使用 Arm NN 的 GPU 執行：

ArcSoft PicSelfie - 算法的單鏡頭版本（框圖）

ArcSoft PicSelfie - 算法的雙鏡頭版本（框圖）

ArcSoft 的初始分析表明，當使用 GPU 來加快機器學習工作負載時，通常可將性能提升 30%，同時將能耗降低 20%。