谷歌近日為其Android上的TensorFlow框架開發了新的基于OpenCL的移動GPU推理引擎，與現有的OpenGL后端相比，新的推理引擎速度是前者的2倍。

OpenGL是一種渲染圖形API，其應用已近30年之久，目前常用的GPU推理引擎均是以OpenGL開發。雖然在?OpenGL?ES?3.1中新增了計算著色器Compute?Shader，但TensorFlow團隊表示，向后兼容的設計限制了GPU的運算能力。

而OpenCL從一開始就是為使用各種計算加速而設計的，因此更為適合移動GPU推理領域。這促使TensorFlow團隊對基于OpenCL的移動推理引擎進行了考察，并最終決定采用該引擎。TFLite開發團隊提到，與OpenGL相比，最佳化OpenCL后端要簡單許多，因為OpenCL提供良好的分析功能，利用概要分析API，開發團隊能夠精確地量測核心調度效能。

值得一提的是，這一推理引擎具有完整的效能分析功，也就是說優化器會選擇適合大小的神經網絡工作組以提高GPU的效率。且原生支持FP16，即使在比較老舊的GPU硬件上，如2012年的Adreno?305也可完美發揮出GPU的效能。
責任編輯:pj