9月17日，騰訊AI Lab機(jī)器學(xué)習(xí)中心宣布PocketFlow，并將在今年10-11月發(fā)布開源代碼。

據(jù)悉，這是一款面向移動(dòng)端AI開發(fā)者的自動(dòng)模型壓縮框架，通過集成多種深度學(xué)習(xí)模型壓縮算法與訓(xùn)練算法，并創(chuàng)新性地引入騰訊自主研發(fā)的超參數(shù)優(yōu)化組件，實(shí)現(xiàn)了全程自動(dòng)化托管式的深度學(xué)習(xí)模型壓縮與加速，極大地提升了模型壓縮技術(shù)的自動(dòng)化程度。開發(fā)者無需介入具體的模型壓縮算法及其超參數(shù)取值的選取，僅需設(shè)定期望的性能指標(biāo)，即可通過PocketFlow得到符合需求的壓縮模型，并將AI技術(shù)快速部署到移動(dòng)端產(chǎn)品上，實(shí)現(xiàn)用戶數(shù)據(jù)的本地高效處理。

PocketFlow框架主要由模型壓縮/加速算法組件和超參數(shù)優(yōu)化組件兩部分構(gòu)成，在模型壓縮算法方面，該團(tuán)隊(duì)提出一種基于判別力最大化準(zhǔn)則的通道剪枝算法，在性能基本無損的前提下可以大幅度降低CNN網(wǎng)絡(luò)模型的計(jì)算復(fù)雜度。該算法在訓(xùn)練過程中引入多個(gè)額外的損失項(xiàng)，以提升CNN網(wǎng)絡(luò)中各層的判別力，然后逐層地基于分類誤差與重構(gòu)誤差最小化的優(yōu)化目標(biāo)進(jìn)行通道剪枝，去除判別力相對(duì)較小的冗余通道，從而實(shí)現(xiàn)模型的無損壓縮。

在超參數(shù)優(yōu)化算法方面，該團(tuán)隊(duì)研發(fā)出AutoML自動(dòng)超參數(shù)優(yōu)化框架，集成了包括高斯過程（Gaussian Processes, GP）和樹形結(jié)構(gòu)Parzen估計(jì)器（Tree-structured Parzen Estimator, TPE）等在內(nèi)的多種超參數(shù)優(yōu)化算法，通過全程自動(dòng)化托管解決了人工調(diào)參耗時(shí)耗力的問題，大幅度提升了算法人員的開發(fā)效率。

考慮到深度學(xué)習(xí)模型的訓(xùn)練周期普遍較長(zhǎng)，該團(tuán)隊(duì)對(duì)基于TensorFlow的多機(jī)多卡訓(xùn)練過程進(jìn)行優(yōu)化，降低分布式優(yōu)化過程中的梯度通信耗時(shí)，研發(fā)了名為TF-Plus的分布式優(yōu)化框架，僅需十幾行的代碼修改即可將針對(duì)單個(gè)GPU的訓(xùn)練代碼擴(kuò)展為多機(jī)多卡版本，并取得接近線性的加速比。

此外，團(tuán)隊(duì)還提出了一種誤差補(bǔ)償?shù)牧炕S機(jī)梯度下降算法，通過引入量化誤差的補(bǔ)償機(jī)制加快模型訓(xùn)練的收斂速度，能夠在沒有性能損失的前提下實(shí)現(xiàn)一到兩個(gè)數(shù)量級(jí)的梯度壓縮，降低分布式優(yōu)化中的梯度通信量，從而加快訓(xùn)練速度。

目前，該框架在多款手機(jī)APP中得到應(yīng)用，為騰訊的多項(xiàng)移動(dòng)端業(yè)務(wù)提供模型壓縮與加速技術(shù)支持。