9月17日，騰訊AI Lab機器學習中心宣布PocketFlow，并將在今年10-11月發(fā)布開源代碼。

據(jù)悉，這是一款面向移動端AI開發(fā)者的自動模型壓縮框架，通過集成多種深度學習模型壓縮算法與訓練算法，并創(chuàng)新性地引入騰訊自主研發(fā)的超參數(shù)優(yōu)化組件，實現(xiàn)了全程自動化托管式的深度學習模型壓縮與加速，極大地提升了模型壓縮技術(shù)的自動化程度。開發(fā)者無需介入具體的模型壓縮算法及其超參數(shù)取值的選取，僅需設定期望的性能指標，即可通過PocketFlow得到符合需求的壓縮模型，并將AI技術(shù)快速部署到移動端產(chǎn)品上，實現(xiàn)用戶數(shù)據(jù)的本地高效處理。

PocketFlow框架主要由模型壓縮/加速算法組件和超參數(shù)優(yōu)化組件兩部分構(gòu)成，在模型壓縮算法方面，該團隊提出一種基于判別力最大化準則的通道剪枝算法，在性能基本無損的前提下可以大幅度降低CNN網(wǎng)絡模型的計算復雜度。該算法在訓練過程中引入多個額外的損失項，以提升CNN網(wǎng)絡中各層的判別力，然后逐層地基于分類誤差與重構(gòu)誤差最小化的優(yōu)化目標進行通道剪枝，去除判別力相對較小的冗余通道，從而實現(xiàn)模型的無損壓縮。

在超參數(shù)優(yōu)化算法方面，該團隊研發(fā)出AutoML自動超參數(shù)優(yōu)化框架，集成了包括高斯過程（Gaussian Processes, GP）和樹形結(jié)構(gòu)Parzen估計器（Tree-structured Parzen Estimator, TPE）等在內(nèi)的多種超參數(shù)優(yōu)化算法，通過全程自動化托管解決了人工調(diào)參耗時耗力的問題，大幅度提升了算法人員的開發(fā)效率。

考慮到深度學習模型的訓練周期普遍較長，該團隊對基于TensorFlow的多機多卡訓練過程進行優(yōu)化，降低分布式優(yōu)化過程中的梯度通信耗時，研發(fā)了名為TF-Plus的分布式優(yōu)化框架，僅需十幾行的代碼修改即可將針對單個GPU的訓練代碼擴展為多機多卡版本，并取得接近線性的加速比。

此外，團隊還提出了一種誤差補償?shù)牧炕S機梯度下降算法，通過引入量化誤差的補償機制加快模型訓練的收斂速度，能夠在沒有性能損失的前提下實現(xiàn)一到兩個數(shù)量級的梯度壓縮，降低分布式優(yōu)化中的梯度通信量，從而加快訓練速度。

目前，該框架在多款手機APP中得到應用，為騰訊的多項移動端業(yè)務提供模型壓縮與加速技術(shù)支持。