Yolo系列模型的部署、精度對齊與int8量化加速

大家好，我是海濱。寫這篇文章的目的是為宣傳我在23年初到現(xiàn)在完成的一項(xiàng)工作---Yolo系列模型在TensorRT上的部署與量化加速，目前以通過視頻的形式在B站發(fā)布（不收費(fèi)，只圖一個一劍三連）。

麻雀雖小但五臟俱全，本項(xiàng)目系統(tǒng)介紹了YOLO系列模型在TensorRT上的量化方案，工程型較強(qiáng)，我們給出的工具可以實(shí)現(xiàn)不同量化方案在Yolo系列模型的量化部署，無論是工程實(shí)踐還是學(xué)術(shù)實(shí)驗(yàn)，相信都會對你帶來一定的幫助。

B站地址（求關(guān)注和三連）：https://www.bilibili.com/video/BV1Ds4y1k7yr/

Github開源地址（求star）：https://github.com/thb1314/mmyolo_tensorrt/

當(dāng)時(shí)想做這個的目的是是為了總結(jié)一下目標(biāo)檢測模型的量化加速到底會遇到什么坑，只是沒想到不量化坑都會很多。

比如即使是以FP32形式推理，由于TensorRT算子參數(shù)的一些限制和TRT和torch內(nèi)部實(shí)現(xiàn)的不同，導(dǎo)致torch推理結(jié)果會和TensorRT推理結(jié)果天然的不統(tǒng)一，至于為什么不統(tǒng)一這里賣個關(guān)子大家感興趣可以看下視頻。

下面說一下我們這個項(xiàng)目做了哪些事情

YOLO系列模型在tensorrt上的部署與精度對齊

該項(xiàng)目詳細(xì)介紹了Yolo系列模型在TensorRT上的FP32的精度部署，基于mmyolo框架導(dǎo)出各種yolo模型的onnx，在coco val數(shù)據(jù)集上對齊torch版本與TensorRT版本的精度。

在此過程中我們發(fā)現(xiàn)，由于TopK算子限制和NMS算子實(shí)現(xiàn)上的不同，我們無法完全對齊torch和yolo模型的精度，不過這種風(fēng)險(xiǎn)是可解釋且可控的。

詳解TensorRT量化的三種實(shí)現(xiàn)方式

TensorRT量化的三種實(shí)現(xiàn)方式包括trt7自帶量化、dynamic range api，trt8引入的QDQ算子。

Dynamic range api會在采用基于MQbench框架做PTQ時(shí)講解。

TensorRT引入的QDQ算子方式在針對Yolo模型的PTQ和QAT方式時(shí)都有詳細(xì)的闡述，當(dāng)然這個過程也沒有那么順利。

在基于PytorchQuantization導(dǎo)出的含有QDQ節(jié)點(diǎn)的onnx時(shí)，我們發(fā)現(xiàn)盡管量化版本的torch模型精度很高，但是在TensorRT部署時(shí)精度卻很低，TRT部署收精度損失很嚴(yán)重，通過可視化其他量化形式的engine和問題engine進(jìn)行對比，我們發(fā)現(xiàn)是一些層的int8量化會出問題，由此找出問題量化節(jié)點(diǎn)解決。

詳解MQbench量化工具包在TensorRT上的應(yīng)用

我們研究了基于MQbench框架的普通PTQ算法和包括Adaround高階PTQ算法，且啟發(fā)于Adaround高階PTQ算法。

我們將torch版本中的HistogramObserver引入到MQBench中，activation采用HistogramObserverweight采用MinMaxObserver，在PTQ過程中，weight的校準(zhǔn)前向傳播一次，activation的校準(zhǔn)需要多次因此我們將weight的PTQ過程和activation的PTQ過程分開進(jìn)行，加速PTQ量化。實(shí)踐證明，我們采用上述配置的分離PTQ量化在yolov8上可以取得基本不掉點(diǎn)的int8量化精度。

針對YoloV6這種難量化模型，分別采用部分量化和QAT來彌補(bǔ)量化精度損失

在部分量化階段，我們采用量化敏感層分析技術(shù)來判斷哪些層最需要恢復(fù)原始精度，給出各種metric的量化敏感層實(shí)現(xiàn)。

在QAT階段，不同于原始Yolov6論文中蒸餾+RepOPT的方式，我們直接采用上述部分量化后的模型做出初始模型進(jìn)行finetune，結(jié)果發(fā)現(xiàn)finetune后的模型依然取得不錯效果。

針對旋轉(zhuǎn)目標(biāo)檢測，我們同樣給出一種端到端方案，最后的輸出就是NMS后的結(jié)果。通過將TensorRT中的EfficientNMS Plugin和mmcv中旋轉(zhuǎn)框iou計(jì)算的cuda實(shí)現(xiàn)相結(jié)合，給出EfficientNMS for rotated box版本，經(jīng)過簡單驗(yàn)證我們的TRT版本與Torch版本模型輸出基本對齊。

以上就是我們這個項(xiàng)目做的事情，歡迎各位看官關(guān)注b站和一劍三連。同時(shí)，如果各位有更好的想法也歡迎給我們的git倉庫提PR。