工業(yè)視覺、自動駕駛、安防、新零售等我們身邊熟知的各行各業(yè)都需要目標檢測技術，由于其很好的平衡了標注成本、檢測精度和速度等，成為當前智能制造產(chǎn)業(yè)升級浪潮中被商業(yè)化應用最為廣泛的AI技術之一。
而實際生產(chǎn)環(huán)境對檢測算法的精度、速度、體積等要求往往十分苛刻。例如工業(yè)質檢，生產(chǎn)線上往往需要毫秒級別的圖片檢測速度，而為了確保使用廠商收益最大化，還需要盡量平衡硬件成本和性能。因此，如何在保持高檢測精度的前提下，盡量提高檢測速度、減小模型體積，成為這項技術真正深入工業(yè)實際應用的關鍵。
而目標檢測的王牌家族——YOLO系列模型，作為單階段目標檢測算法的代表之一，一經(jīng)出世，便以快速精準的檢測效果而迅速躥紅。其不僅在速度上做到真正實時，精度上也可以達到很多非實時兩階段模型才有的水平。
(來自論文《YOLOv3: An Incremental Improvement》)
而學術界和開源社區(qū)中的YOLO擁躉、大神們，并未止步于此， YOLOv4、“YOLO v5”也在今年被相繼推出，它們大量整合了計算機視覺的state-of-the-art技巧，例如在數(shù)據(jù)增強、錨定框、骨架網(wǎng)絡、訓練方式等維度進行優(yōu)化，從而達到大幅提升YOLO目標檢測性能的效果。
飛槳目標檢測套件PaddleDetection研發(fā)團隊為了讓YOLOv3模型在工業(yè)實際應用場景擁有更優(yōu)異的精度與推理速度，以盡量不增加模型計算量和推理開銷為前提，探索出了一整套更深度的算法優(yōu)化秘籍，將原先YOLOv3模型的精度，在COCO test-dev2017數(shù)據(jù)集中，從33.0%提升了12.9個絕對百分點，達到45.9%，處于業(yè)界領先行列!而在該精度下，其推理速度在V100上達到了72.9 FPS。也就是說，它在精度和預測速度都超越原生的YOLOv4，并且體積更小，實打實的成為工業(yè)應用場景最實用目標檢測模型。而這次華麗變身后的YOLOv3，也被正式命名為——PP-YOLO!
如下表所示，在不同輸入尺度下PP-YOLO模型與YOLOv4模型在COCO數(shù)據(jù)集精度和V100推理速度的交手結果。
(表中數(shù)據(jù)均為在單卡Tesla V100上batch size=1測試結果，TRT-FP16為使用TensorRT且在FP16上的測試結果，TensorRT版本為5.1.2.2)
而PP-YOLO所應用的的這套優(yōu)化策略，也可以被嘗試應用到該系列的其它模型上，產(chǎn)業(yè)開發(fā)者或者科研人員可借鑒這套優(yōu)化算法展開進一步的探索。而這整套PP-YOLO的優(yōu)化秘籍也被飛槳同學總結梳理成了論文，感興趣的開發(fā)者可以參見飛槳公眾號。
飛槳團隊也在AI Studio為大家創(chuàng)建了 PP-YOLO實戰(zhàn)項目，以供開發(fā)者快速體驗模型效果。
PP -YOLO的高精度和高推理速度對多快速運動目標檢測的視頻也可以達到很好的效果。
那PP-YOLO到底采用了哪些優(yōu)化策略呢?下面咱們帶領大家一起來深入剖析一下飛槳團隊算法優(yōu)化的 “內(nèi)功心法”。
1. 基于YOLOv3-DarkNet53的初步優(yōu)化
原始的YOLOv3模型在COCO minival數(shù)據(jù)集上精度為33.0%，PaddleDetection首先加入了Bag of Freebies for Training Object Detection Neural Networks論文中提及的優(yōu)化策略，在不引入額外計算量的情況下，精度提升了3.9個百分點，達到38.9%。具體策略如下：
Image Mixup(圖像混合)：以隨機權重將兩張圖片混合起來，提高網(wǎng)絡在空間上的抗干擾能力。以下圖為例，將任意兩張圖片加權疊加作為輸入，訓練過程中使用的損失為兩張圖片的損失乘以各自權重的加和。
(來自論文《Bag of Freebies for Training Object Detection Neural Networks》)
Label Smooth(標簽平滑)：通過在真實的分類標簽one-hot編碼中真實類別的1上減去一個小量，非真實標簽的0上加上一個小量，將硬標簽變成一個軟的標簽，起到正則化的作用，防止過擬合，提升模型泛化能力。
Synchronize Batch Normalization(同步批歸一化)：多卡訓練時，一般實現(xiàn)的批歸一化只統(tǒng)計單卡上均值和方差，而檢測任務中，受顯存的限制，batch size比較小，多卡同步，會使得均值和方差統(tǒng)計的更加準確。
2. 更優(yōu)的骨干網(wǎng)絡: ResNet50vd-DCN
骨干網(wǎng)絡可以說是一個模型的基礎，一個優(yōu)秀的骨干網(wǎng)絡會給模型的性能帶來極大的提升。針對YOLOv3，飛槳研發(fā)人員使用更加優(yōu)異的ResNet50vd-DCN 作為模型的骨干網(wǎng)絡。它可以被分為ResNet50vd和DCN兩部分來看。
ResNet50vd是指擁有50個卷積層的ResNet-D網(wǎng)絡。ResNet系列模型是在2015年提出后，在學術界和工業(yè)屆得到了廣泛的應用，其模型結構也在被業(yè)界開發(fā)者持續(xù)改進，在經(jīng)過了B、C、D三個版本的改進后，最新的ResNet-D結構能在基本不增加計算量的情況下先住提高模型精度。經(jīng)飛槳團隊的多重實驗發(fā)現(xiàn)，使用ResNet50vd結構作為骨干網(wǎng)絡，相比于原始的ResNet，可以提高1%-2%的目標檢測精度，且推理速度基本保持不變。
而DCN(Deformable Convolution)可變形卷積的特點在于：其卷積核在每一個元素上額外增加了一個可學習的偏移參數(shù)。這樣的卷積核在學習過程中可以調整卷積的感受野，從而能夠更好的提取圖像特征，以達到提升目標檢測精度的目的。但它會在一定程度上引入額外的計算開銷。經(jīng)過多翻嘗試，PaddleDetection團隊發(fā)現(xiàn)只在ResNet的最后一個stage(C5)增加可變形卷積，是實現(xiàn)引入極少計算量并提升模型精度的最佳策略。
在使用ResNet50vd-DCN作為骨干網(wǎng)絡后，YOLOv3模型的檢測精度從原先的38.9% 達到39.1%，而推理速度得到了36%的大幅提高(58.2FPS -> 79.2FPS)。
3. 更穩(wěn)定的訓練方式：EMA、DropBlock和更大的batch size
為了使PP-YOLO的訓練過程有更好的收斂效果，飛槳團隊通過API paddle.optimizer.ExponentialMovingAverage調用了EMA(Exponential Moving Average)滑動平均功能?；瑒悠骄侵笇?shù)過去一段時間的均值作為新的參數(shù)。相比直接對參數(shù)進行更新，采用滑動平均的方式能讓參數(shù)學習過程中變得更加平緩，能有效避免異常值對參數(shù)更新的影響，提升模型訓練的收斂效果。
PP-YOLO的優(yōu)化過程中使用了DropBlock算法來減少過擬合。如下圖所示，相比于Dropout算法，DropBlock算法在Drop特征的時候不是以特征點的形式來Drop的，而是會集中Drop掉某一塊區(qū)域，從而更適合被應用到目標檢測任務中來提高網(wǎng)絡的泛化能力。
(來自論文《DropBlock: A regularization method for convolutional networks》)
通過訓練過程中的指數(shù)滑動平均和DropBlock策略，結合適當增大訓練的batch size(將單卡的batch size調整到24，8卡總batch size為192，使訓練更加穩(wěn)定，獲取更優(yōu)的結果)，YOLOv3此時在COCO minival數(shù)據(jù)集精度提升了2.5%(39.1%->41.4%)。
4. IoU學習
對于目標檢測任務，IoU是我們常用的評估指標，即預測框與真實框的IoU越大，檢測效果越好?；?ldquo;所見即所得”的思想，PP-YOLO使用了業(yè)界提出的一種新的Loss——IoU Loss，即在訓練過程中使用模型產(chǎn)生的預測框和真實框求IoU，對其取反并加入到損失計算中，這樣相當于在優(yōu)化損失的時候就是在提升IoU。注：在PP-YOLO中，飛槳采用了最基礎的IoU損失計算方法，即IoU Loss = 1 - IoU * IoU 。
另一方面，我們知道YOLOv3模型里的預測框評分score = objectness score * classification score，即該預測框處存在目標的概率和對應目標類別的概率的乘積，而此種評分方式并沒有考慮預測框的定位精度。而目標檢測模型都需要對最后的預測框進行非極大值抑制(NMS)，即按照預測框評分進行排序，然后刪除得分低的框。因此很容易出現(xiàn)如下圖的情況，即IoU低的預測框因為評分高而在NMS過程中將IoU高的預測框擠掉了。
而使用IoU Aware可以很好的避免這種情況，即在訓練過程中增加一個通道來學習預測框和真實框之間的IoU，在推理過程中，將這個通道學習的IoU預測值也作為評分的因子之一，這樣就能一定程度上避免高IoU預測框被擠掉的情況，從而提升模型的精度。同時，由于只是輸出層的每個anchor上增加了一個通道，對于推理計算量的增加也基本可以忽略不計。
(來自論文《IoU-aware Single-stage Object Detector for Accurate Localization》)
通過使用上述優(yōu)化方法，模型精度又提升了1.1%(41.4%->42.5%)，而對推理速度的影響比較小(79.2FPS -> 74.9FPS)。
5. Grid Sensitive
YOLOv3的檢測原理是將圖片劃分成多個網(wǎng)格，真實框的中心點落在哪個網(wǎng)格上就由哪個網(wǎng)格負責檢測這個真實框，而推理輸出特征圖中包含預測框中心坐標的logits值，這個值經(jīng)Sigmoid激活后，即表示預測框中心坐標在網(wǎng)格中的相對位置。如下圖所示，預測框的Px和Py經(jīng)Sigmoid激活后，即表示預測框中心坐標相對真實框中心坐標gx和gy的偏移。那么如果這個真實框的中心點剛好落在網(wǎng)格邊緣，則訓練過程中趨向于把輸出logit值向正負無窮去學習，容易導致過擬合。
Grid Sensitive是YOLOv4模型引入的一種優(yōu)化方法，即在計算預測框中心點在網(wǎng)格內(nèi)的坐標時，對輸出logit取sigmoid激活后，再加上一個縮放和偏移，可以保證預測框中心點能夠有效的擬合真實框剛好落在網(wǎng)格邊線上的情況。
通過加入Grid Sensitive，此輪精度又提升了0.3%(42.5%->42.8%)，推理過程中只需要對預測框解碼時在中心點坐標上乘上縮放，再加上偏移即可，因此推理速度幾乎沒有影響(74.9FPS -> 74.8FPS)。
6. 后處理優(yōu)化: Matrix NMS
在推理過程中，NMS還會刪除與得分高的框的重合度大于一定閾值的其它預測框，這樣對于存在兩個同類別物體重疊的的圖像檢測任務來說，就會出現(xiàn)一個物體的預測框把另一個物體的預測框抑制掉的情況，導致漏檢。
因此又引入了Soft NMS這個概念，其解決思路并不是粗暴的將與得分高的預測框重合度大于閾值的框直接濾除，而是降低這個預測框的評分，對預測框評分的懲罰系數(shù)與這兩個框的重合度，也就是IoU正相關，采用這種軟化的濾除方式就能有效的避免重疊的同類物體預測框互相沖突的情況，提高檢測的精度。
但引入Soft NMS會使推理速度變慢。因此此輪模型優(yōu)化采用了更優(yōu)的Matrix NMS：一種并行化進行Soft NMS的實現(xiàn)思路。Matrix NMS通過一個矩陣并行運算的方式計算出任意兩個框之間的IoU，例如對某一個預測框B計算抑制系數(shù)時，Matrix NMS通過矩陣并行方式計算出所有得分高于B的預測框與預測框B的IoU，然后根據(jù)這些IOU和得分高于B的預測框的被抑制概率做近似估算，估算出B的抑制系數(shù)，從而實現(xiàn)并行化的計算Soft NMS，在提高檢測精度的同時，避免了推理速度的降低。
使用Matrix NMS后，模型在推理速度幾乎不變的情況下提升0.7%的精度(42.8% -> 43.5%)。
8. 特征提取優(yōu)化: CoordConv, 空間金字塔池化
另外PP-YOLO還引入了兩種幾乎不增加計算量但是能優(yōu)化特征提取的方法。我們知道深度學習里的卷積運算是具有平移等變性的，這樣可以在圖像的不同位置共享統(tǒng)一的卷積核參數(shù)，但是這樣卷積學習過程中是不能感知當前特征在圖像中的坐標的。CoordConv就是通過在卷積的輸入特征圖中新增對應的通道來表征特征圖像素點的坐標，讓卷積學習過程中能夠一定程度感知坐標來提升檢測精度。
(來自論文《An Intriguing Failing of Convolutional Neural Networks and the CoordConv Solution》)
空間金字塔池化是SPPNet提出的，如下圖所示通過多個不同尺度的池化窗口提取不同尺度的池化特征，把特征組合在一起作為輸出特征，在骨干網(wǎng)絡提取特征后加入空間金字塔池化，能有效的增加特征的感受野，是一種廣泛應用的特征提取優(yōu)化方法。
使用CoordConv和SPP兩種特征提取優(yōu)化方法后，精度進一步提升了0.8%(43.5%->44.3%)， 這兩種方式新增的推理計算量并不大，所以推理速度僅有少量下降(74.1FPS -> 72.9FPS)。
9. 更優(yōu)的預訓練模型: SSLD
通過上述優(yōu)化方法，PP-YOLO模型在COCO minival數(shù)據(jù)集上的精度優(yōu)化到了44.3%，V100上預測速度為72.9FPS。另外飛槳推出的圖像分類端到端套件PaddleClas還提供了ResNet50vd的SSLD知識蒸餾模型及權重，使ResNet50vd模型在ImageNet上的Top-1分類精度從79.1%優(yōu)化到82.4%，感興趣的同學可以通過下面的地址了解PaddleClas SSLD蒸餾方案。PP-YOLO模型在使用了SSLD知識蒸餾之后更優(yōu)的預訓練權重進行訓練后，COCO minival數(shù)據(jù)集的精度又提升了0.5%(44.3%->44.8%)。
經(jīng)過上述優(yōu)化方法，飛槳的研發(fā)人員又將訓練迭代次數(shù)和學習率衰減的迭代次數(shù)調整至和原始YOLOv3模型的迭代次數(shù)一致，也就是訓練迭代次數(shù)從25萬次增加到50萬次，對應學習率衰減的迭代次數(shù)調整至40萬和45萬，使PP-YOLO模型(如表中的K模型所示)在COCO minival數(shù)據(jù)集精度再次提升0.5% ，達到45.3%，單卡V100上batch size=1時的預測速度為72.9 FPS。如果使用COCO test_dev2017數(shù)據(jù)集測試，精度將達到45.9%。
后續(xù)工作
考慮到現(xiàn)在工業(yè)、互聯(lián)網(wǎng)等各行各業(yè)需要使用輕量化的模型在移動端、邊緣端部署目標檢測模型，PaddleDetection團隊正在進一步優(yōu)化適用于輕量化部署的PP-YOLO，很快也將以開源項目、詳細的使用文檔及快速體驗Demo的組合形式為大家呈現(xiàn)。
課程預告
百度飛槳為了幫助大家能快速、深入、全面的了解目標檢測技術，將于九月中旬特地開設“目標檢測7日打卡營”。資深研發(fā)工程師傾囊相授多年“煉丹”經(jīng)驗，配套真實工業(yè)落地場景案例，最先進的調優(yōu)方式、訓練技巧、優(yōu)化技巧和工業(yè)部署方案，7天帶您一網(wǎng)打盡，千萬不要錯過!
