近些年深度學(xué)習(xí)持續(xù)發(fā)展，在視覺、自然語言處理、語音等各個技術(shù)方向都誕生了創(chuàng)新智能應(yīng)用，例如智能識別醫(yī)療圖像中的病灶，輔助醫(yī)生做病情診斷;智能判別生產(chǎn)線上有質(zhì)量問題的產(chǎn)品，減輕人工質(zhì)檢壓力;對政務(wù)、金融等流程中的證件票據(jù)進行信息識別，加速審批并實現(xiàn)流程電子化;識別用戶輸入的語句，與知識庫中相應(yīng)的問答進行匹配，實現(xiàn)智能客服問答等。隨著智能應(yīng)用的爆發(fā)式發(fā)展，如何構(gòu)建高精度的AI模型成為每個企業(yè)都在持續(xù)探索的命題。
構(gòu)建深度學(xué)習(xí)模型的過程中，當(dāng)遇到模型效果不能滿足要求，需要進一步定位問題和調(diào)優(yōu)效果，由于深度學(xué)習(xí)模型又是一個“黑盒”，開發(fā)者并不知道當(dāng)它做出一個錯誤預(yù)測的準(zhǔn)確原因，因此很難采取有針對性的效果優(yōu)化策略。這個時候就非常讓人頭疼了。
其實，碰到模型效果不佳時不用慌，雖然模型“黑盒”，但是通過一些技術(shù)積累和功能設(shè)計，可以從多個角度去了解它到底怎么“想”，為模型優(yōu)化特別是在數(shù)據(jù)上如何優(yōu)化提供思路和指導(dǎo)。
在企業(yè)AI開發(fā)中，快速對模型效果進行評估、定位模型問題，高效完成模型效果優(yōu)化是AI應(yīng)用落地中的重要環(huán)節(jié)。針對這一訴求，百度飛槳企業(yè)版EasyDL零門檻AI開發(fā)平臺在原有完善詳實的模型評估報告基礎(chǔ)上，進一步新增上線了混淆矩陣和CNN熱力圖功能，即使大家對深度學(xué)習(xí)了解不多，也可以快速依據(jù)可視化評估結(jié)果制定更為精準(zhǔn)的優(yōu)化方案。下面將為大家逐一介紹模型指標(biāo)、錯誤示例(BadCase)、混淆矩陣、CNN熱力圖等各個功能。
EasyDL模型評估提供多項指標(biāo)，多角度展現(xiàn)模型效果信息
EasyDL基于飛槳開源深度學(xué)習(xí)平臺，面向企業(yè)AI應(yīng)用開發(fā)者提供零門檻AI開發(fā)平臺，實現(xiàn)零算法基礎(chǔ)定制高精度AI模型。EasyDL提供一站式的智能標(biāo)注、模型訓(xùn)練、服務(wù)部署等全流程功能，內(nèi)置豐富的預(yù)訓(xùn)練模型，支持公有云、設(shè)備端、私有服務(wù)器、軟硬一體方案等靈活的部署方式。
目前，EasyDL通過百度智能云已經(jīng)服務(wù)超過80萬企業(yè)用戶，在工業(yè)制造、安全生產(chǎn)、零售快消、智能硬件、文化教育、政府政務(wù)、交通物流、互聯(lián)網(wǎng)等領(lǐng)域廣泛落地。
在EasyDL完成模型開發(fā)后可以獲得平臺提供的各項詳細(xì)的模型評估指標(biāo)，以圖像分類模型為例，除了整體的準(zhǔn)確率之外，還可以看精確率、召回率、F1-score、TOP5準(zhǔn)確率等。
除了模型整體的指標(biāo)之外，還可以看每一項類別的F1-score值，從而幫助開發(fā)者發(fā)現(xiàn)具體哪一類別的識別效果較差。針對這些較差的類別，開發(fā)者可以有針對性地去看那些被預(yù)測錯誤的樣本，也就是常說的BadCase。開發(fā)者可以檢查這些類別是否樣本量過少，需要補充數(shù)據(jù);是否有臟數(shù)據(jù)存在，影響了模型學(xué)習(xí)。
在物體檢測上也類似，整體指標(biāo)上可以觀測mAP、最佳閾值下檢測的精確率、召回率等。因為檢測模型會輸出很多的檢測框，而有相當(dāng)一部分檢測框的概率比較低，一般會設(shè)置一個閾值來過濾掉那些低概率的檢測框。通過設(shè)置不同的閾值，模型便會有不同的精確率、召回率和F1-score。在模型預(yù)測時，通常取F1-score最高的閾值當(dāng)做最佳閾值，這樣能夠較好地平衡精確率和召回率，盡量減少漏檢、錯檢等問題。
與分類任務(wù)類似，在物體檢測模型的評估中也可以查看各個類別的精度，來判斷哪些類別的檢測效果欠佳。找到這些問題比較大的類別之后，同樣也可以查看BadCase。檢測問題里的BadCase詳細(xì)區(qū)分了“誤識別”和“漏識別”這兩種情況，從而方便開發(fā)者看檢測出錯的各類情況。開發(fā)者可以檢查對應(yīng)類別的標(biāo)注框是否過少，是否有框標(biāo)注錯誤需要修正。
新增混淆矩陣與熱力圖兩大功能，高效展示模型效果問題
除了上面這些經(jīng)典常用的方法外，為了更有針對性地比較易混淆的類別，EasyDL近期重磅上線了混淆矩陣的功能。在混淆矩陣中，開發(fā)者可以方便地看到具體哪兩種類別之間容易產(chǎn)生混淆，例如，類別A較多地被識別成了類別B。根據(jù)這些信息，開發(fā)者可以發(fā)現(xiàn)是不是訓(xùn)練數(shù)據(jù)存在問題，例如相似類別的圖片有標(biāo)注錯誤;或是這些相似類別的圖片太少，導(dǎo)致模型沒有學(xué)習(xí)充分。開發(fā)者可以依據(jù)混淆矩陣提供的信息，對模型數(shù)據(jù)進行補充與調(diào)整。
看到這里，你會發(fā)現(xiàn)，EasyDL在評估模型效果時，通常是從數(shù)據(jù)的角度去發(fā)現(xiàn)現(xiàn)有模型的問題，通過優(yōu)化數(shù)據(jù)來優(yōu)化模型效果的。為什么會選擇這樣的策略呢?在深度學(xué)習(xí)領(lǐng)域有一句話很流行，“Garbage in , garbage out.”意思就是說如果開發(fā)者給了深度學(xué)習(xí)模型一堆標(biāo)注質(zhì)量差的“垃圾”數(shù)據(jù)，就會得到一個精度很低的“垃圾”模型，這句話時刻提醒開發(fā)者，數(shù)據(jù)質(zhì)量與模型效果直接相關(guān)。因此，從數(shù)據(jù)角度進行模型效果的問題定位、并配合相應(yīng)數(shù)據(jù)的調(diào)整，往往是最直接高效的。對于EasyDL的企業(yè)應(yīng)用級開發(fā)者而言，從數(shù)據(jù)角度解決問題，不要求用戶進行高深的算法研究，可以零代碼快速提升模型精度。
除了上面這些方法外，還有一些更專業(yè)的透視模型手段，被業(yè)界稱之為模型可解釋性方法。飛槳開源了業(yè)界主流的可解釋性方法在GitHub上，這里面既包括基于輸入特征的方法(如Intergrated Gradients, SmoothGrad, LIME等)，也包括基于中間特征的方法(如GradCAM，ScoreCAM等)。大家可以點擊鏈接查閱：https://github.com/PaddlePaddle/InterpretDL 。
在這些方法中，針對CNN網(wǎng)絡(luò)有一個觀察網(wǎng)絡(luò)中激活情況的技術(shù)，可以更深入地了解模型的行為。這也是EasyDL模型評估熱力圖功能的技術(shù)基礎(chǔ)。
以CAM算法為例，在CNN網(wǎng)絡(luò)的最后一個特征圖(Feature Map)上，哪些位置被激活是非常重要的信息，它直接影響后續(xù)網(wǎng)絡(luò)中分類器的判斷。但是這些特征圖除了長寬兩個維度外，還有一個通道的維度，開發(fā)者如何才能把不同通道的特征圖疊加到一起呢?CAM提供一種加權(quán)的方法，即根據(jù)最后一個全連接層中的權(quán)重來加權(quán)。如上圖示例，如果開發(fā)者想觀察“狗”這個類別的激活情況，那么就把全連接層中各個通道到狗這個類別的權(quán)重W1, W2, …, Wn找出來，然后用這些權(quán)重對各通道特征圖進行加權(quán)求和，就會得到一個兩維的激活狀態(tài)圖。從這個狀態(tài)圖中，開發(fā)者可以看到原圖里狗出現(xiàn)的位置被激活了，而其他區(qū)域(如人)則數(shù)值很小，沒有對預(yù)測起作用。通過這樣的“透視”，開發(fā)者可以更深入地了解模型內(nèi)部的運作情況，一定程度地理解模型為什么得到了某個預(yù)測結(jié)果。根據(jù)這些信息，開發(fā)者可以選擇通過補充、優(yōu)化數(shù)據(jù)來引導(dǎo)模型學(xué)習(xí)地更好，也可以選擇通過調(diào)整模型結(jié)構(gòu)來優(yōu)化模型的表現(xiàn)。
有些方法不僅適用于CNN的視覺模型，也適用于自然語言處理模型和傳統(tǒng)機器學(xué)習(xí)模型。EasyDL也會不斷集成相關(guān)能力。比如NLP的情感分類任務(wù)中，我們想知道為什么文本模型對一句話預(yù)測為正面或負(fù)面的評論。利用積分梯度(Integrated Gradients)的方法，在文本模型中把全零的嵌入向量作為基線，得到當(dāng)前嵌入向量的積分梯度。從而反應(yīng)不同輸入詞對預(yù)測結(jié)果的影響，可視化結(jié)果如下圖：
使用EasyDL進行模型開發(fā)，在模型的評估中不僅可以參考各項詳細(xì)指標(biāo)來進行模型效果判斷，還可以參考全新上線的混淆矩陣和熱力圖，以可視化、更精準(zhǔn)的方式來定位模型效果不佳的原因，從而采取有針對性的效果提升策略。
近期，為幫助開發(fā)者從數(shù)據(jù)處理、模型訓(xùn)練、服務(wù)部署這三步來迅速掌握模型定制開發(fā)技能，百度EasyDL攜手CSDN打造《AI開發(fā)精講：高精度視覺模型定制與部署實戰(zhàn)》系列課程，多位資深研發(fā)與產(chǎn)品經(jīng)理深入探討開發(fā)難點與解決方案，三節(jié)課重點全掌握!
點擊鏈接立即報名：https://edu.csdn.net/huiyiCourse/detail/1550
