百度PaddlePaddle
百度深度學(xué)習(xí)框架 PaddlePaddle 最近開源了用于視頻分類的 Attention Cluster 模型。由于擁有卓越的分類能力，它曾助力百度計(jì)算機(jī)視覺團(tuán)隊(duì)奪取了 ActivityNet Kinetis Challenge 2017 挑戰(zhàn)賽的冠軍。該模型通過帶 Shifting operation 的 Attention clusters，處理經(jīng)過 CNN 模型抽取特征的視頻的 RGB、光流、音頻等數(shù)據(jù)，實(shí)現(xiàn)視頻分類。
Attention Cluster 模型
視頻分類問題在視頻標(biāo)簽、監(jiān)控、自動(dòng)駕駛等領(lǐng)域有著廣泛的應(yīng)用，但它同時(shí)也是計(jì)算機(jī)視覺領(lǐng)域面臨的一項(xiàng)重要挑戰(zhàn)之一。
目前的視頻分類問題大多是基于 CNN 或者 RNN 網(wǎng)絡(luò)實(shí)現(xiàn)的。眾所周知，CNN 在圖像領(lǐng)域已經(jīng)發(fā)揮了重大作用。它具有很好的特征提取能力，通過卷積層和池化層，可以在圖像的不同區(qū)域提取特征。RNN 則在獲取時(shí)間相關(guān)的特征方面有很強(qiáng)的能力。
Attention Cluster 在設(shè)計(jì)上僅利用了 CNN 模型，而沒有使用 RNN，主要是基于視頻的以下幾個(gè)特點(diǎn)考慮：
圖 1 視頻幀的分析
首先，一段視頻的連續(xù)幀常常有一定的相似性。在圖 1(上)可以看到，除了擊球的動(dòng)作以外，不同幀幾乎是一樣的。因此，對(duì)于分類，可能從整體上關(guān)注這些相似的特征就足夠了，而沒有必要去特意觀察它們隨著時(shí)間的細(xì)節(jié)變化。
其次，視頻幀中的局部特征有時(shí)就足夠表達(dá)出視頻的類別。比如圖 1(中)，通過一些局部特征，如牙刷、水池，就能夠分辨出『刷牙』這個(gè)動(dòng)作。因此，對(duì)于分類問題，關(guān)鍵在于找到幀中的關(guān)鍵的局部特征，而非去找時(shí)間上的線索。
最后，在一些視頻的分類中，幀的時(shí)間順序?qū)τ诜诸惒灰欢ㄊ侵匾摹１热鐖D 1(下)，可以看到，雖然幀順序被打亂，依然能夠看出這屬于『撐桿跳』這個(gè)類別。
基于以上考慮，該模型沒有考慮時(shí)間相關(guān)的線索，而是使用了 Attention 機(jī)制。它有以下幾點(diǎn)好處：
1. Attention 的輸出本質(zhì)上是加權(quán)平均，這可以避免一些重復(fù)特征造成的冗余。
2. 對(duì)于一些局部的關(guān)鍵特征，Attention 能夠賦予其更高的權(quán)重。這樣就能夠通過這些關(guān)鍵的特征，提高分類能力。
3. Attention 的輸入是任意大小的無序集合。無序這點(diǎn)滿足我們上面的觀察，而任意大小的輸入又能夠提高模型的泛化能力。
當(dāng)然，一些視頻的局部特征還有一個(gè)特點(diǎn)，那就是它可能會(huì)由多個(gè)部分組成。比如圖 1(下)的『撐桿跳』，跳、跑和著陸同時(shí)對(duì)這個(gè)分類起到作用。因此，如果只用單一的 Attention 單元，只能獲取視頻的單一關(guān)鍵信息。而如果使用多個(gè) Attention 單元，就能夠提取更多的有用信息。于是，Attention Cluster 就應(yīng)運(yùn)而生了!在實(shí)現(xiàn)過程中，百度計(jì)算機(jī)視覺團(tuán)隊(duì)還發(fā)現(xiàn)，將不同的 Attention 單元進(jìn)行一次簡單有效的『位移操作』(shifting operation)，可以增加不同單元的多樣性，從而提高準(zhǔn)確率。
接下來我們看一下整個(gè) Attention Cluster 的結(jié)構(gòu)。
圖 2 Attention Cluster 的模型結(jié)構(gòu)
整個(gè)模型可以分為三個(gè)部分：
1. 局部特征提取。通過 CNN 模型抽取視頻的特征。提取后的特征用 X 表示，如公式(1)所示：
(1)。X 的維度為 L，代表 L 個(gè)不同的特征。
2. 局部特征集成。基于 Attention 來獲取全局特征。Attention 的輸出本質(zhì)上相當(dāng)于做了加權(quán)平均。如公式(2)所示，v 是一個(gè) Attention 單元輸出的全局特征，a 是權(quán)重向量，由兩層全連接層組成，如公式(3)所示。實(shí)際實(shí)現(xiàn)中，v 的產(chǎn)生使用了 Shifting operation，如公式(4)所示，其中α和β是可學(xué)習(xí)的標(biāo)量。它通過對(duì)每一個(gè) Attention 單元的輸出添加一個(gè)獨(dú)立可學(xué)習(xí)的線性變換處理后進(jìn)行 L2-normalization，使得各 Attention 單元傾向于學(xué)習(xí)特征的不同成分，從而讓 Attention Cluster 能更好地學(xué)習(xí)不同分布的數(shù)據(jù)，提高整個(gè)網(wǎng)絡(luò)的學(xué)習(xí)表征能力。由于采用了 Attention clusters，這里會(huì)將各個(gè) Attention 單元的輸出組合起來，得到多個(gè)全局特征 g，如公式(5)所示。N 代表的是 clusters 的數(shù)量。
3. 全局特征分類。將多個(gè)全局特征拼接以后，再通過常規(guī)的全連接層和 Softmax 或 Sigmoid 進(jìn)行最后的單標(biāo)簽或多標(biāo)簽分類。
用 PaddlePaddle 訓(xùn)練 Attention Cluster
PaddlePaddle 開源的 Attention Cluster 模型，使用了 2nd-Youtube-8M 數(shù)據(jù)集。該數(shù)據(jù)集已經(jīng)使用了在 ImageNet 訓(xùn)練集上 InceptionV3 模型對(duì)特征進(jìn)行了抽取。
如果運(yùn)行該模型的樣例代碼，要求使用 PaddlePaddle Fluid V1.2.0 或以上的版本。
數(shù)據(jù)準(zhǔn)備：首先請(qǐng)使用 Youtube-8M 官方提供的鏈接下載訓(xùn)練集和測試集，或者使用官方腳本下載。數(shù)據(jù)下載完成后，將會(huì)得到 3844 個(gè)訓(xùn)練數(shù)據(jù)文件和 3844 個(gè)驗(yàn)證數(shù)據(jù)文件(TFRecord 格式)。為了適用于 PaddlePaddle 訓(xùn)練，需要將下載好的 TFRecord 文件格式轉(zhuǎn)成了 pickle 格式，轉(zhuǎn)換腳本請(qǐng)使用 PaddlePaddle 提供的腳本 dataset/youtube8m/tf2pkl.py。
訓(xùn)練集：http://us.data.yt8m.org/2/frame/train/index.html
測試集：http://us.data.yt8m.org/2/frame/validate/index.html
官方腳本：https://research.google.com/youtube8m/download.html
模型訓(xùn)練：數(shù)據(jù)準(zhǔn)備完畢后，通過以下方式啟動(dòng)訓(xùn)練(方法 1)，同時(shí)我們也提供快速啟動(dòng)腳本 (方法 2)
# 方法 1
# 方法 2
用戶也可下載 Paddle Github 上已發(fā)布模型通過--resume 指定權(quán)重存放路徑進(jìn)行 finetune 等開發(fā)。
數(shù)據(jù)預(yù)處理說明： 模型讀取 Youtube-8M 數(shù)據(jù)集中已抽取好的 rgb 和 audio 數(shù)據(jù)，對(duì)于每個(gè)視頻的數(shù)據(jù)，均勻采樣 100 幀，該值由配置文件中的 seg_num 參數(shù)指定。
模型設(shè)置： 模型主要可配置參數(shù)為 cluster_nums 和 seg_num 參數(shù)。其中 cluster_nums 是 attention 單元的數(shù)量。當(dāng)配置 cluster_nums 為 32, seg_num 為 100 時(shí)，在 Nvidia Tesla P40 上單卡可跑 batch_size=256。
訓(xùn)練策略：
采用 Adam 優(yōu)化器，初始 learning_rate=0.001
訓(xùn)練過程中不使用權(quán)重衰減
參數(shù)主要使用 MSRA 初始化
模型評(píng)估：可通過以下方式(方法 1)進(jìn)行模型評(píng)估，同樣我們也提供了快速啟動(dòng)的腳本(方法 2):
# 方法 1
# 方法 2
使用 scripts/test/test_attention_cluster.sh 進(jìn)行評(píng)估時(shí)，需要修改腳本中的--weights 參數(shù)指定需要評(píng)估的權(quán)重。
若未指定--weights 參數(shù)，腳本會(huì)下載已發(fā)布模型進(jìn)行評(píng)估
模型推斷：可通過如下命令進(jìn)行模型推斷：
模型推斷結(jié)果存儲(chǔ)于 AttentionCluster_infer_result 中，通過 pickle 格式存儲(chǔ)。
若未指定--weights 參數(shù)，腳本會(huì)下載已發(fā)布模型 model 進(jìn)行推斷
模型精度：當(dāng)模型取如下參數(shù)時(shí)，在 Youtube-8M 數(shù)據(jù)集上的指標(biāo)為：
參數(shù)取值：
評(píng)估精度：
傳送門：
PaddlePaddle Github: https://github.com/PaddlePaddle
Attention Cluster in PaddlePaddle Github：https://github.com/PaddlePaddle/models/tree/develop/fluid/PaddleCV/video/models/attention_cluster
Reference：Xiang Long, Chuang Gan, Gerard de Melo, Jiajun Wu, Xiao Liu, Shilei Wen, Attention Clusters: Purely Attention Based Local Feature Integration for Video Classification
https://arxiv.org/abs/1711.09550
