阿里巴巴淘系技術(shù)部與北京大學(xué)前沿計(jì)算研究中心CVDA實(shí)驗(yàn)室、英國(guó)愛丁堡大學(xué)等合作，正式開源業(yè)界首個(gè)大規(guī)模的多模態(tài)直播服飾檢索數(shù)據(jù)集(Watch and Buy)以推動(dòng)視頻多模態(tài)檢索技術(shù)的研究。
此前，依托該數(shù)據(jù)集舉辦的第一屆淘寶直播商品識(shí)別大賽完美落幕，近2000支隊(duì)伍參加了比賽，涌現(xiàn)了一批檢索創(chuàng)新技術(shù)，有效提升淘寶直播場(chǎng)景中服飾檢索的效果，形成了一定的學(xué)術(shù)和工業(yè)影響力。
什么是Watch and Buy?
直播帶貨是淘寶連接商品和消費(fèi)者的重要方式，通過對(duì)直播視頻中商品進(jìn)行實(shí)時(shí)識(shí)別和推薦，可實(shí)現(xiàn)消費(fèi)者邊看邊買的消費(fèi)體驗(yàn)，有效提高商品購(gòu)買的轉(zhuǎn)化，有非常大的經(jīng)濟(jì)價(jià)值。通常情況下直播對(duì)應(yīng)的數(shù)百款商品之間相似程度高，且直播畫面中存在大量的背景干擾、燈光變化、商品遮擋和形變等，給直播畫面中商品的匹配識(shí)別帶來很大的技術(shù)挑戰(zhàn)。
淘寶直播“邊看邊買”效果示例，借助PixelAI 商品識(shí)別算法，可以從該直播的商品庫(kù)中識(shí)別出直播中主播講解的商品，并在直播中通過商品卡片形式推薦給消費(fèi)者。
為了提升直播中商品匹配識(shí)別的效果，我們依托淘寶直播海量數(shù)據(jù)，構(gòu)建了業(yè)界最大規(guī)模的多模態(tài)視頻商品檢索數(shù)據(jù)集Watch and Buy (WAB)。該數(shù)據(jù)集包含70,000個(gè)由直播視頻片段和對(duì)應(yīng)講解商品構(gòu)成的匹配對(duì)，具有規(guī)模大、標(biāo)注全、模態(tài)多、功能廣的特點(diǎn)。我們抽取視頻片段若干關(guān)鍵幀和商品的全部商品圖進(jìn)行了實(shí)例框級(jí)標(biāo)注，商品id數(shù)達(dá)82,173個(gè)，標(biāo)注圖像數(shù)達(dá)1,042,178張，檢測(cè)框?qū)嵗?,654,780個(gè)?？蚣?jí)標(biāo)注信息豐富多樣，包括商品的檢測(cè)框、類別、視角、展示方式、同款編號(hào)等。除了視覺標(biāo)注，我們還對(duì)主播講解語(yǔ)音進(jìn)行了人工文本轉(zhuǎn)錄，同時(shí)提供了商品的標(biāo)題文本信息。該數(shù)據(jù)集可用于物體檢測(cè)的算法、商品重識(shí)別算法、主播意圖識(shí)別、跨模態(tài)檢索和多模態(tài)檢索等多種算法的研究。
為什么需要Watch and Buy?
當(dāng)前開源的服飾檢索數(shù)據(jù)集都存在一些不足，無法滿足真實(shí)視頻場(chǎng)景中服飾實(shí)時(shí)識(shí)別的應(yīng)用和細(xì)致研究。
首先，已有開源數(shù)據(jù)集均為靜態(tài)圖片的數(shù)據(jù)集，而真實(shí)視頻直播場(chǎng)景中還存著運(yùn)動(dòng)模糊、遮擋等問題;通過針對(duì)視頻場(chǎng)景的數(shù)據(jù)集能夠有效對(duì)上述問題進(jìn)行研究和解決。
其次，已有開源數(shù)據(jù)集的圖片多為網(wǎng)上收集，數(shù)目少、噪聲大且標(biāo)注維度不全，我們依托淘寶網(wǎng)和淘寶直播的真實(shí)業(yè)務(wù)場(chǎng)景，能夠獲取大規(guī)模、高質(zhì)量和全面的商品信息。
最后，現(xiàn)有數(shù)據(jù)集多為單一的圖片數(shù)據(jù)集，我們還提供了主播語(yǔ)音翻譯文本、商品圖標(biāo)題文本等多模態(tài)的信息，進(jìn)行多模態(tài)商品檢索的研究，能夠更加貼近真實(shí)場(chǎng)景。
我們相信Watch and Buy 數(shù)據(jù)集的這些特性將會(huì)持續(xù)激發(fā)視頻多模態(tài)檢索領(lǐng)域的技術(shù)創(chuàng)新研究。
淘寶直播商品識(shí)別大賽簡(jiǎn)介：
為了方便學(xué)術(shù)界廣泛參與，我們將業(yè)務(wù)問題抽象為視頻庫(kù)和商品庫(kù)之間的多模態(tài)視覺檢索問題。在評(píng)價(jià)指標(biāo)上，提出了片段級(jí)、幀級(jí)和檢測(cè)框級(jí)評(píng)價(jià)標(biāo)準(zhǔn)，全面衡量選手算法效果。
為了保證選手算法既能快速迭代又能有效賦能線上真實(shí)業(yè)務(wù)，我們?cè)诔踬?、?fù)賽和決賽的賽題中逐步引導(dǎo)選手從技術(shù)貼近業(yè)務(wù)，其中，初賽為萬級(jí)視頻片段的檢索問題，復(fù)賽則加入了真實(shí)場(chǎng)景中存在的商品缺失問題，決賽則是將選手方案部署到真實(shí)線上場(chǎng)景，直接評(píng)價(jià)完整直播視頻的算法效果。
大賽由淘系技術(shù)部?jī)?nèi)容社交互動(dòng)平臺(tái)和天池競(jìng)賽平臺(tái)共同舉辦, 發(fā)布了業(yè)界最豐富的7W規(guī)模多模態(tài)視頻檢索數(shù)據(jù)集，用于進(jìn)行算法模型的訓(xùn)練和效果評(píng)測(cè)，并且提供了24W的比賽獎(jiǎng)金獎(jiǎng)勵(lì)優(yōu)秀參賽者，考慮到疫情期間高校參賽者的資源困難，額外提供了GPU機(jī)器進(jìn)行模型在線訓(xùn)練，最終吸引到1945支隊(duì)伍參賽。選手來源中，30%的隊(duì)伍來自高校，26%來自公司，個(gè)人參賽有6%。選手學(xué)歷分布為，40%的選手擁有碩士學(xué)歷，24%的選手為本科，博士選手占6%。最終，來自中科院計(jì)算所和吉林大學(xué)的逐星團(tuán)隊(duì)以超越Baseline方案20%的成績(jī)奪得本次比賽的冠軍，另外多位來自高校的參賽同學(xué)表示已經(jīng)在數(shù)據(jù)集上進(jìn)行算法研究，并保持于主辦方密切聯(lián)系。淘系技術(shù)的算法同學(xué)對(duì)優(yōu)秀方案吸納并補(bǔ)充到淘寶直播線上場(chǎng)景中，實(shí)現(xiàn)更好服務(wù)于淘寶直播商品識(shí)別業(yè)務(wù)。
附錄：
淘寶直播商品識(shí)別大賽鏈接：https://tianchi.aliyun.com/competition/entrance/231772/introduction
Watch and Buy數(shù)據(jù)集開源鏈接：https://tianchi.aliyun.com/dataset/dataDetail?dataId=75730
我們是阿里巴巴淘系技術(shù)，淘系技術(shù)旗下包含淘寶技術(shù)、天貓技術(shù)、閑魚技術(shù)、躺平等團(tuán)隊(duì)和業(yè)務(wù)。我們服務(wù)9億用戶，賦能各行業(yè)1000萬商家，并成功主導(dǎo)了11次阿里巴巴經(jīng)濟(jì)體雙十一技術(shù)大考，打造了全球領(lǐng)先的線上新零售技術(shù)平臺(tái)。
我們的愿景是致力于成為全球最懂商業(yè)的技術(shù)創(chuàng)新團(tuán)隊(duì)，讓科技引領(lǐng)面向未來的商業(yè)創(chuàng)新和進(jìn)步。
更多技術(shù)干貨可關(guān)注【淘系技術(shù)】公眾號(hào)。
