2013年11月，百度亮相全球軟件開(kāi)發(fā)大會(huì)QCon上海2013。在會(huì)上，百度 IDL首席科學(xué)家張潼發(fā)表了大數(shù)據(jù)及深度機(jī)器學(xué)習(xí)的演講，展示了百度IDL(深度學(xué)習(xí)研究院)取得的成績(jī)，引起了全球軟件開(kāi)發(fā)人員的濃厚興趣。
百度 IDL首席科學(xué)家張潼亮相 揭示深度學(xué)習(xí)四大成功條件
作為機(jī)器學(xué)習(xí)領(lǐng)域的知名學(xué)者，百度 IDL首席科學(xué)家張潼的亮相引起了專業(yè)觀眾的關(guān)注。張潼1999年獲得美國(guó)斯坦福大學(xué)計(jì)算機(jī)系博士學(xué)位，曾任職于美國(guó)IBM研究院及雅虎研究院，在機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、自然語(yǔ)言處理、優(yōu)化算法，及統(tǒng)計(jì)學(xué)等領(lǐng)域發(fā)表多篇論文，曾擔(dān)任國(guó)際上主要機(jī)器學(xué)習(xí)機(jī)構(gòu)NIPS、ICML的Area Chair和COLT主席。
會(huì)上，張潼回顧了大數(shù)據(jù)處理技術(shù)的發(fā)展和變革，指出大數(shù)據(jù)分析的主要工具，機(jī)器學(xué)習(xí)的方法也在不斷創(chuàng)新，如深度學(xué)習(xí)技術(shù)，就在近些年取得了許多令人振奮的成果并在多個(gè)國(guó)際大型項(xiàng)目中運(yùn)用，如2012年6月谷歌大腦項(xiàng)目、2012年11月微軟智能同聲傳譯項(xiàng)目、2013年9月facebook用戶數(shù)據(jù)和社交關(guān)系挖掘項(xiàng)目。
張潼認(rèn)為，近年來(lái)深度學(xué)習(xí)的成功條件可以歸納為“大數(shù)據(jù)+大規(guī)模計(jì)算能力+復(fù)雜模型+高效算法”，近年來(lái)，深度學(xué)習(xí)的訓(xùn)練數(shù)據(jù)每年成倍增長(zhǎng)，圖像達(dá)到數(shù)千萬(wàn)訓(xùn)練樣本、語(yǔ)音達(dá)到數(shù)百億訓(xùn)練樣本、廣告達(dá)到數(shù)千億訓(xùn)練樣本;而與此同時(shí)，多機(jī)GPU/CPU分布式計(jì)算能力也得到顯著加強(qiáng)，模型上則由大型線性模型演進(jìn)到樹(shù)模型，可把特征發(fā)到不同機(jī)器;在算法上，則應(yīng)用了深度神經(jīng)網(wǎng)絡(luò)等分布式算法。
百度機(jī)器學(xué)習(xí)成就：錯(cuò)誤率降低30%，準(zhǔn)確率升100%
百度在2012年夏季開(kāi)展了深度學(xué)習(xí)方面的工作。2013年，百度IDL(深度學(xué)習(xí)研究院)成立，面向全球延攬一流學(xué)術(shù)人才，人才布局日趨完整，在深度學(xué)習(xí)上也取得了巨大成功，如用GPU提升計(jì)算效率，處理海量訓(xùn)練數(shù)據(jù)，語(yǔ)音識(shí)別，OCR識(shí)別，人臉識(shí)別，圖像搜索水平得到巨大提升，到目前為止，已經(jīng)有超過(guò)8項(xiàng)深度學(xué)習(xí)技術(shù)在百度產(chǎn)品上線。
圖片 百度與谷歌相似圖片檢索結(jié)果對(duì)比
深度學(xué)習(xí)對(duì)百度的影響深遠(yuǎn)，如語(yǔ)音，錯(cuò)誤率相對(duì)降低20-30%;OCR，錯(cuò)誤率相對(duì)降低30%;人臉識(shí)別，LFW測(cè)試世界領(lǐng)先，世界上首個(gè)全網(wǎng)人臉?biāo)阉饕?全網(wǎng)相似圖像搜索，效果顯著超越國(guó)際搜索引擎同類產(chǎn)品;全流量上線廣告CTR預(yù)估，提升CTR3.7%;基于深度學(xué)習(xí)的色情圖像識(shí)別準(zhǔn)確率超過(guò)傳統(tǒng)方法100%，用于貼吧圖搜黃反作弊。
百度機(jī)器學(xué)習(xí)發(fā)展路徑：理論創(chuàng)新+應(yīng)用實(shí)踐
在深度學(xué)習(xí)方面，百度已經(jīng)在學(xué)術(shù)理論、工程實(shí)現(xiàn)、產(chǎn)品應(yīng)用等多方位取得了顯著的進(jìn)展，已經(jīng)成為業(yè)界推動(dòng)“大數(shù)據(jù)驅(qū)動(dòng)的人工智能”的領(lǐng)導(dǎo)者之一，提交國(guó)家專利22項(xiàng)。在第30屆國(guó)際機(jī)器學(xué)習(xí)大會(huì)(International Conference on Machine Learning, ICML 2013)上，百度IDL常務(wù)副院長(zhǎng)余凱博士與美國(guó)佐治亞理工學(xué)院學(xué)者合作的有關(guān)深度學(xué)習(xí)的論文“Smooth Sparse Coding via Marginal Regression for Learning Sparse Representations”獲得大會(huì)最佳論文獎(jiǎng)銀獎(jiǎng);基于深度學(xué)習(xí)人臉識(shí)別技術(shù)的PK大咖獲得2013艾菲獎(jiǎng)大中華區(qū)金獎(jiǎng)。
在圖像技術(shù)應(yīng)用中，傳統(tǒng)的從圖像到語(yǔ)義的轉(zhuǎn)換是極具挑戰(zhàn)性的課題，業(yè)界稱其為語(yǔ)義鴻溝。百度深度學(xué)習(xí)算法構(gòu)造出一個(gè)多層非線性層疊式神經(jīng)元網(wǎng)絡(luò)，能夠很好地模擬視覺(jué)信號(hào)從視網(wǎng)膜開(kāi)始逐層處理傳遞，直至大腦深處的整個(gè)過(guò)程。這樣的學(xué)習(xí)模式能夠以更高的精度和更快的速度跨越語(yǔ)義鴻溝，讓機(jī)器快速對(duì)對(duì)圖像中可能蘊(yùn)含的成千上萬(wàn)種語(yǔ)義概念進(jìn)行有效地識(shí)別，進(jìn)而確定圖片的主題。
在人臉識(shí)別方面，最困難的是識(shí)別照片中的人是誰(shuí)或者通過(guò)照片尋找相似的人。百度在深度學(xué)習(xí)的基礎(chǔ)上，借鑒認(rèn)知學(xué)中的一些概念與方法，探索出了獨(dú)特的相似度量學(xué)習(xí)方法來(lái)尋找圖像的相似性和關(guān)聯(lián)，能夠做到舉一反三。
在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練方面，伴隨著計(jì)算廣告、文本、圖像、語(yǔ)音等訓(xùn)練數(shù)據(jù)的快速增長(zhǎng)，傳統(tǒng)的基于單GPU的訓(xùn)練平臺(tái)已經(jīng)無(wú)法滿足需求，為此，百度搭建了Paddle(Parallel Asynchronous Distributed Deep Learning)多機(jī)并行GPU訓(xùn)練平臺(tái)。數(shù)據(jù)分布到不同的機(jī)器，通過(guò)Parameter Server協(xié)調(diào)各機(jī)器進(jìn)行訓(xùn)練，多機(jī)訓(xùn)練使得大數(shù)據(jù)的模型訓(xùn)練成為可能。
在算法方面，單機(jī)多卡并行訓(xùn)練算法研發(fā)，難點(diǎn)在于通過(guò)并行提高計(jì)算速度一般會(huì)降低收斂速度。百度則研發(fā)了新算法，在不影響收斂速度的條件下計(jì)算速度圖像提升至2.4倍，語(yǔ)音提升至1.4倍，這使得新算法在單機(jī)上收斂速度達(dá)到圖像提升至12倍、語(yǔ)音提升至7倍的效果。相比Google的DistBelief系統(tǒng)用200臺(tái)機(jī)器加速約7.3倍而言，百度的算法優(yōu)勢(shì)更加明顯。
目前普遍認(rèn)為深度學(xué)習(xí)是最接近人腦的復(fù)雜模型，也是目前向人工智能走得最近的方法，將會(huì)在百度得到越來(lái)越多的應(yīng)用，同時(shí)，深度學(xué)習(xí)也將使得百度的智能性大為增強(qiáng)。以張潼等為代表的百度科學(xué)家群體，對(duì)深度學(xué)習(xí)的未來(lái)發(fā)展充滿信心。而在足夠的智力資源奠基優(yōu)勢(shì)下，百度IDL極有望成為像AT&T-Bell labs，Xerox PARC這樣的頂尖研究機(jī)構(gòu)，在國(guó)際互聯(lián)網(wǎng)創(chuàng)新科技前沿領(lǐng)跑。
關(guān)于百度IDL
百度深度學(xué)習(xí)研究院(Institute of Deep Learning，IDL)是百度歷史上首個(gè)正式成立的前瞻性研究機(jī)構(gòu)，2013年成立，致力于“讓計(jì)算機(jī)像人腦一樣智能”的科學(xué)研究。除斯坦福大學(xué)等高校研究機(jī)構(gòu)外，唯有百度、IBM、谷歌、微軟四家企業(yè)設(shè)立了專門研究機(jī)構(gòu)，位列深度學(xué)習(xí)研究的第一陣營(yíng)。
百度深度學(xué)習(xí)研究院成立以來(lái)，就面向全球延攬一流學(xué)術(shù)人才。隨著前Facebook資深科學(xué)家徐偉、美國(guó)新澤西州立大學(xué)統(tǒng)計(jì)系教授張潼、前AMD異構(gòu)系統(tǒng)首席軟件架構(gòu)師吳韌等世界級(jí)專家的陸續(xù)加盟，百度IDL的人才布局日趨完整，并以其廣闊的發(fā)展前景贏得越來(lái)越多頂尖技術(shù)人才的認(rèn)可與青睞。
關(guān)于Qcon上海2013
QCon全球軟件開(kāi)發(fā)大會(huì)是由InfoQ主辦、始于2007年的全球頂級(jí)技術(shù)盛會(huì)。本次QCon上海2013秉承 “促進(jìn)軟件開(kāi)發(fā)領(lǐng)域知識(shí)與創(chuàng)新的傳播”的宗旨，吸引了傳統(tǒng)制造、金融、電信、互聯(lián)網(wǎng)、航空航天等領(lǐng)域的架構(gòu)師、項(xiàng)目經(jīng)理、團(tuán)隊(duì)領(lǐng)袖和高級(jí)開(kāi)發(fā)人員參加，其中不乏Twitter、LinkedIn、Facebook、百度、新浪等全球頂級(jí)互聯(lián)網(wǎng)公司代表。
