隨著互聯(lián)網+、人工智能、云計算等新技術不斷涌現與成熟，大數據與各行業(yè)深度融合，引發(fā)了各種變革。搜索引擎服務、電子商務、社交網絡、在線音視頻、地理信息服務等互聯(lián)網應用產生了海量數據，企業(yè)如何從海量數據中發(fā)掘有價值的數據，將數據標準化、平臺化、智能化、產品化，最終幫助企業(yè)進行正確決策，成為企業(yè)大數據落地的重點和難點。
“在合法合規(guī)的前提下，從海量數據中高效的提取數據的應用價值，是大數據落地的關鍵所在。如果數據量很大，但是無法提取出價值，反而是一種負擔。”聯(lián)通大數據有限公司數據科學總監(jiān)陳博表示。“從落地的角度看，我覺得大數據需要與各行業(yè)深度融合。同樣的數據可以用于不同的行業(yè)，而如何從數據中形成適合某個行業(yè)的應用價值，需要對數據的價值維度與行業(yè)的應用場景都有非常深入的認知。”陳博補充說。
集中運維管理，保障應用基礎
作為通信運營商，中國聯(lián)通早在2010年，就提出了數據大集中策略;2012年，開始組建全國數據中心，涵蓋全國所有省份實現了全網數據的統(tǒng)一集中匯聚與管理。目前，聯(lián)通大數據公司每天的新增數據量達到150TB以上。
為了能高效的處理如此海量的數據，聯(lián)通大數據目前擁有數千節(jié)點的集群，每天要運行10萬個以上的處理任務。運維如此大規(guī)模數據集群，在業(yè)界也是不多見的，對于聯(lián)通大數據來說，并沒有太多可以直接借鑒的外部經驗，靠的就是自身建立的一支高效的集群運維管理團隊，進行長期24小時不間斷的監(jiān)護、優(yōu)化。在過去一年中，在日增數據量翻倍、集群資源幾乎沒有擴容的情況下，通過從集群文件碎片、冗余數據庫表、RPC任務管理等多方面的持續(xù)優(yōu)化，使集群的整體資源負載反而下降了近30%，從而為上層大數據應用提供了堅實的基礎算力保障。
同時，聯(lián)通大數據對所有數據業(yè)務的開展都是以完全合法、合規(guī)為首要前提，內部有著非常嚴格的安全管理和監(jiān)控機制，堅持“敏感數據不出門”的原則;對外數據產品與服務更多是基于區(qū)域性、群體性的統(tǒng)計分析以及模型加工產生的標簽數據，并且任何數據結果的輸出都需要經過內部安全網關的層層嚴格審核，從而為上層大數據應用提供了可靠的安全合規(guī)保障。
在此過程中，聯(lián)通大數據在大規(guī)模數據集群運維、海量數據資產管理方面積累了大量的實踐經驗，逐步總結形成了一整套完善的運維管理機制，在6月初的大數據產業(yè)峰會上獲得了“2019年星河獎——最佳數據資產管理實踐獎”。
構建數智能力，釋放應用價值
面對日增上百TB、總量近百PB的海量數據，如何實現大數據的應用價值，陳博認為“大數據企業(yè)首先需要對于自身數據的核心價值維度有明確的認識，進而才能清楚如何建立自身的數據能力體系去釋放數據的應用價值“。圍繞自身的運營商大數據，聯(lián)通大數據則定義了行為興趣、位置時序、關系圖譜3大數據價值維度，并相應的構建了3大類數智平臺能力體系，這背后則用到了諸多NLP、搜索引擎、時空序列、圖計算等關鍵技術。
而在數智平臺的每一項能力的構建與應用中，聯(lián)通大數據的各種數據架構、數據模型、數據算法需要面對的都是PB級的海量數據，既需要考慮算法模型的準確度、有效性，更需要保證在大規(guī)模數據上的可用性、穩(wěn)定性以及運行效率。典型的例如，從萬億級的信令大數據中通過快速排序、迭代進行基站位置工參糾偏;從萬億級位置時序數據中準實時的進行區(qū)域、時段關聯(lián)檢索，進而實現線上線下融合洞察推薦;從幾億號卡對應的萬億級信令中發(fā)現群體聚合，進而進行黑灰產風險號卡識別;從十億級頂點、數百億關系邊的圖譜中，進行N度關聯(lián)群體發(fā)掘，進而輔助用于企業(yè)經營位置識別等等。這些能力的構建、應用的實現，憑借的則是自身組建的一支涵蓋數據分析、數據建模、AI應用等多方面能力的高素質、高效能的數據科學團隊。
通過這3大類數智平臺能力的組合，支撐了上層的廣告、風控、洞察、輿情等標準產品，以及金融、政務、文旅、公安等各類行業(yè)應用，已經形成了豐富的大數據智能應用案例與落地成果，實現了“大數據”到“大價值”的轉化。
匯聚能力資源，賦能行業(yè)升級
聯(lián)通大數據已經構建了強大的數據連接、運維、治理、分析、應用、服務能力，構成了作為一家大數據科技企業(yè)快速發(fā)展的動力引擎。而在此之上，我們更希望通過開放合作，與各行業(yè)伙伴共同成長。
一方面，我們將自身在集群運維、數據治理、模型構建方面多年的運營實踐經驗，梳理為模式化、流程化、產品化的大數據平臺建設方案進行能力輸出，已經幫助政府、電力、銀行、教育、旅游、郵政等多個行業(yè)的合作伙伴搭建了自有的大數據平臺、應用系統(tǒng)，賦能行業(yè)合作伙伴快速構建大數據應用基礎。
另一方面，聯(lián)通大數據基于自有資源，推出了面向外部合作伙伴的能力開放平臺，以多租戶的形式為每個合作方提供“算力+數據+服務”的脫敏、安全、個性化的開發(fā)訓練環(huán)境;合作方開發(fā)完的模型、應用，經過安全測試后即可封裝部署在聯(lián)通數智平臺上，通過安全網關形成能力輸出，賦能行業(yè)合作伙伴構建豐富的大數據應用能力。
面向5G未來，數智賦能生長
談到未來的發(fā)展方向，陳博表示，5G時代將至，未來連接的增長將不再主要是個人通信領域，而更多是物與物之間的連接，連接數量將會達到數百億、上千億的量級，涉及的領域也將覆蓋智能穿戴、智能家居、工業(yè)監(jiān)控、自動駕駛等各個行業(yè)、領域。未來5G時代的大數據，無論在數據量級、時間/空間密度，還是價值維度上都將會有從量到質的增長變化，但這將是一個逐漸發(fā)展的過程。因此，聯(lián)通大數據將緊密跟隨5G發(fā)展步伐，關注各個行業(yè)發(fā)展態(tài)勢，秉持“開放生態(tài)，合作共贏”的理念，攜手行業(yè)合作伙伴，挖掘行業(yè)的應用價值，繼續(xù)以“大數據+AI”的數智能力賦能未來行業(yè)生長。
嘉賓介紹：
陳博，博士后，聯(lián)通大數據有限公司數據科學團隊負責人，主要負責大數據分析挖掘、機器學習建模、人工智能應用方向的研發(fā)工作。陳博于2008年畢業(yè)于北京郵電大學，獲得工學博士學位，主要研究方向為機器學習、自然語言處理、信息檢索;畢業(yè)后曾先后就職于NEC中國研究院、中國聯(lián)通集團總部技術部。
