采用開(kāi)源大數(shù)據(jù)平臺(tái)CDP和CDH的用戶，現(xiàn)在必須面對(duì)原有開(kāi)源軟件許可證變更和產(chǎn)品服務(wù)限制等方面的挑戰(zhàn)。
基于Hadoop的開(kāi)源軟件公司Cloudera與Hortonworks于2018年10月宣布合并，并在2019年推出了結(jié)合了Cloudera原有產(chǎn)品CDH和Hortonworks原有產(chǎn)品HDP的全新的大數(shù)據(jù)平臺(tái)產(chǎn)品CDP。
合并后的Cloudera整合了Hortonworks和Cloudera各自在之前使用的授權(quán)許可方式，對(duì)許可方式進(jìn)行調(diào)整：Cloudera所有產(chǎn)品都將采用OSI批準(zhǔn)的許可證，即Apache軟件許可證(ASL)或Affero通用公共許可證(AGPL)。用戶不得不面臨許可變更帶來(lái)的風(fēng)險(xiǎn)。
另一方面，Cloudera對(duì)原有產(chǎn)品的服務(wù)支持也做出調(diào)整。Cloudera會(huì)在2022年前繼續(xù)支持CDH和HDP兩條產(chǎn)品線，給用戶一個(gè)過(guò)渡期。原有的CDH和HDP用戶均可通過(guò)升級(jí)至CDP獲得諸多新功能。也就是說(shuō)，在2022年全部用戶都將遷移到CDP上來(lái)。但CDP以訂閱方式提供服務(wù)，用戶付費(fèi)成本大幅增加。
同時(shí)開(kāi)源軟件的安全事故迭出，影響巨大。同時(shí)，開(kāi)源軟件安全方面功能的缺失或者被限制，也成為用戶應(yīng)用的后顧之慮。
如何面對(duì)許可方式的變更，產(chǎn)品服務(wù)方式改變所帶來(lái)的成本增加，以及不斷增加的安全威脅，已經(jīng)成為CDP和CDH的用戶不得不面對(duì)的問(wèn)題。
春秋航空公司，是國(guó)內(nèi)第一家由民營(yíng)資本獨(dú)立經(jīng)營(yíng)的低成本航空公司，也是國(guó)內(nèi)第一家由旅行社起家的低成本航空公司。成立37年來(lái)，春秋航空公司快速發(fā)展，從正式開(kāi)航到現(xiàn)在，機(jī)隊(duì)規(guī)模已經(jīng)達(dá)到96架、國(guó)際國(guó)內(nèi)航線達(dá)到210條，是國(guó)內(nèi)低成本航空公司的典范。
春秋航空用星環(huán)科技大數(shù)據(jù)基礎(chǔ)平臺(tái)TDH成功替換開(kāi)源大數(shù)據(jù)平臺(tái)CDH，打破了新技術(shù)與業(yè)務(wù)場(chǎng)景之間的隔閡，用技術(shù)為業(yè)務(wù)賦能，快速挖掘數(shù)據(jù)價(jià)值。借助星環(huán)科技TDH 極速大數(shù)據(jù)平臺(tái)，春秋航空快速提高了數(shù)據(jù)處理規(guī)模和數(shù)據(jù)處理性能，增強(qiáng)了數(shù)據(jù)管控力度，為數(shù)據(jù)挖掘和數(shù)據(jù)分析提供了全面的數(shù)據(jù)支持，堪稱大數(shù)據(jù)平臺(tái)國(guó)產(chǎn)化替代的典范。
春秋航空大數(shù)據(jù)平臺(tái)建設(shè)需求和挑戰(zhàn)
春秋航空是一家倡導(dǎo)旅客個(gè)性化消費(fèi)的航空公司，提升利潤(rùn)和降低成本是春秋航空一直希望做的事情。而航空公司是重資產(chǎn)低利潤(rùn)的行業(yè)，節(jié)約成本在眾多提高利潤(rùn)的因素中占很大的比重。航空公司的航油成本占了總成本的30%到40%，所以節(jié)省航油成為降低成本的關(guān)鍵。
節(jié)省航油理論上講并不是很難，和開(kāi)車(chē)的邏輯類(lèi)似，按最短的路線，或控制好油門(mén)都可以省油。我們開(kāi)車(chē)時(shí)能用GPS選擇最短路線，對(duì)于飛機(jī)飛行來(lái)說(shuō)卻沒(méi)有那么簡(jiǎn)單。首先，我們要對(duì)飛機(jī)的飛行日志進(jìn)行分析。飛機(jī)上的QAR(Quick Access Recorder，快速存取記錄器)每八分之一秒會(huì)將飛機(jī)上3000多個(gè)設(shè)備儀器的參數(shù)記錄一次，飛機(jī)一天在天上要飛十幾個(gè)小時(shí)，一年下來(lái)數(shù)據(jù)量非常大。每架飛機(jī)一年會(huì)記錄一億多條數(shù)據(jù)，80多架飛機(jī)一年就是80多億條數(shù)據(jù)。因此做好節(jié)油工作首要任務(wù)是解決80多億的數(shù)據(jù)處理問(wèn)題。
早期，春秋航空引入了開(kāi)源大數(shù)據(jù)平臺(tái)CDH，并基于該平臺(tái)開(kāi)展了個(gè)性化推薦、精準(zhǔn)營(yíng)銷(xiāo)方面的工作，但在使用的過(guò)程中發(fā)現(xiàn)了很多問(wèn)題。對(duì)于復(fù)雜的航空業(yè)務(wù)，原平臺(tái)需要大量的開(kāi)發(fā)工作來(lái)適配業(yè)務(wù)，對(duì)開(kāi)發(fā)人員的要求非常高，很難實(shí)現(xiàn)業(yè)務(wù)的快速落地和價(jià)值挖掘。
面對(duì)一些跨庫(kù)關(guān)聯(lián)的復(fù)雜分析場(chǎng)景需要數(shù)據(jù)的導(dǎo)入導(dǎo)出，過(guò)程較為繁瑣，費(fèi)時(shí)費(fèi)力。數(shù)據(jù)分析人員需要對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，以便對(duì)業(yè)務(wù)進(jìn)行快速調(diào)整，而原平臺(tái)只支持T+1的計(jì)算分析能力，不能滿足業(yè)務(wù)分析的實(shí)時(shí)性需求。如剛才介紹，航空飛行產(chǎn)生海量的數(shù)據(jù)，精細(xì)化到毫秒級(jí)別，而原平臺(tái)表現(xiàn)出存儲(chǔ)和處理分析能力不足。
另外，其混合架構(gòu)以及開(kāi)源特性使得解決問(wèn)題的效率相對(duì)會(huì)比較低，給系統(tǒng)和業(yè)務(wù)運(yùn)維帶來(lái)很大的壓力。
星環(huán)科技TDH助力春秋航空快速實(shí)現(xiàn)數(shù)據(jù)價(jià)值
當(dāng)前，企業(yè)數(shù)智化轉(zhuǎn)型正是信息技術(shù)自主創(chuàng)新和國(guó)產(chǎn)化替代的主戰(zhàn)場(chǎng)，更是需要通過(guò)提升自主創(chuàng)新能力、加速數(shù)字化智能化轉(zhuǎn)型，全面推動(dòng)整個(gè)產(chǎn)業(yè)數(shù)字化進(jìn)程。
基于星環(huán)科技大數(shù)據(jù)基礎(chǔ)平臺(tái)TDH技術(shù)的先進(jìn)性和獨(dú)特性，春秋航空用TDH替換原先的開(kāi)源CDH數(shù)據(jù)平臺(tái)。借助星環(huán)科技TDH 高性能批處理及關(guān)系型分析引擎Inceptor等工具，春秋航空完成各種數(shù)據(jù)清洗，業(yè)務(wù)處理等工作，提高了數(shù)據(jù)處理規(guī)模，數(shù)據(jù)處理性能更快，增強(qiáng)了數(shù)據(jù)管控力度，為數(shù)據(jù)挖掘和數(shù)據(jù)分析提供了全生命周期的數(shù)據(jù)支持。
星環(huán)科技TDH大數(shù)據(jù)基礎(chǔ)平臺(tái)采用先進(jìn)的多模型統(tǒng)一架構(gòu)，一體化構(gòu)建服務(wù)于整個(gè)企業(yè)的統(tǒng)一數(shù)據(jù)資源庫(kù)，徹底打破不同部門(mén)間的數(shù)據(jù)隔閡，支持?jǐn)?shù)據(jù)跨部門(mén)靈活調(diào)用，有效降低開(kāi)發(fā)運(yùn)維成本。統(tǒng)一的計(jì)算引擎可以跟據(jù)不同的存儲(chǔ)引擎自動(dòng)匹配高性能算法，避免數(shù)據(jù)導(dǎo)入導(dǎo)出。統(tǒng)一的分布式存儲(chǔ)管理系統(tǒng)可以輕松實(shí)現(xiàn) GB~PB級(jí)多源異構(gòu)數(shù)據(jù)的高效存儲(chǔ)和統(tǒng)一管理，為不同的存儲(chǔ)引擎提供公共的存儲(chǔ)服務(wù)，有效保障數(shù)據(jù)一致性和高可用。
基于星環(huán)大數(shù)據(jù)平臺(tái)的架構(gòu)設(shè)計(jì)
系統(tǒng)將每天產(chǎn)生在Oracle的數(shù)據(jù)進(jìn)行T+1抽取，業(yè)務(wù)邏輯打包成各種shell腳本等腳本，通過(guò)Transwarp Workflow任務(wù)調(diào)度軟件進(jìn)行調(diào)度，在大數(shù)據(jù)集群內(nèi)進(jìn)行各種處理，完成數(shù)據(jù)清洗，業(yè)務(wù)匯總等工作。
關(guān)系型分析引擎Inceptor提供PB級(jí)海量數(shù)據(jù)的高性能分析服務(wù)，其同時(shí)支持完整的SQL標(biāo)準(zhǔn)語(yǔ)法，兼容Oracle、IBM DB2、Teradata方言，兼容Oracle和DB2的存儲(chǔ)過(guò)程，可以平滑遷移應(yīng)用。同時(shí)其支持分布式事務(wù)處理，保障數(shù)據(jù)強(qiáng)一致性。跟開(kāi)源方案相比，Inceptor是全球首個(gè)通過(guò)分析決策系統(tǒng)國(guó)際基準(zhǔn)測(cè)試TPC-DS及官方審計(jì)的產(chǎn)品，TPC-DS查詢性能是開(kāi)源Hive的7~25倍。
實(shí)時(shí)流計(jì)算引擎Transwarp Slipstream落地即分析，提供百萬(wàn)級(jí)高吞吐、毫秒級(jí)低延時(shí)業(yè)務(wù)處理支撐能力，滿足業(yè)務(wù)分析實(shí)時(shí)性需求，彌補(bǔ)之前CDH無(wú)實(shí)時(shí)分析能力的空缺。對(duì)于之前平臺(tái)無(wú)二級(jí)索引和全文搜索能力，分布式搜索引擎Transwarp Scope提供PB級(jí)海量數(shù)據(jù)的交互式多維檢索分析服務(wù)，能夠?qū)崿F(xiàn)高可靠、高擴(kuò)展性的全文搜索與靈活查詢。
春秋航空進(jìn)入數(shù)據(jù)精細(xì)化運(yùn)營(yíng)時(shí)代
突破關(guān)鍵核心技術(shù)，加快推進(jìn)國(guó)產(chǎn)自主可控替代計(jì)劃，構(gòu)建安全可控的信息技術(shù)體系，發(fā)展信創(chuàng)產(chǎn)業(yè)，是國(guó)家一項(xiàng)長(zhǎng)期戰(zhàn)略。經(jīng)過(guò)多年的發(fā)展，我國(guó)國(guó)產(chǎn)化替代不斷拓展，信創(chuàng)產(chǎn)業(yè)不斷發(fā)展壯大。
在數(shù)字經(jīng)濟(jì)時(shí)代，IT系統(tǒng)自主創(chuàng)新和國(guó)產(chǎn)化替代已經(jīng)不再僅僅是進(jìn)口的軟硬件產(chǎn)品替換成國(guó)產(chǎn)產(chǎn)品，而是要以新的思路、新的應(yīng)用，將數(shù)智化與信創(chuàng)化相結(jié)合，形成中國(guó)企業(yè)真正的國(guó)產(chǎn)化應(yīng)用替代。
星環(huán)科技與春秋航空的合作，成功的用國(guó)產(chǎn)自主可控的國(guó)產(chǎn)大數(shù)據(jù)平臺(tái)替代國(guó)外的開(kāi)源大數(shù)據(jù)平臺(tái)，應(yīng)用成效突出：
利用星環(huán)科技TDH強(qiáng)大的數(shù)據(jù)處理能力，春秋航空完成了成本指數(shù)監(jiān)控。例如上線4個(gè)月時(shí)，成本指數(shù)執(zhí)行率從58%上升到69%。隨后春秋航空又建立了直飛優(yōu)化模型和高度優(yōu)化模型，實(shí)現(xiàn)了飛行路線的優(yōu)化。通過(guò)直飛模型可以提前分析大量的直飛機(jī)會(huì)，減少飛行距離，降低飛行成本。
同時(shí)通過(guò)對(duì)歷史飛行軌跡及優(yōu)化分析，可以尋找飛機(jī)攜帶油量的平衡點(diǎn)，從而降低航油消耗?；谛黔h(huán)科技TDH極速大數(shù)據(jù)平臺(tái)，春秋航空還建立了高度優(yōu)化模型。大氣層越往上越稀薄，飛機(jī)飛得越高阻力越小，意味著越節(jié)油。通過(guò)海量數(shù)據(jù)監(jiān)控建立高度模型對(duì)飛機(jī)飛行高度進(jìn)行優(yōu)化，從而達(dá)到節(jié)省航油的目的。春秋航空節(jié)油項(xiàng)目取得了很好的效果，據(jù)估算80架飛機(jī)每年僅燃油成本就可節(jié)省約2400萬(wàn)。
目前，基于星環(huán)科技TDH的大數(shù)據(jù)平臺(tái)已成為春秋航空所有數(shù)據(jù)的中心，負(fù)責(zé)所有條線營(yíng)銷(xiāo)服務(wù)、飛行安全、維護(hù)維修的數(shù)據(jù)分析。
星環(huán)科技大數(shù)據(jù)基礎(chǔ)平臺(tái)TDH憑借技術(shù)的先進(jìn)性，在眾多行業(yè)領(lǐng)域完成國(guó)外產(chǎn)品的進(jìn)口替代，幫助企業(yè)加速數(shù)字化轉(zhuǎn)型，更全面、更便捷、更智能、更安全地運(yùn)用數(shù)據(jù)，大幅降低綜合成本?；谛黔h(huán)科技極速大數(shù)據(jù)平臺(tái)構(gòu)建核心商業(yè)系統(tǒng)，是企業(yè)實(shí)現(xiàn)一站式數(shù)字化轉(zhuǎn)型、加速業(yè)務(wù)創(chuàng)新的致勝關(guān)鍵。
