近日，大數(shù)據(jù)分析/數(shù)倉軟件巨頭Teradata宣布基于中國未來商業(yè)環(huán)境評估，退出在中國的直接運營，后續(xù)將進入中國公司關(guān)閉程序。
星環(huán)科技經(jīng)過多年的自主研發(fā)打造了一系列大數(shù)據(jù)基礎(chǔ)軟件，并打磨了一系列國產(chǎn)化替代平滑遷移方案，能夠更好幫助企業(yè)用戶更高效、更平滑、更安全的實現(xiàn)國外進口產(chǎn)品的國產(chǎn)化替代。自主研發(fā)的分布式分析型數(shù)據(jù)庫ArgoDB經(jīng)工信部電子第五研究所代碼掃碼測試，代碼自主率(行數(shù))超90%，可支持標準SQL語法，兼容Oracle、IBM DB2 和 Teradata 等方言，通過一個ArgoDB數(shù)據(jù)庫，就可以打造一站式離線數(shù)據(jù)倉庫、實時數(shù)據(jù)倉庫、數(shù)據(jù)集市和聯(lián)邦計算平臺等數(shù)據(jù)分析系統(tǒng)，同時已與國內(nèi)主流軟硬件信創(chuàng)廠商完成了兼容適配互認證，滿足信創(chuàng)驗收要求。作為一款優(yōu)秀的數(shù)據(jù)庫產(chǎn)品，目前ArgoDB已在各行各業(yè)成功替代Oracle、DB2、Teradata等國外產(chǎn)品。
例如，某農(nóng)商行采用星環(huán)科技分布式分析型數(shù)據(jù)庫ArgoDB建設了新一代湖倉一體平臺，平滑替代了原Teradata一體機，實現(xiàn)了多數(shù)據(jù)平臺合一，降低了原有同質(zhì)化的數(shù)據(jù)系統(tǒng)運維開發(fā)成本和數(shù)據(jù)冗余，綜合成效比達到Teradata的14倍。
傳統(tǒng)數(shù)倉架構(gòu)面臨眾多挑戰(zhàn)
隨著互聯(lián)網(wǎng)金融生態(tài)的發(fā)展，該農(nóng)商行和實體經(jīng)濟的業(yè)務聯(lián)系和深度融合進展迅速，業(yè)務數(shù)據(jù)的內(nèi)容不斷豐富，數(shù)據(jù)規(guī)模也不斷增長。伴隨該農(nóng)商行業(yè)務的快速發(fā)展，傳統(tǒng)數(shù)據(jù)倉庫技術(shù)架構(gòu)面臨越來越大的挑戰(zhàn)，其表現(xiàn)如下：
(1)大部分傳統(tǒng)數(shù)據(jù)倉庫對分布式并行計算模式的支持不夠，難以實現(xiàn)處理能力的水平彈性擴展，依賴于服務器硬件的升級實現(xiàn)處理能力擴容，不僅成本高昂，而且受到服務器硬件升級周期較長等的限制。
(2)商業(yè)銀行因業(yè)務復雜性和多樣性的原因，現(xiàn)存的數(shù)據(jù)應用系統(tǒng)種類較多。在單個數(shù)據(jù)庫系統(tǒng)處理能力有限的情況下，普遍存在應用各自獨立建設，缺乏統(tǒng)籌規(guī)劃，系統(tǒng)間數(shù)據(jù)處理職責劃分不合理、囗徑不一致，存在大量的重復加工和數(shù)據(jù)冗余的問題。
(3)傳統(tǒng)數(shù)據(jù)倉庫軟件主要面向數(shù)據(jù)分析型應用，無法兼顧實時營銷與實時風險管理等高并發(fā)、低延遲應用場景需要，較難處理非結(jié)構(gòu)化數(shù)據(jù)，難以快速實現(xiàn)業(yè)務團隊的數(shù)據(jù)探索、數(shù)據(jù)挖掘與業(yè)務建模需求。
基于以上情況，該農(nóng)商行基于自身發(fā)展需求，參考業(yè)界先進架構(gòu)以及同業(yè)優(yōu)秀案例，在2017年引入星環(huán)科技的TDH平臺，構(gòu)建了以分布式大數(shù)據(jù)技術(shù)為基礎(chǔ)的大數(shù)據(jù)平臺。同時引進星環(huán)分布式分析型數(shù)據(jù)庫ArgoDB產(chǎn)品，采用ArgoDB集群替代Teradata一體機。
選擇星環(huán)ArgoDB+TDH實現(xiàn)湖倉一體
該農(nóng)商行從企業(yè)應用角度出發(fā)，通過對國內(nèi)外眾多主流大數(shù)據(jù)平臺產(chǎn)品的技術(shù)能力和實現(xiàn)細節(jié)詳細了解、對比、篩選，并對候選產(chǎn)品進行嚴格的POC測試，最終選擇了更符合自身需求的國產(chǎn)TDH大數(shù)據(jù)平臺產(chǎn)品。通過TDH大數(shù)據(jù)平臺的建設，實現(xiàn)成本管理和業(yè)務管控的雙效提升。
選擇TDH大數(shù)據(jù)平臺產(chǎn)品，該農(nóng)商行可以采用普通的服務器和存儲進行搭建，在經(jīng)濟效益層面，經(jīng)初步估計，數(shù)據(jù)應用的總體硬件投入成本將比采用傳統(tǒng)模式低不少;數(shù)據(jù)庫軟件授權(quán)許可費預計只有原來的1/20;同時由于各應用構(gòu)建在同一個大數(shù)據(jù)平臺上，因此每個應用減少了大量的共性數(shù)據(jù)加工和數(shù)據(jù)共享代碼開發(fā)，軟件開發(fā)成本也有所降低。
在系統(tǒng)效率層面，TDH充分利用分布式計算以及內(nèi)存處理(ArgoDB)技術(shù)，在處理同樣數(shù)據(jù)量情況下，大數(shù)據(jù)量跑批處理時間預計能大幅降低，大大提升了該農(nóng)商行在營銷、風控、運營等業(yè)務流程上的響應能力。
綜合成效比提升14倍
該農(nóng)商行基于星環(huán)ArgoDB+TDH的湖倉一體平臺，實現(xiàn)了多數(shù)據(jù)平臺合一，進行數(shù)據(jù)資產(chǎn)管理，降低了原有同質(zhì)化的數(shù)據(jù)系統(tǒng)運維開發(fā)成本和數(shù)據(jù)冗余，實現(xiàn)了數(shù)據(jù)的遷移，保證了業(yè)務正常運行。
該農(nóng)商行采用ArgoDB集群替代Teradata一體機，軟硬件使用時效從4年提升到10年，跑批時間從超過10個小時，降低到不到5個小時，綜合成效比達到Teradata的14倍。
同時，利用星環(huán)TDH和ArgoDB，該農(nóng)商行完成數(shù)據(jù)倉庫匯總層關(guān)鍵50+張指標表遷移，實現(xiàn)了數(shù)據(jù)倉庫管理會計等800多個供數(shù)接口遷移，小數(shù)據(jù)平臺120多下游接口遷移，為下游40多個系統(tǒng)提供支撐，更好地支持銀行智能化、數(shù)字化應用建設。
作為大數(shù)據(jù)基礎(chǔ)軟件國產(chǎn)化的重要推動者之一，星環(huán)科技還擁有成熟的基礎(chǔ)軟件替代解決方案：
* 大數(shù)據(jù)基礎(chǔ)平臺TDH可以完美的替代CDH/HDP和CDP，提升功能、性能、穩(wěn)定性、易用性、擴展性、可靠性、安全、國產(chǎn)生態(tài)支持等能力，提供多種模型支持能力，性能的提升可以達到5到100倍，原廠專業(yè)服務能力更強。
* 分布式交易型數(shù)據(jù)庫KunDB可以在交易型OLTP的業(yè)務場景、高并發(fā)在線數(shù)據(jù)服務場景，替代Oracle/DB2，并且提升存儲計算能力、高可用能力、跨分區(qū)事務能力。
* 分布式分析型數(shù)據(jù)庫ArgoDB可以在批處理和OLAP、Ad hoc分析等場景，替代Oracle/DB2/TD/SAP HANA，提供海量數(shù)據(jù)分析能力，提升混合負載、實時數(shù)據(jù)分析等能力，軟硬件綜合性價比得到10到100倍的提升。
* 分布式圖數(shù)據(jù)庫StellarDB可以在圖查詢、圖分析的場景替代Neo4j，提升圖數(shù)據(jù)存儲檢索能力，支持萬億頂點以上的圖存儲與毫秒級檢索性能，提供近30種分布式圖算法和10層以上深度鏈路分析能力。
* 搜索引擎Scope可以在全文檢索、日志分析等場景替代ElasticSearch，提升穩(wěn)定性、性能、集群擴展性等能力。
* 智能分析工具Sophon可以在可視化建模分析場景替代SAS/SPSS，獲得200+算子支撐，提升功能和性能(降本增效)。
