HTAP 是 Gartner 在 2014 年提出的概念，是為滿足實時性業(yè)務(wù)分析場景而存在的融合型數(shù)據(jù)庫，可以同時支持 OLTP 和 OLAP 場景，在一份數(shù)據(jù)上保證事務(wù)的同時支持實時分析，也省去費時的 ETL 過程。
現(xiàn)代數(shù)據(jù)棧是近幾年剛剛興起的一個概念，通常是指一系列圍繞數(shù)據(jù)倉庫而構(gòu)建的、目的為簡化數(shù)據(jù)集成的工具，其根本出發(fā)點是節(jié)省工程師和分析師的時間。
這兩者的聯(lián)系可謂是微弱而又密切。微弱在于概念層面，密切則體現(xiàn)在實踐落地中。
“現(xiàn)代數(shù)據(jù)棧是云上數(shù)據(jù)中臺架構(gòu)的新一代提法，但它的定義并未包含融合型數(shù)據(jù)庫體系?！本仃嚻鹪促Y深研發(fā)工程師徐鵬指出，HTAP 實際上并不包含在現(xiàn)代數(shù)據(jù)棧概念體系中。
但縱觀二者的最終目標，其實都是為了解決新時代海量數(shù)據(jù)帶來的系列問題。而數(shù)據(jù)的存儲和應(yīng)用成為企業(yè)決策的重要依據(jù)，HTAP 浪潮勢不可擋。同時現(xiàn)代數(shù)據(jù)棧必然也是當下傳統(tǒng)數(shù)據(jù)棧更新中的重要路徑。兩者相融，勢必有益于新一代的數(shù)據(jù)存儲、處理、分析等。
因此，徐鵬在剛剛過去的 GOTC 2023 峰會上，以 HTAP 為例，探討了現(xiàn)代數(shù)據(jù)棧應(yīng)用架構(gòu)及場景演進的相關(guān)內(nèi)容。
現(xiàn)代數(shù)據(jù)棧要求下的 HTAP
徐鵬介紹，現(xiàn)代數(shù)據(jù)棧的核心特征是以云數(shù)據(jù)倉庫為核心，數(shù)據(jù)管理更簡單，具體表現(xiàn)在數(shù)據(jù)庫的云原生化，以及從 ETL 到 ELT 的變化。
HTAP 在業(yè)務(wù)中臺的場景中，作為支持 AP 的 TP，不需要復(fù)雜的 Transformer，同時分析面向的是 Operational 類，可以應(yīng)對高并發(fā)、實時場景。在數(shù)據(jù)中臺或離線運營業(yè)務(wù)中臺中，作為支持 TP 的 AP，其事務(wù)的主要目的在于保證可靠性和實時更新能力，不需要對事務(wù)過度設(shè)計影響分析性能，而最終對標的產(chǎn)品主要是各類實時 OLAP。面對 TP+AP 結(jié)合的場景，則需要內(nèi)置 Transformer 能力(增量物化視圖)——HSTAP，其核心價值是實時化與簡化，如云上內(nèi)置 ELT 替代多項 Pipeline，云下內(nèi)置 ELT 解決端到端的實時一致性。
在 HTAP 本身的特質(zhì)之上，徐鵬介紹，實時現(xiàn)代數(shù)據(jù)棧要求下的 HTAP 需要具備覆蓋云原生、Transformers、多云三方面的相關(guān)特性。具體如下圖所示：
MatrixOne 現(xiàn)狀和演進
為了能如何打造一款 HTAP 數(shù)據(jù)庫，適應(yīng)未來的變化，矩陣起源打造了一款開源的超融合 HTAP 云原生數(shù)據(jù)庫 MatrixOne。MatrixOne 與業(yè)內(nèi)諸多數(shù)據(jù)庫產(chǎn)品非常不同的點是，MatrixOne 的自研之路是從第一行代碼開始的。MatrixOne 的目標是打造一款極簡、高擴展性、高靈活性、高性價比的全新數(shù)據(jù)庫。
在過去的兩年里，MatrixOne 經(jīng)歷了一次架構(gòu)的演進。早期，MatrixOne 更多的是承載了研發(fā)團隊早期的探索和研究，通過實驗架構(gòu)，逐步探索出一條面向未來的架構(gòu)。隨著開發(fā)進度的不斷推進，舊架構(gòu)的問題開始凸顯出來，主要集中在拓展性不足、性能問題、成本問題。
這三大難題讓 MatrixOne 團隊開始思考，到底什么樣的架構(gòu)才能滿足未來 HTAP 的需求。最終他們決定重構(gòu)存算體系，具體從 4 個方面展開：
● 同時從 Share Nothing 遷移到云原生架構(gòu)
● 從 Append only 存儲切換到 TAE
● 重寫計算引擎(TPCC/TPCH 可同時執(zhí)行)
● 刪除 40 萬行，新增 30 萬行，累計 50 萬行代碼
最終，歷時 12 個月，1.0 新版本在 2023 年 GA。新的 MatrixOne 實現(xiàn)了從存算一體到計算、事務(wù)、存儲三層解耦;從多引擎到單一 TAE 的 HTAP 融合引擎;從因子化算法到 DAG 的計劃構(gòu)建;從多副本存儲到對象存儲與 Logtail 的引入;靈活調(diào)整節(jié)點分配帶來的資源隔離。
徐鵬總結(jié)，HTAP 本身應(yīng)該從現(xiàn)代數(shù)據(jù)棧升級到實時現(xiàn)代數(shù)據(jù)棧;具體來看，TP/AP 不是 HTAP 的核心，T(Transformer)才是 HTAP 成功的關(guān)鍵;此外，云原生數(shù)據(jù)庫天然可以降低數(shù)據(jù)棧的復(fù)雜度。
在生態(tài)圈中成長
MatrixOne 是一款面向未來的超融合異構(gòu)云原生數(shù)據(jù)庫管理系統(tǒng)。通過全新設(shè)計和研發(fā)的統(tǒng)一分布式數(shù)據(jù)庫引擎，能夠同時靈活支持OLTP、OLAP、Streaming等不同工作負載的數(shù)據(jù)管理和應(yīng)用，用戶可以在公有云、自建數(shù)據(jù)中心和邊緣節(jié)點上無縫部署和運行。
為了能夠讓更多開發(fā)者參與到 MatrixOne 項目中來，與開發(fā)者進行交流和互動，矩陣起源還在 GOTC 大會現(xiàn)場設(shè)立了展臺，全方位展示 MatrixOne 的優(yōu)秀性能和豐富的實例。期待更多開發(fā)者能夠加入 MatrixOne 的生態(tài)圈，不斷推動 MatrixOne 的發(fā)展壯大。
此外，矩陣起源全新推出 MatrixOne Beta Program 計劃，希望與客戶、用戶一起持續(xù)提升 MatrixOne 產(chǎn)品和性能體驗優(yōu)化。加入 MatrixOne Beta Program，可以享受到新功能內(nèi)測權(quán)益、產(chǎn)品設(shè)計參與權(quán)益、新功能本地環(huán)境優(yōu)先測試權(quán)益、開發(fā)過程的直接發(fā)言權(quán)益、專家端到端專業(yè)支持權(quán)益。無論是對開源感興趣的開發(fā)者，還是對現(xiàn)代數(shù)據(jù)棧、HTAP 數(shù)據(jù)庫感興趣的開發(fā)者，加入一個開源社區(qū)共同成長，現(xiàn)在正是行動時刻!
全球開源技術(shù)峰會(Global Open-source Technology Conference)，簡稱 GOTC，是由開放原子開源基金會、上海浦東軟件園、Linux 基金會亞太區(qū)和開源中國聯(lián)合發(fā)起的，面向全球開發(fā)者的一場盛大開源技術(shù)盛宴。 5 月 27 日至 28 日，GOTC 2023 于上海張江科學(xué)會堂舉辦為期 2 天的開源行業(yè)盛會。大會以行業(yè)展覽、主題發(fā)言、專題論壇、開源市集的形式展現(xiàn)，與會者一起探討元宇宙、3D 與游戲、eBPF、Web3.0、區(qū)塊鏈等熱門技術(shù)主題，以及開源社區(qū)、AIGC、汽車軟件、AI 編程、開源教育培訓(xùn)、云原生等熱門話題，探討開源未來，助力開源發(fā)展。
回顧峰會精彩內(nèi)容，請訪問： https://gotc.oschina.net/
