AnalyticDB支撐雙11，大幅提升分析實(shí)時(shí)性和用戶體驗(yàn)
2021年雙11剛剛落幕，云原生數(shù)據(jù)倉(cāng)庫(kù)AnalyticDB繼續(xù)穩(wěn)定支持雙11大促，今年雙11，AnalyticDB的戰(zhàn)場(chǎng)橫跨阿里數(shù)字經(jīng)濟(jì)體、公共云和混合云，三個(gè)戰(zhàn)場(chǎng)都穩(wěn)如泰山、成績(jī)斐然。在阿里數(shù)字經(jīng)濟(jì)體內(nèi)，AnalyticDB支撐的業(yè)務(wù)幾乎覆蓋了所有BU，諸如手淘訂單搜索、菜鳥、淘特、盒馬、飛豬、貓超、阿里云等近200個(gè)雙11相關(guān)的核心業(yè)務(wù);在公有云上，AnalyticDB支撐著數(shù)云、聚水潭等諸多電商相關(guān)的核心業(yè)務(wù);在專有云上，AnalyticDB主要支持中國(guó)郵政集團(tuán)的各類業(yè)務(wù)。今年AnalyticDB支撐的業(yè)務(wù)負(fù)載特別多元化，從單庫(kù)百萬(wàn)級(jí)峰值TPS的實(shí)時(shí)數(shù)據(jù)寫入到核心交易鏈路的高并發(fā)在線訂單檢索和關(guān)鍵字精準(zhǔn)推薦，從各種業(yè)務(wù)場(chǎng)景下的復(fù)雜實(shí)時(shí)分析到各種人群和標(biāo)簽數(shù)據(jù)的大批量離線Batch&ETL任務(wù)以及數(shù)據(jù)導(dǎo)入導(dǎo)出任務(wù)，這種五花八門的業(yè)務(wù)負(fù)載，甚至離在線混合負(fù)載同時(shí)執(zhí)行的場(chǎng)景，對(duì)AnalyticDB提出了巨大的挑戰(zhàn)。
面對(duì)這些業(yè)務(wù)場(chǎng)景和技術(shù)挑戰(zhàn)，阿里云數(shù)據(jù)庫(kù)技術(shù)專家李曉宇迎難而上，自從2021年年初以來(lái)，他帶領(lǐng)數(shù)據(jù)庫(kù)技術(shù)專家全面構(gòu)建云原生數(shù)據(jù)庫(kù)體系，全面推進(jìn)存儲(chǔ)計(jì)算分離架構(gòu)，通過(guò)冷熱溫分層存儲(chǔ)大幅降低存儲(chǔ)成本，通過(guò)升級(jí)向量化引擎和優(yōu)化器框架大幅提升計(jì)算性能，全面推進(jìn)離在線一體化架構(gòu)，進(jìn)一步提升在一套技術(shù)架構(gòu)下同時(shí)穩(wěn)定運(yùn)行在線實(shí)時(shí)查詢和離線批量計(jì)算任務(wù)的能力。正是有了以李曉宇為代表的技術(shù)專家的這些技術(shù)積累和沉淀，AnalyticDB在今年的雙十一戰(zhàn)場(chǎng)上才能更加穩(wěn)定從容，各項(xiàng)業(yè)務(wù)指標(biāo)繼續(xù)再創(chuàng)新高，今年雙十一期間累計(jì)實(shí)時(shí)寫入21萬(wàn)億條數(shù)據(jù)，批量導(dǎo)入113萬(wàn)億條數(shù)據(jù)，完成350億次在線查詢和2500萬(wàn)個(gè)離線任務(wù)，累計(jì)590PB數(shù)據(jù)參與計(jì)算。
李曉宇表示，不論是從支持業(yè)務(wù)場(chǎng)景的復(fù)雜度上看，還是從數(shù)據(jù)規(guī)模和計(jì)算規(guī)模上看，AnalyticDB作為離在線一體化架構(gòu)下的新一代云原生數(shù)據(jù)倉(cāng)庫(kù)已經(jīng)越來(lái)越成熟，可以為各種業(yè)務(wù)提供核心報(bào)表計(jì)算、實(shí)時(shí)分析決策、活動(dòng)大屏與系統(tǒng)監(jiān)控、智能營(yíng)銷等通用能力。同時(shí)，今年AnalyticDB重點(diǎn)結(jié)合手淘訂單搜索和推薦、實(shí)時(shí)訂單同步等核心業(yè)務(wù)場(chǎng)景，以技術(shù)創(chuàng)新為核心，幫助業(yè)務(wù)解決了不少長(zhǎng)期困擾的棘手問(wèn)題，助力業(yè)務(wù)在用戶體驗(yàn)、綠色低碳、業(yè)務(wù)創(chuàng)新、安全穩(wěn)定等方面取得新突破。
AnalyticDB最新核心技術(shù)解析
李曉宇數(shù)據(jù)庫(kù)技術(shù)團(tuán)隊(duì)對(duì)AnalyticDB的存儲(chǔ)層完成了服務(wù)化改造，具備一份數(shù)據(jù)、一套存儲(chǔ)格式同時(shí)支持實(shí)時(shí)更新、交互式查詢、離線ETL及明細(xì)點(diǎn)查多場(chǎng)景一體化能力?；诖鎯?chǔ)服務(wù)層、行列混存、分層存儲(chǔ)、自適應(yīng)索引等技術(shù)，可同時(shí)支持在線低延遲+強(qiáng)一致和離線高吞吐兩種數(shù)據(jù)讀寫場(chǎng)景。
接口層方面，AnalyticDB存儲(chǔ)向上提供統(tǒng)一的數(shù)據(jù)訪問(wèn)接口，在數(shù)據(jù)交互方面，李曉宇采用Apache Arrow數(shù)據(jù)格式，基于零拷貝技術(shù)實(shí)現(xiàn)高效傳輸，計(jì)算層可以基于Arrow內(nèi)存列式的接口進(jìn)行CPU友好的向量化計(jì)算加速;元數(shù)據(jù)兼容Hive metaService的Thrift交互協(xié)議，開源計(jì)算引擎可以無(wú)縫對(duì)接AnalyticDB存儲(chǔ)系統(tǒng)。
服務(wù)層方面，李曉宇對(duì)AnalyticDB存儲(chǔ)采用類LSM架構(gòu)，把存儲(chǔ)分為實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)兩部分，實(shí)時(shí)數(shù)據(jù)存儲(chǔ)在在線存儲(chǔ)節(jié)點(diǎn)上，作為“熱”數(shù)據(jù)，支持低延遲數(shù)據(jù)訪問(wèn)，且支持強(qiáng)一致CURD。歷史數(shù)據(jù)存儲(chǔ)在OSS或HDFS等低成本的分布式文件系統(tǒng)上，作為“冷”數(shù)據(jù)，支持高吞吐數(shù)據(jù)訪問(wèn)。同時(shí)，AnalyticDB存儲(chǔ)服務(wù)層還支持謂詞、投影、聚合、Top N等計(jì)算下推能力，減少數(shù)據(jù)的掃描和讀取量，進(jìn)一步加速查詢。
行列混存：離在線統(tǒng)一存儲(chǔ)格式
既然提供了一體化的存儲(chǔ)服務(wù)，必然會(huì)涉及到在線低延遲查詢和離線高吞吐計(jì)算場(chǎng)景，因此，李曉宇團(tuán)隊(duì)在AnalyticDB存儲(chǔ)格式方面采用PAX格式兼顧了離在線兩種場(chǎng)景。
在線場(chǎng)景，與索引配合提供高效的檢索查找能力。AnalyticDB的存儲(chǔ)格式每個(gè)Chunk定長(zhǎng)存儲(chǔ)，能夠和索引深度融合，可以基于行號(hào)隨機(jī)查找，保證高效的隨機(jī)讀性能，可以很好地滿足在線多維度篩選的場(chǎng)景。此外，還提供了豐富的統(tǒng)計(jì)信息，可以和索引配合做疊加優(yōu)化，從而進(jìn)一步加速查詢。
離線場(chǎng)景，在AnalyticDB的存儲(chǔ)格式方面，李曉宇按照Chunk粒度切分?jǐn)?shù)據(jù)讀取的并行度進(jìn)行設(shè)計(jì)，實(shí)現(xiàn)多Chunk并行訪問(wèn)，提高離線讀的吞吐性能。AnalyticDB的一張表支持多個(gè)分區(qū)，且分區(qū)內(nèi)支持多Segment，可以通過(guò)切分Segment來(lái)提高數(shù)據(jù)寫入的并行度，從而提高離線寫的吞吐性能。此外，每個(gè)Chunk提供了Min/Max等粗糙集索引信息，可以利用這些索引信息減少離線讀的數(shù)據(jù)掃描量和IO資源消耗。
經(jīng)過(guò)多年雙11的淬煉，AnalyticDB不僅抗住了一年高過(guò)一年的的極端負(fù)載和流量，也在不斷豐富的業(yè)務(wù)場(chǎng)景中逐步成長(zhǎng)，不斷賦能到集團(tuán)內(nèi)外各種新老業(yè)務(wù)和場(chǎng)景中，逐步成長(zhǎng)為新一代云原生數(shù)據(jù)倉(cāng)庫(kù)的佼佼者。接下來(lái)AnalyticDB將繼續(xù)以“人人可用的數(shù)據(jù)服務(wù)”為使命，進(jìn)一步擁抱云原生，構(gòu)建數(shù)據(jù)庫(kù)+大數(shù)據(jù)一體化架構(gòu)，建設(shè)極致彈性、離在線一體、高性價(jià)比、智能自治等企業(yè)級(jí)能力，進(jìn)一步賦能用戶挖掘數(shù)據(jù)背后的商業(yè)價(jià)值。(作者：楊小靜)
