近日，中國(guó)地震臺(tái)網(wǎng)中心與火山引擎達(dá)成合作，雙方將圍繞ByteHouse實(shí)時(shí)數(shù)倉(cāng)展開(kāi)合作。
中國(guó)地震臺(tái)網(wǎng)中心為中國(guó)地震局直屬事業(yè)單位，是我國(guó)防震減災(zāi)工作的重要業(yè)務(wù)樞紐、核心技術(shù)平臺(tái)和基礎(chǔ)信息國(guó)際交流的重要窗口;從事地震監(jiān)測(cè)、預(yù)報(bào)預(yù)警、應(yīng)急響應(yīng)和信息化工作，是統(tǒng)一指導(dǎo)省地震臺(tái)、中心站業(yè)務(wù)的國(guó)家地震臺(tái)。
中國(guó)地震臺(tái)網(wǎng)中心地球物理臺(tái)網(wǎng)部負(fù)責(zé)人鄒銳主任表示，此前中心一直使用開(kāi)源數(shù)據(jù)引擎ClickHouse，但隨著數(shù)據(jù)量不斷擴(kuò)大，在數(shù)據(jù)的實(shí)時(shí)寫入去重，數(shù)據(jù)的更新、刪除以及集群運(yùn)維方面存在嚴(yán)重不足，因此亟需找到新的解決方案。
如何在保持高性能查詢的情況下完成數(shù)據(jù)的實(shí)時(shí)寫入去重?cái)?shù)據(jù)更新以及刪除，一直是ClickHouse用戶比較頭疼的問(wèn)題。以中國(guó)地震臺(tái)網(wǎng)中心為例，中心日常在處理海量數(shù)據(jù)時(shí)，由于開(kāi)源Clickhouse的去重延遲導(dǎo)致數(shù)據(jù)的準(zhǔn)確性降低，同時(shí)隨著元數(shù)據(jù)的不斷增長(zhǎng)，導(dǎo)致集群的重啟時(shí)間過(guò)長(zhǎng)，進(jìn)而影響業(yè)務(wù)的時(shí)效性。
字節(jié)跳動(dòng)在2017年就開(kāi)始大規(guī)模啟用ClickHouse，并擁有著國(guó)內(nèi)規(guī)模最大的ClickHouse集群。在深度使用的過(guò)程中，字節(jié)跳動(dòng)積累了大量經(jīng)驗(yàn)，并對(duì)ClickHouse做了深度優(yōu)化與自研改造的工作，最終在2021年8月正式發(fā)布ByteHouse，并通過(guò)火山引擎對(duì)外服務(wù)。
架構(gòu)上，火山引擎ByteHouse采用自研的高可用引擎HaEngine，數(shù)據(jù)實(shí)時(shí)更新、刪除的HaUnique引擎，以及高可用實(shí)時(shí)寫入的HaKafka引擎，同時(shí)在集群的運(yùn)維和多表關(guān)聯(lián)的場(chǎng)景都做了相應(yīng)的增強(qiáng)。
在上述提到的實(shí)時(shí)數(shù)倉(cāng)場(chǎng)景下，ByteHouse使用全自研的優(yōu)化，在復(fù)雜查詢的場(chǎng)景下具備更高的查詢效能，豐富的表引擎不僅能幫助地震臺(tái)網(wǎng)中心實(shí)現(xiàn)數(shù)據(jù)的快速寫入去重、更新、刪除與分析，還能支持高效方便的運(yùn)維方式，實(shí)現(xiàn)高性能更靈活的實(shí)時(shí)查詢。
作為一款云原生數(shù)據(jù)倉(cāng)庫(kù)，火山引擎ByteHouse也可以私有化部署，為像中國(guó)地震臺(tái)網(wǎng)中心等面臨海量數(shù)據(jù)實(shí)時(shí)分析場(chǎng)景的政企用戶們，帶來(lái)極速的分析體驗(yàn)，助力企業(yè)數(shù)字化轉(zhuǎn)型。(作者：馬梓)
