【ITBEAR】小紅書技術(shù)團(tuán)隊(duì)近日達(dá)成一項(xiàng)行業(yè)創(chuàng)舉，成功將其龐大的數(shù)據(jù)湖無故障遷移至阿里云，此舉在業(yè)界堪稱前所未有。
作為月活用戶超3億的頭部互聯(lián)網(wǎng)企業(yè)，小紅書的數(shù)據(jù)湖匯集了11年來的全部原始數(shù)據(jù)，包含多樣化的數(shù)據(jù)結(jié)構(gòu)。隨著業(yè)務(wù)的迅猛擴(kuò)展，公司對(duì)數(shù)據(jù)的實(shí)時(shí)處理能力提出了更高要求，而歷史數(shù)據(jù)的離線處理也面臨諸多挑戰(zhàn)。
為了應(yīng)對(duì)這些挑戰(zhàn)，小紅書于2023年11月啟動(dòng)了遷云項(xiàng)目，目標(biāo)是在一年內(nèi)將數(shù)據(jù)湖平穩(wěn)遷移至阿里云。該項(xiàng)目的規(guī)模之大，即便是與業(yè)界之前的案例相比，也顯得尤為突出。
遷云項(xiàng)目在2024年5月正式進(jìn)入雙跑階段，這是切換至新環(huán)境前的關(guān)鍵測(cè)試期，對(duì)確保系統(tǒng)穩(wěn)定性至關(guān)重要。在此期間，技術(shù)團(tuán)隊(duì)面臨了海量的問題挑戰(zhàn)，每周平均需應(yīng)對(duì)500余個(gè)新增問題。
得益于阿里云團(tuán)隊(duì)的全力支持，小紅書技術(shù)團(tuán)隊(duì)成功完成了割接任務(wù)，且全程未出現(xiàn)任何P2級(jí)別及以上的故障。這一成就標(biāo)志著小紅書在數(shù)據(jù)處理能力上邁上了新臺(tái)階。
至2024年11月，遷云項(xiàng)目圓滿落幕。在整個(gè)過程中，技術(shù)團(tuán)隊(duì)共遷移了500PB的數(shù)據(jù)量，執(zhí)行了11萬項(xiàng)任務(wù)，參與人員達(dá)1500人，涉及公司內(nèi)部40余個(gè)部門。這一壯舉不僅展示了小紅書在技術(shù)創(chuàng)新方面的實(shí)力，也為行業(yè)樹立了新的標(biāo)桿。
