隨著各大汽車廠商相繼大力投入自動(dòng)駕駛業(yè)務(wù),動(dòng)輒數(shù)十PB的數(shù)據(jù)注入存儲(chǔ)和每天數(shù)PB的數(shù)據(jù)IO參與計(jì)算已經(jīng)成為自動(dòng)駕駛開發(fā)的常態(tài)。如何降低自動(dòng)駕駛開發(fā)過(guò)程中的海量數(shù)據(jù)存儲(chǔ)成本和高性能、高可靠、高擴(kuò)展性需求是騰訊自動(dòng)駕駛專有云團(tuán)隊(duì)的當(dāng)務(wù)之急。
“自動(dòng)駕駛開發(fā)行業(yè)當(dāng)前的核心需求是合規(guī)存儲(chǔ),核心痛點(diǎn)是成本高。” 項(xiàng)目組對(duì)當(dāng)前自動(dòng)駕駛開發(fā)行業(yè)的痛點(diǎn)了解頗深:“行業(yè)周知自動(dòng)駕駛研發(fā)成本高,周期長(zhǎng)。雖然很多車企都在大力投入軟件開發(fā),但是面臨長(zhǎng)期投入和快速回報(bào)的問(wèn)題,減少預(yù)算壓力、降低開發(fā)成本是非常必要的。然后是合規(guī),以及如何安全的存儲(chǔ)。數(shù)據(jù)和算法是自動(dòng)駕駛開發(fā)者的核心機(jī)密,不能有任何閃失。”
自動(dòng)駕駛研發(fā)所需要的高精度地圖各種場(chǎng)景數(shù)據(jù),需要通過(guò)采集,標(biāo)注,分析,合規(guī)等一系列流程,在云端存儲(chǔ)和調(diào)用,需要高性能高密度服務(wù)器和配套設(shè)施,儲(chǔ)存成本每年往往高達(dá)上億元。而自動(dòng)駕駛的快速進(jìn)展,也需要與之相應(yīng)的服務(wù)器不斷擴(kuò)容,每天有數(shù)十甚至數(shù)百TB的新增數(shù)據(jù)注入,經(jīng)過(guò)智能化提取和標(biāo)注,產(chǎn)生結(jié)構(gòu)化、非結(jié)構(gòu)化等各種存儲(chǔ)類型需求,共同形成了數(shù)據(jù)湖,來(lái)滿足自動(dòng)駕駛算法訓(xùn)練、仿真、評(píng)測(cè)等迭代過(guò)程,帶來(lái)的是成本增幅的線性成倍增長(zhǎng)。
為此,騰訊汽車云團(tuán)隊(duì)和騰訊大數(shù)據(jù)團(tuán)隊(duì)合作建立了專項(xiàng)攻堅(jiān)項(xiàng)目組,針對(duì)自動(dòng)駕駛開發(fā)數(shù)據(jù)采集、存儲(chǔ)和開發(fā)場(chǎng)景下的需求特點(diǎn)開始了選型和攻堅(jiān)。歷時(shí)將近一年的打磨,項(xiàng)目團(tuán)隊(duì)選用Ozone+騰訊云星星海自研服務(wù)器和自研JBOD的軟硬件一體化解決方案,將存儲(chǔ)方案整體集群讀寫帶寬提升50%,存儲(chǔ)硬件成本降低60%以上,達(dá)到業(yè)內(nèi)領(lǐng)先水平,讓車企的高精度地圖的存儲(chǔ)成本可以大幅度消減。
Ozone作為對(duì)象存儲(chǔ)和大數(shù)據(jù)存儲(chǔ)的主要解決方案,特別適合自動(dòng)駕駛開發(fā)場(chǎng)景下百億級(jí)海量小文件的存儲(chǔ)需求,解決融合存儲(chǔ)需求的同時(shí)極大的存儲(chǔ)成本。作為脫胎于Hadoop的開源存儲(chǔ)項(xiàng)目,Ozone的目標(biāo)是打造大數(shù)據(jù)場(chǎng)景下融合文件系統(tǒng)和對(duì)象存儲(chǔ)的統(tǒng)一方案,生態(tài)上支持Hadoop FS,對(duì)象/S3,本地路徑Mount和K8s CSI等多種訪問(wèn)方式,針對(duì)大數(shù)據(jù)場(chǎng)景下的小文件和集群scale up做了很多優(yōu)化。同時(shí),Ozone分布式架構(gòu)和利用Raft協(xié)議維護(hù)的一致性保證了Ozone存儲(chǔ)集群在和計(jì)算節(jié)點(diǎn)分離部署時(shí)更強(qiáng)的集群管理能力,可以說(shuō),在大數(shù)據(jù)生態(tài)中,Ozone對(duì)于Hadoop Capitible和對(duì)象的整合能力決定了其存算分離部署場(chǎng)景下的排頭兵位置。
在硬件方面,針對(duì)計(jì)算存儲(chǔ)分離部署場(chǎng)景下,大數(shù)據(jù)產(chǎn)生的海量數(shù)據(jù)存儲(chǔ)容量和成本問(wèn)題,項(xiàng)目組團(tuán)隊(duì)在騰訊云自研星星海硬件機(jī)型中走出一種全新的嘗試。騰訊星星海實(shí)驗(yàn)室是騰訊首個(gè)硬件工程實(shí)驗(yàn)室,主要專注于服務(wù)器等硬件系統(tǒng)架構(gòu)設(shè)計(jì)和前瞻性基礎(chǔ)技術(shù)研究,已經(jīng)在計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等領(lǐng)域研發(fā)了領(lǐng)先的技術(shù)和產(chǎn)品。針對(duì)汽車云海量存儲(chǔ)的性能和成本訴求,自研星星海服務(wù)器進(jìn)一步優(yōu)化單個(gè)數(shù)據(jù)節(jié)點(diǎn)的存儲(chǔ)上限,從而極大的減小了集群規(guī)模,降低了儲(chǔ)存成本。
針對(duì)客戶單個(gè)集群數(shù)十PB的存儲(chǔ)需求,項(xiàng)目組使用自研星星海+自研JBOD的硬件集群配置,追求在集群化管理成本最小的代價(jià)下,可以容納更多的用戶數(shù)據(jù),最大化提升集群利用率。利用Ozone + 自研星星海服務(wù)器的組合,可以為自動(dòng)駕駛開發(fā)者提供超低成本的專有云解決方案。
騰迅汽車云Ozone + 自研星星海服務(wù)器解決方案核心技術(shù)優(yōu)勢(shì):
1、元數(shù)據(jù)管理成本和消耗低。數(shù)據(jù)以三副本的方式寫入,總體元數(shù)據(jù)消耗在0.5%以下。單個(gè)Ozone元數(shù)據(jù)Master節(jié)點(diǎn)可以管理上千個(gè)數(shù)據(jù)節(jié)點(diǎn),同時(shí)支持元數(shù)據(jù)進(jìn)程和數(shù)據(jù)進(jìn)程部署在同一節(jié)點(diǎn)上。Ozone的部署方式可以最大化利用每一個(gè)星星海機(jī)器的存儲(chǔ)能力,每一個(gè)星星海+JBOD的機(jī)器都可以當(dāng)做數(shù)據(jù)節(jié)點(diǎn)。
2、MultiRaft特性和特有的均衡算法,保證數(shù)據(jù)強(qiáng)一致性和關(guān)鍵性能指標(biāo)。
3、結(jié)合自動(dòng)駕駛開發(fā)的業(yè)務(wù)特點(diǎn),Ozone提供了大數(shù)據(jù)存儲(chǔ)、對(duì)象存儲(chǔ)和文件系統(tǒng)等多種訪問(wèn)語(yǔ)義,真正意義上做到了融合存儲(chǔ)的方案,汽車云從大數(shù)據(jù)Spark場(chǎng)景到仿真數(shù)據(jù)通過(guò)Windows Samba和Linux上NFS等模式都統(tǒng)一寫入同一個(gè)Ozone集群。這樣的訪問(wèn)模式配合星星海的硬件存儲(chǔ)能力,在存儲(chǔ)計(jì)算分離部署下,給予了用戶全新的資源整合的方式,同時(shí)極大的保證了數(shù)據(jù)強(qiáng)一致性和高冗余度。
技術(shù)追求無(wú)止境,每一個(gè)技術(shù)點(diǎn)項(xiàng)目團(tuán)隊(duì)都力求極致,最求低成本高性能就要利用Ozone的MultiRaft特性發(fā)揮JBOD每塊磁盤的作用,將單節(jié)點(diǎn)的IO性能和帶寬穩(wěn)定在滿足業(yè)務(wù)需求的水平。網(wǎng)絡(luò)抖動(dòng)和心跳丟失、IO不均衡、單盤阻塞等問(wèn)題時(shí)不時(shí)騷擾幾個(gè)核心開發(fā)人員,在經(jīng)歷了無(wú)數(shù)次嘗試后,開發(fā)小哥半夜突發(fā)奇招,調(diào)整硬件調(diào)度策略,配合相關(guān)調(diào)優(yōu)措施,一舉突破障礙,極大提升了關(guān)鍵目標(biāo)核心性能,為自動(dòng)駕駛開發(fā)低成本解決方案立了一大功!
通過(guò)調(diào)整星星海服務(wù)的IO調(diào)度模型和結(jié)合了Ozone的軟件方案,最終將集群整體讀寫帶寬提升了超過(guò)50%:
(圖示為不同調(diào)度策略的IO對(duì)比,灰色圖形為最終選擇的IO模型)
騰訊自動(dòng)駕駛專有云低成本解決方案提供自動(dòng)駕駛數(shù)據(jù)存儲(chǔ)、計(jì)算、標(biāo)注、模擬仿真、鏡像倉(cāng)庫(kù)、應(yīng)用發(fā)布等一攬子服務(wù)。低成本、合規(guī)是核心;可靠、安全、穩(wěn)定、合規(guī)是基礎(chǔ)能力。在自動(dòng)駕駛研發(fā)和量產(chǎn)的道路上,騰訊自動(dòng)駕駛專有云方案,助力車企突破成本和效率的障礙,加速技術(shù)的研發(fā)進(jìn)程。
