2023年8月23日-25日，全國(guó)高性能計(jì)算學(xué)術(shù)年會(huì)（CCF HPC China 2023）在青島舉辦。 在本屆大會(huì)上，華為自研企業(yè)級(jí)超大規(guī)模集群分布式管理軟件-多瑙調(diào)度器憑借其高效調(diào)度能力、多樣性算力支持和極簡(jiǎn)管理的先進(jìn)性和創(chuàng)新性，榮獲中國(guó)計(jì)算機(jī)學(xué)會(huì)高性能計(jì)算專(zhuān)業(yè)委員會(huì)頒發(fā)的技術(shù)創(chuàng)新獎(jiǎng)。
高性能計(jì)算正在從高精尖科研創(chuàng)新領(lǐng)域走向千行百業(yè)。2022年，華為正式發(fā)布了鯤鵬高性能計(jì)算解決方案（鯤鵬HPC解決方案），該方案基于鯤鵬全棧（含硬件、基礎(chǔ)軟件、應(yīng)用優(yōu)化等），通過(guò)硬件開(kāi)放和軟件開(kāi)源，打造高性能、高算力的整機(jī)產(chǎn)品和完整的高性能計(jì)算基礎(chǔ)軟件棧。多瑙套件（含多瑙管理平臺(tái)和多瑙調(diào)度器）是鯤鵬HPC解決方案的核心軟件，多瑙調(diào)度器支持百萬(wàn)核超大規(guī)模調(diào)度和異構(gòu)多集群統(tǒng)一管理，大幅提升集群管理效率和多核作業(yè)調(diào)度能力。
調(diào)度器作為集群計(jì)算的大腦，主要負(fù)責(zé)為任務(wù)分配相應(yīng)的系統(tǒng)資源。好的調(diào)度器可以充分發(fā)揮集群資源的有效算力，為用戶帶來(lái)極致的性價(jià)比；反之則會(huì)導(dǎo)致嚴(yán)重的資源浪費(fèi)，甚至是集群癱瘓。
華為自研企業(yè)級(jí)超大規(guī)模集群分布式管理軟件-多瑙調(diào)度器，支持融合應(yīng)用跨多樣性算力資源的統(tǒng)一調(diào)度和管理，實(shí)現(xiàn)大規(guī)模、高資源利用效率、高調(diào)度性能，為多樣性計(jì)算集群提供應(yīng)用和資源的最佳匹配。多瑙調(diào)度器基于前沿的架構(gòu)設(shè)計(jì)理念進(jìn)行設(shè)計(jì)開(kāi)發(fā)，橫向支持HPC、AI、大數(shù)據(jù)多場(chǎng)景統(tǒng)一調(diào)度；縱向支持應(yīng)用、算力、存儲(chǔ)、網(wǎng)絡(luò)、能耗深度感知和多維度智能調(diào)度；跨數(shù)據(jù)中心支持?jǐn)?shù)據(jù)中心間資源協(xié)同，全局調(diào)度，并具備以下三大先進(jìn)性和創(chuàng)新性：
●高效調(diào)度：通過(guò)自研多線程事件引擎、IO技術(shù)優(yōu)化，支持單集群1萬(wàn)節(jié)點(diǎn)/百萬(wàn)核資源調(diào)度，資源利用率90%+，吞吐量超過(guò)400萬(wàn)/小時(shí)；通過(guò)啟動(dòng)作業(yè)多級(jí)樹(shù)狀分發(fā)關(guān)鍵技術(shù)創(chuàng)新，支持40萬(wàn)RANK MPI作業(yè)調(diào)度啟動(dòng)。
●多樣性支持：通過(guò)節(jié)點(diǎn)標(biāo)簽、資源模型抽象統(tǒng)一技術(shù)，支持鯤鵬/x86/GPU多樣性算力混合部署；通過(guò)架構(gòu)分層、接口適配，以不侵入修改三方集群方式支持異構(gòu)多集群統(tǒng)一管理，實(shí)現(xiàn)資源統(tǒng)籌規(guī)劃和高效利用。
●極簡(jiǎn)管理：集成應(yīng)用、監(jiān)控、報(bào)表、計(jì)費(fèi)四大中心功能，通過(guò)Web界面可視化管理集群，管理效率提升30%；提供設(shè)計(jì)計(jì)算一體化集成能力，數(shù)據(jù)不出湖，端到端保障數(shù)據(jù)安全。
多瑙度器一經(jīng)推出，受到了廣大客戶的青睞，目前已經(jīng)在教育科研、制造、氣象、生命科學(xué)、高能物理、材料化學(xué)等各個(gè)行業(yè)應(yīng)用，幫助客戶打造性能更佳、成本更優(yōu)、效率更高的高性能計(jì)算基礎(chǔ)設(shè)施“底座”提供重要支撐，為高性能計(jì)算用戶提供更容易落地的產(chǎn)品和解決方案，加速構(gòu)建創(chuàng)新發(fā)展格局。
