2011年，我國血液學(xué)名家、中國科學(xué)院院士、瑞金醫(yī)院終身教授、國家最高科學(xué)技術(shù)獎獲得者王振義建議，需要在我國大力開展轉(zhuǎn)化醫(yī)學(xué)研究，提高我國的醫(yī)療服務(wù)水平，更好地服務(wù)于國民健康。這一建議得到了國家重視并由此拉開了我國轉(zhuǎn)化醫(yī)學(xué)建設(shè)的帷幕：即開始在上海、成都、北京協(xié)和、解放軍總醫(yī)院、陜西西安布局建設(shè)轉(zhuǎn)化醫(yī)學(xué)研究設(shè)施，以求形成覆蓋全國主要區(qū)域的轉(zhuǎn)化醫(yī)學(xué)研究支撐網(wǎng)絡(luò)。其中，上海這個“支撐網(wǎng)絡(luò)節(jié)點”——轉(zhuǎn)化醫(yī)學(xué)國家重大科技基礎(chǔ)設(shè)施(上海)就設(shè)在了上海交通大學(xué)閔行校區(qū)和上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院，它2013年7月立項，2016年3月開工，2019年初閔行基地試運行，2020年12月瑞金基地轉(zhuǎn)化醫(yī)學(xué)大樓啟用，標(biāo)志著中國首個國家級綜合性轉(zhuǎn)化醫(yī)學(xué)大設(shè)施正式落成并投入運營。這是繼上海光源大設(shè)施、上海蛋白質(zhì)中心后，第三家落戶上海的國家級大設(shè)施。
一、20年前的一個概念，為何如此重要？
轉(zhuǎn)化醫(yī)學(xué)的概念，源于20多年前。
那是在上世紀(jì)末，NIH(美國國立衛(wèi)生研究院)每年的研究經(jīng)費高達200多億美元。這引發(fā)了一個問題：發(fā)明了那么多新技術(shù)，積累了那么多新知識，發(fā)表了那么多高水平論文，為什么人們的健康狀況并沒有得到顯著改善?
這也是轉(zhuǎn)化醫(yī)學(xué)要解決的靈魂之問——即，如何將基礎(chǔ)醫(yī)學(xué)研究與臨床實踐更為緊密地結(jié)合起來。轉(zhuǎn)化醫(yī)學(xué)的初衷，就是要把臨床提出的問題快速轉(zhuǎn)化為基礎(chǔ)研究項目，而后再將研究項目的成果同樣高效地轉(zhuǎn)化為針對臨床患者疾病的精準(zhǔn)預(yù)防、診斷、治療及預(yù)后評估等一系列方案，從而讓新技術(shù)和研究成果更快、也更有的放矢地用于改善人類健康的大業(yè)中。
談到這種雙向高效轉(zhuǎn)化的重要性，瑞金醫(yī)院國家轉(zhuǎn)化醫(yī)學(xué)中心生信大數(shù)據(jù)平臺共同負責(zé)人呂綱曾做過一個貼切的比喻：“就像小說里的武功高手要練成絕世武功，都要打通任督二脈;而在當(dāng)今的發(fā)達醫(yī)學(xué)領(lǐng)域也是如此，臨床醫(yī)學(xué)與基礎(chǔ)研究這二脈也亟需打通?！?/p>
上海瑞金醫(yī)院國家轉(zhuǎn)化醫(yī)學(xué)中心的成立，是我國推進轉(zhuǎn)化醫(yī)學(xué)實踐的重要一步，它將攻關(guān)方向鎖定在針對我國重大疾病診療的重大關(guān)鍵技術(shù)的探索上，其重點在腫瘤、代謝性疾病和心腦血管疾病等領(lǐng)域，旨在研究相關(guān)發(fā)病機理和規(guī)律，解決疾病的發(fā)生、發(fā)展與轉(zhuǎn)歸中的重大科學(xué)問題。該中心擁有層流研究病房和數(shù)字化能量代謝倉，對臨床研究數(shù)據(jù)可以進行智能感知和自主集采;另外，國家轉(zhuǎn)化醫(yī)學(xué)中心擁有百萬級別樣本數(shù)據(jù)庫，具備高通量測序、質(zhì)譜和藥篩等組學(xué)研究平臺。
呂綱
二、高性能計算：轉(zhuǎn)化醫(yī)學(xué)實踐的技術(shù)保障
那么，轉(zhuǎn)化醫(yī)學(xué)中心具體在做什么?舉一個簡單的例子，與完成病理分析及少量分子檢測后即可實施手術(shù)或化療的傳統(tǒng)癌癥治療方案不同，轉(zhuǎn)化醫(yī)學(xué)需要對患者的整個基因組進行分析，以指導(dǎo)藥企及臨床醫(yī)生進行更有針對性的藥物及治療方案研究，從而為患者提供更為精準(zhǔn)、更加有效的診療。
據(jù)呂綱介紹：“轉(zhuǎn)化醫(yī)學(xué)中心工作涉及面廣，包含組學(xué)技術(shù)、生信分析、基礎(chǔ)醫(yī)學(xué)研究和藥物開發(fā)等各個方面。生物信息學(xué)研究是轉(zhuǎn)化醫(yī)學(xué)研究的基石，它會涉及對蛋白質(zhì)、DNA和RNA等生物分子的研究?！?/p>
可見，轉(zhuǎn)化醫(yī)學(xué)與數(shù)據(jù)處理和分析息息相關(guān)，包含了生物信息的獲取、加工、儲存、分配、分析、解釋等方方面面。而涉及的數(shù)據(jù)量龐大：每個文件大小可能達上百GB，例如，僅單個人類全基因組測序分析涉及的數(shù)據(jù)就可能高達870GB。
如此體量的數(shù)據(jù)，就讓數(shù)據(jù)處理速度變得更為關(guān)鍵，而且中心招募的患者通常病情都比較危急，需要以盡可能快的速度基于患者生信數(shù)據(jù)分析結(jié)果給出針對性的創(chuàng)新療法。
舉個例子，在2020年新冠疫情爆發(fā)之初，瑞金醫(yī)院國家轉(zhuǎn)化醫(yī)學(xué)中心就與上海公衛(wèi)中心進行合作，成立了新冠研究課題聯(lián)合攻關(guān)組，對疫情初期的326例患者，進行了病毒基因組、臨床表現(xiàn)、免疫反應(yīng)等數(shù)據(jù)的深度分析和全球數(shù)據(jù)分享。從項目開始到最終相關(guān)研究成果在《Nature》主刊上發(fā)表，總共用了短短的45天時間。再比如，做面對超高深度腫瘤全基因組測序這種超大數(shù)據(jù)的處理，原本需要近7天時間，而現(xiàn)在只需要7-8個小時就可以完成。計算時間大幅縮短，意味著病人可以更早得到檢測信息和分析結(jié)果，更早接受對應(yīng)的治療方案。
從上述的兩個實例來看，瑞金醫(yī)院國家轉(zhuǎn)化醫(yī)學(xué)中心的很多工作，都是“與死神賽跑”的過程，而且其加速的過程，或者說效率的提升，都與承載生物信息學(xué)研究的IT平臺，尤其是強大的高性能計算(HPC)平臺密不可分。這就是瑞金醫(yī)院國家轉(zhuǎn)化醫(yī)學(xué)中心構(gòu)建和優(yōu)化其專用生物信息大數(shù)據(jù)平臺ASTRA的初衷，這是一個集存、傳、算、用為一體的的定制化平臺，為轉(zhuǎn)化醫(yī)學(xué)實踐提供了堅實可靠的技術(shù)基礎(chǔ)。
三、超算不僅需要更高算力，也要搭配更強存儲
HPC又稱超算，顧名思義，主要是憑借超強算力來解決這個世界上最復(fù)雜的各類科學(xué)問題。早期的HPC主要應(yīng)用于政府或國家級科研機構(gòu)主導(dǎo)的大型基礎(chǔ)科研項目，如美國在1960年代曾使用CDC超級計算機進行火箭設(shè)計等工作。再后來，金融、天氣預(yù)測領(lǐng)域也越來越常見到高性能計算的身影。
而隨著基于x86架構(gòu)處理器的工業(yè)標(biāo)準(zhǔn)化集群的采用，HPC更是走出了象牙塔，開始走入工業(yè)界中的多個行業(yè)，成為他們開展產(chǎn)品、技術(shù)和服務(wù)創(chuàng)新的重要驅(qū)動力。基于此，人們也繼理論科學(xué)和實驗科學(xué)之后，將高性能計算稱為科學(xué)的第三支柱。而瑞金國家轉(zhuǎn)化醫(yī)學(xué)中心對于HPC的應(yīng)用屬于醫(yī)療和生命科學(xué)領(lǐng)域的實踐，也是當(dāng)今HPC諸多行業(yè)應(yīng)用場景中的重中之重。
那么，在構(gòu)建這樣的HPC系統(tǒng)的過程中，有什么問題是需要格外關(guān)注的呢?
毋庸質(zhì)疑，算力當(dāng)屬其第一關(guān)心的要素。事實上，這種關(guān)注和投入，所換得的成果也異常豐碩，我們只舉一個例子就足以說明算力增長之猛：1996年在全球高性能計算機500強排行榜上首個打破每秒萬億次浮點計算紀(jì)錄的ASCI Red系統(tǒng)足足使用了6000顆英特爾奔騰Pro處理器，而現(xiàn)在很多主流芯片產(chǎn)品只需單顆就可以打平和超越這一算力，同時今天HPC的頂流算力也更是以每秒百億億次浮點計算為衡量標(biāo)準(zhǔn)，如美國阿貢實驗室即將采用代號為Sapphire Rapids的第四代英特爾至強可擴展處理器，以及代號為Ponte Vecchio的英特爾數(shù)據(jù)中心GPU建設(shè)的Aurora(極光)超算系統(tǒng)，性能輸出水平就能達到每秒兩百億億次，足足是ASCI Red的約200萬倍。
或許正是因為算力提升的速度快到令人難以置信，反而讓如今的HPC系統(tǒng)開始普遍面臨“失衡”的問題，即其計算，與其存儲和網(wǎng)絡(luò)的性能拉開了非常大的差距。
要知道，任何一個HPC平臺的規(guī)劃都是一個系統(tǒng)性工程，它在體系結(jié)構(gòu)設(shè)計、高速互聯(lián)網(wǎng)絡(luò)、并行文件系統(tǒng)、存儲陣列等任何方面的欠缺或不足，都可能拖累平臺的整體性能。換言之，算力爆棚但其他方面拉胯，就很可能讓高算力空轉(zhuǎn)，無法充分釋放其價值。
這種“失衡”，如今在計算和存儲間的表現(xiàn)尤為明顯——在算法和算力已取得顯著提升的今天，不論是機械硬盤，還是固態(tài)盤在讀寫速度和帶寬上都已遠遠跟不上算力的需求，而距離算力單元更近、性能較強且擔(dān)負熱數(shù)據(jù)承載重任的內(nèi)存子系統(tǒng)，又很難擴展其容量。
這可能就是HPC平臺算力與存儲性能失衡的根因，它會引發(fā)“存儲墻”或“數(shù)據(jù)墻”問題，使得算力單元與內(nèi)存及存儲之間就像隔著一堵墻，使其無法得到數(shù)據(jù)的高效供應(yīng)，或影響數(shù)據(jù)高并發(fā)訪問時的效率。這種傳統(tǒng)內(nèi)存-存儲在架構(gòu)和性能上的瓶頸，會在業(yè)務(wù)和應(yīng)用層面造成算力投資的浪費，影響相關(guān)應(yīng)用負載或項目的效率。
四、破“墻”而出，看ASTRA如何應(yīng)用創(chuàng)新存儲技術(shù)
主修生物信息分析且曾在上海張江的國家人類基因組南方研究中心工作的呂綱，在基因組學(xué)數(shù)據(jù)分析方面有著豐富經(jīng)驗，因而也很清楚HPC平臺“存儲墻”的存在與影響。他坦言：“通量測序儀的通量飛躍式發(fā)展，在數(shù)據(jù)存儲上的需求一直都是水漲船高。最關(guān)鍵的是要進行數(shù)據(jù)分析，CPU的計算速度很快，但大量時間用在了數(shù)據(jù)加載上。因此，中間層的存儲系統(tǒng)就顯得非常重要?！?/p>
因此，早在一期建設(shè)時，呂綱就已經(jīng)預(yù)料到自家HPC平臺對“大內(nèi)存”的需求。
“當(dāng)時我們買的是2TB的DRAM內(nèi)存，要用8路的服務(wù)器來實現(xiàn)，成本非常高。而使用傲騰持久內(nèi)存，只需要2路服務(wù)器就能讓我們實現(xiàn)3TB內(nèi)存容量，同時還顯著降低了成本?！?/p>
呂綱提到的傲騰持久內(nèi)存，全稱是英特爾傲騰持久內(nèi)存(Intel Optane Persistent Memory)，它是英特爾專為突破傳統(tǒng)內(nèi)存-存儲架構(gòu)性能瓶頸設(shè)計開發(fā)的產(chǎn)品，憑借創(chuàng)新的傲騰存儲介質(zhì)，能夠兼?zhèn)浣咏麯RAM內(nèi)存的高性能，以及存儲設(shè)備的大容量和數(shù)據(jù)持久化存儲。
目前，國內(nèi)外很多行業(yè)的用戶在遇到內(nèi)存容量不足，使用DRAM內(nèi)存進行容量擴展既難滿足需求(主流DRAM內(nèi)存單條多為32GB和64GB，128GB已經(jīng)是高端產(chǎn)品)，又難承擔(dān)其高昂的成本時，都開始選擇容量數(shù)倍于DRAM、且成本更優(yōu)的傲騰持久內(nèi)存(單條容量可達128GB、256GB和512GB)來達成目的。
然而，僅僅擴展內(nèi)存的容量，對于瑞金醫(yī)院國家轉(zhuǎn)化醫(yī)學(xué)中心的ASTRA平臺還是不夠的，它需要的是對整個HPC平臺存儲系統(tǒng)進行更為全面的升級，來更為從容地應(yīng)對其面臨的“存儲墻”問題，這就包括要讓存儲跟上海量數(shù)據(jù)高速處理的要求、要滿足不同科研和臨床團隊高效并行訪問海量生信數(shù)據(jù)的要求，以及要持續(xù)容納龐大、復(fù)雜、多維且不斷增長的數(shù)據(jù)等等。
因此，ASTRA平臺采用了三級存儲模式——傳統(tǒng)NAS、傳統(tǒng)并行文件Lustre、基于傲騰持久內(nèi)存的高速存儲DAOS。其中，前兩者用于原始數(shù)據(jù)的存儲及備份，而DAOS針對的則是性能要求更為嚴(yán)苛的生信計算。
DAOS(Distributed Asynchronous Object Storage)，中文全稱是分布式異步對象存儲。其優(yōu)勢要用幾句話來概括，那就是：它是一種開源軟件定義橫向擴展對象存儲，沒有延續(xù)針對高時延、塊存儲的I/O模型，而是選擇了為訪問高細粒度數(shù)據(jù)提供原生支持的I/O模型;沒有使用高時延的點到點通信，而是使用了能繞過操作系統(tǒng)的低時延、高消息速度用戶空間通信;沒有只依賴傳統(tǒng)的存儲設(shè)備，而是充分利用了創(chuàng)新非易失性存儲技術(shù)(包括英特爾傲騰持久內(nèi)存和傲騰固態(tài)盤)，并將更大體量的元數(shù)據(jù)保存在持久內(nèi)存中，將批量數(shù)據(jù)保存在固態(tài)盤中，以此來實現(xiàn)對更多熱數(shù)據(jù)的更高效的訪問和處理。
基于這些優(yōu)勢，DAOS堪稱是對存儲介質(zhì)和介質(zhì)使用方式的雙重革命，而英特爾也把其視作百億億級HPC存儲堆棧的基礎(chǔ)。
“DAOS基于高性能存儲硬件傲騰持久內(nèi)存和傲騰固態(tài)盤而設(shè)計，對生物信息數(shù)據(jù)分析工作支持比Lustre更好。我們和英特爾的技術(shù)專家一起，進行了細致的性能調(diào)優(yōu)和測試，而結(jié)果非常理想?！痹趨尉V看來，DAOS的價值在于，能夠充分利用傲騰持久內(nèi)存的獨特性能，從而提供高帶寬、低時延、高IPOS和非常優(yōu)秀的小文件處理能力。
“基于持久內(nèi)存的DAOS，是一個非常具有性價比的方案，”呂綱評價道，“就性能而言，它擁有其他方案很難實現(xiàn)的優(yōu)勢。例如，持久內(nèi)存擁有內(nèi)存模式和App Direct模式，因此我們可以按需在兩種模式中進行切換，從而滿足我們對大內(nèi)存和大存儲容量的不同需求。其他一些硬件，雖然帶寬性能提升了，但是畢竟沒辦法做內(nèi)存使用，只能當(dāng)成存儲用，不具備靈活性。而從價格上來說，持久內(nèi)存的每GB成本也比DRAM要低;另外，DAOS是一個開源軟件，對于瑞金醫(yī)院的上手成本相對較低，只需要支付硬件的錢，免去了一筆很大的軟件授權(quán)費用。”
五、破墻后再破局，造就IO-500上的生信“頂流”
有了傲騰持久內(nèi)存+DAOS的加持，ASTRA平臺的存儲性能就開始了 “火箭式”的躥升。
2021年11月，在美國舉辦的全球超級計算大會(SC21)正式公布了全球最新IO-500榜單。ASTRA第一次打入該榜單，就在10節(jié)點性能排行中位列第八，在總榜單上的排名也位居第十四，而更重要的是，它也是全球生信領(lǐng)域惟一一個打進10節(jié)點榜單前十的系統(tǒng)。
對于這一成績，呂綱表示，“以往排名靠前的都是全球知名科研機構(gòu)，頂級互聯(lián)網(wǎng)廠商或者國家級的超算中心。生信或者醫(yī)院機構(gòu)可以說是難得一見。在英特爾的這套DAOS方案下，我們成為了第一批吃螃蟹的人?！?/p>
對此，英特爾市場營銷集團副總裁、中國區(qū)行業(yè)解決方案部總經(jīng)理梁雅莉也曾公開表示：“我非常高興看到英特爾和轉(zhuǎn)化醫(yī)學(xué)中心之間的深度合作帶來的創(chuàng)新成果，我更欣喜地看到，在全球IO500的排名內(nèi)第一次出現(xiàn)生信行業(yè)的客戶代表，而且是我們中國區(qū)的合作伙伴來突破這個行業(yè)天花板?！?/p>
有趣的是，今年5月底在德國舉辦的國際超算大會(ISC22)在刷新了IO-500榜單后，ASTRA的總排名和10節(jié)點性能排名雖然變成了第19名和第12名，但它依然是全球生信領(lǐng)域HPC中存儲性能的佼佼者。而且特別值得一提的是，新的總榜單上前十名中已經(jīng)有5個系統(tǒng)，即半數(shù)是采用了DAOS的系統(tǒng)。
由此可見，英特爾傲騰持久內(nèi)存以及基于它的DAOS方案，不僅吸引了瑞金醫(yī)院國家轉(zhuǎn)化醫(yī)學(xué)中心，也是其他亟需破解存儲墻的用戶們期待已久的良方，它能幫助這些用戶以更優(yōu)的性價比，或者說更高的投資回報率來升級其HPC平臺的存儲系統(tǒng)，形成更為高效和靈活的分層存儲和數(shù)據(jù)讀寫訪問機制，尤其是能讓更多熱數(shù)據(jù)能夠存在更靠近算力的內(nèi)存子系統(tǒng)中，從而實現(xiàn)整體效率的顯著提升。
事實上，即便把傲騰持久內(nèi)存從DAOS中“拆”出來單獨使用，它也是突破HPC，以及AI、大數(shù)據(jù)分析和云環(huán)境中存儲墻的必備利器。以去年發(fā)布的第三代英特爾至強可擴展平臺為例，理論上它已能在一個雙路服務(wù)器平臺上最高配備近8TB的傲騰持久內(nèi)存(選擇單條512GB的版本)，如此驚人的容量擴展能力，足以應(yīng)對幾乎所有內(nèi)存容量敏感型的應(yīng)用的需求。因此，在基于傲騰持久內(nèi)存的DAOS成為越來越多HPC用戶沖擊百億億級系統(tǒng)的存儲基座時，傲騰持久內(nèi)存也會成為更多HPC和非HPC客戶突破存儲墻的優(yōu)選方案。
更多架構(gòu)師成長計劃課程，歡迎訪問英特爾架構(gòu)師成長計劃平臺：
https://protect-eu.mimecast.com/s/hASjC0VnLHMLXqnVtDfD69?domain=bizwebcast.intel.cn
