近日，星環(huán)數(shù)據(jù)云平臺 Transwarp Data Cloud (以下簡稱 TDC)正式推出 3.1 版本。TDC 是采用云原生技術(shù)，融合星環(huán)科技全系產(chǎn)品打造的統(tǒng)一 PaaS 平臺，可以為企業(yè)提供數(shù)據(jù)流通交易平臺、企業(yè)湖倉一體數(shù)據(jù)湖、企業(yè)數(shù)據(jù)中臺、聯(lián)邦云、企業(yè)數(shù)字化轉(zhuǎn)型、政務(wù)大數(shù)據(jù)、云原生數(shù)據(jù)科學(xué)云和高并發(fā)數(shù)據(jù)應(yīng)用八大解決方案，能夠滿足企業(yè)各種數(shù)據(jù)處理場景的需求，幫助企業(yè)實現(xiàn)企業(yè)數(shù)據(jù)與應(yīng)用的生態(tài)化建設(shè)。截至目前 TDC 已經(jīng)為政府、銀行、基金、能源等多個行業(yè)提供完整的數(shù)字化建設(shè)解決方案。
在星環(huán)科技 2022 年春季產(chǎn)品發(fā)布周上，TDC 重磅發(fā)布了 3.0 版本，提供了三大核心能力：第一，支持星環(huán)科技全系產(chǎn)品新版本，同時 PaaS 能力持續(xù)增強;第二，新增聯(lián)邦云管理功能;第三，安全升級，新增隱私計算區(qū)。3.0 版本發(fā)布以來被眾多客戶認可，是一套優(yōu)秀的數(shù)據(jù)云平臺。經(jīng)過半年的打磨，TDC 再次推出 3.1 版本 ，此次的新版本新增了八大功能，同時對原有能力進行了優(yōu)化升級!
新增滾動重啟、存儲擴容、存儲回收站等八大核心功能
滾動重啟，保障業(yè)務(wù)連續(xù)性
新增對多副本高可用角色(工作負載)的滾動重啟能力。將底層滾動重啟能力和業(yè)務(wù)重啟邏輯結(jié)合，在變更過程中，實現(xiàn)了分布式系統(tǒng)的可靠自動有序重啟，保障在 TDC 上運行的大數(shù)據(jù)業(yè)務(wù)的運行連續(xù)性。
多種存儲擴容方式，滿足數(shù)據(jù)持續(xù)增長
支持對星環(huán)科技存儲引擎 TDFS、TDDMS 進行手動擴容存儲，擴容方式支持在線增加磁盤大小、增加磁盤個數(shù)、增加副本數(shù)。在擴容開始前系統(tǒng)將進行資源預(yù)檢，無論是否可以成功擴容，都不會影響原來業(yè)務(wù)運行，并且在擴容過程中可正常提供數(shù)據(jù)讀寫操作。
存儲回收站，避免數(shù)據(jù)誤刪
刪除 TDFS、TDDMS、KunDB 組件或所屬實例時，數(shù)據(jù)不會直接被刪除，可以選擇放入回收站，從而避免用戶誤操作刪除數(shù)據(jù)導(dǎo)致生產(chǎn)事故。支持展示租戶回收站內(nèi)的存儲總量，并可按需一鍵清理并查詢清理記錄。
高性能網(wǎng)絡(luò)，滿足 TP 場景高性能需求
引入 Macvlan 高性能網(wǎng)絡(luò)，業(yè)務(wù)可按需開啟高性能網(wǎng)絡(luò)，滿足 KunDB 等對網(wǎng)絡(luò)性能的要求。相較于開源 Macvlan 網(wǎng)絡(luò)方案，TDC 的方案沒有物理網(wǎng)段的限制，可以任意自定義第二塊網(wǎng)卡使用的網(wǎng)段(包括物理網(wǎng)段，因此不需要申請額外申請固定的 IP 網(wǎng)段)，并且能夠自動的提供第二塊網(wǎng)卡的服務(wù)發(fā)現(xiàn)，完整實現(xiàn)了底層 Kubernetes 的 Service 功能。
除此之外，TDC 的網(wǎng)絡(luò)能力還做了如下改進：
【VIP】虛擬 IP 支持綁定二層網(wǎng)絡(luò)下的節(jié)點集合(網(wǎng)絡(luò)可用區(qū))，虛擬 IP 將在選擇的可用區(qū)對應(yīng)的網(wǎng)段中創(chuàng)建，從而可以做到外部流量不只是通過 master 節(jié)點進來，提高了集群處理外部流量的能力，也通過分散到不同節(jié)點提高了可用性。
【SLB】為組件配置 SLB 時可開啟流量轉(zhuǎn)發(fā)高性能網(wǎng)絡(luò)，開啟后訪問配置對象的流量將會被轉(zhuǎn)發(fā)至高性能網(wǎng)絡(luò)上，提升訪問性能。
聯(lián)邦云網(wǎng)絡(luò)統(tǒng)一管理，更便捷聯(lián)通兩地集群
通過統(tǒng)一的域名解析體系實現(xiàn)聯(lián)邦云集群之間的網(wǎng)絡(luò)連接與通信，打通底層多個集群之間的網(wǎng)絡(luò)。應(yīng)用場景有：統(tǒng)一管理分布式部署在不同集群上的數(shù)據(jù)庫實例，分散讀寫請求流量，提高讀寫效率，同時支撐在多個數(shù)據(jù)中心之間星環(huán)產(chǎn)品(例如 KunDB )的數(shù)據(jù)安全通信需求。在傳統(tǒng)跨機房通信中，是通過手工搭建的方式實現(xiàn)的，搭建過程比較繁瑣，耗費人力和時間，聯(lián)邦云實現(xiàn)了自動的跨集群通信，更加便捷。
開源生態(tài)對接，更好滿足客戶多樣需求
實現(xiàn)開源 Spark 在 TDC 的上架和運行，并與星環(huán)科技大數(shù)據(jù)體系對接，以便更靈活滿足客戶使用場景以及支撐星環(huán)智能分析工具 Sophon：
支持在 TDC 上可視化部署 Spark，支持 HA 部署，支持通過運維入口查看歷史任務(wù)，支持資源擴容和縮容。
支持對接星環(huán)科技大數(shù)據(jù)安全管理軟件 Guardian，支持對接開啟安全的星環(huán)分布式文件系統(tǒng) TDFS。
GPU 分組，更靈活管理 GPU 資源
支持 GPU 分組，可以精細管理和調(diào)度 GPU 資源，不同工作負載或者租戶在使用時，可以指定分組的 GPU 卡資源，實現(xiàn)資源分組和配額管理。
高可用增強，提升平臺可靠性
針對客戶對于高可用的更高要求，TDC 從操作系統(tǒng)層開始進行梳理，并通過嚴格的高可用測試，改進了 TCOS 和 TDC 云管平臺，以及云產(chǎn)品星環(huán)科技大數(shù)據(jù)開發(fā)工具 TDS 和智能分析工具 Sophon 的高可用能力，可以實現(xiàn)單組件副本、硬盤故障、網(wǎng)絡(luò)故障、控制單節(jié)點故障、工作多節(jié)點故障下，平臺仍然可以正常對外服務(wù)。
同時，為了提升易用性，TDC 還新增了模塊化安裝功能，安裝 TDC 時可按需選裝所需系統(tǒng)服務(wù)，后續(xù)有需要時可通過 TDC 安裝工具按需部署。目前可選裝包括微服務(wù)引擎、DevOps、應(yīng)用市場、數(shù)據(jù)市場模塊。
除新增功能外，TDC 本次升級也對原有功能進行了優(yōu)化和升級，其中包括：
【統(tǒng)一用戶】TDC 各系統(tǒng)實現(xiàn)統(tǒng)一用戶、登錄和門戶，同時兼容原有租戶用戶管理模式，提升用戶登錄體驗。
【權(quán)限管控】增強 HDFS 權(quán)限管控，解決不同租戶的同名用戶權(quán)限不隔離的問題，實現(xiàn)多租戶共享 TDFS 目錄權(quán)限隔離，規(guī)范并實現(xiàn)上游組件在 TDFS/ Zookeeper/KunDB 創(chuàng)建不同路徑，同時支持白名單機制，實現(xiàn)跨租戶訪問 TDFS 權(quán)限由 Guardian 嚴格控制。
截至目前，星環(huán)科技數(shù)據(jù)云平臺 TDC 已經(jīng)在數(shù)十家大型企業(yè)落地，覆蓋多個行業(yè)。其中典型案例包括：為江蘇農(nóng)信建設(shè)的大數(shù)據(jù) DAAS 應(yīng)用平臺，提升了江蘇農(nóng)信數(shù)據(jù)輸出服務(wù)能力;為上海大數(shù)據(jù)中心建設(shè)了上海市數(shù)據(jù)共享交換平臺，為一網(wǎng)通辦、政府大屏、政務(wù)決策等政務(wù)應(yīng)用提供支撐，有效提升政府部門辦事效率;為中化中化信息大數(shù)據(jù)平臺建設(shè)提供了一站式的大數(shù)據(jù)解決方案，充分整合和管理企業(yè)各個系統(tǒng)全生命周期數(shù)據(jù)，快速挖掘數(shù)據(jù)背后的價值，綜合提升企業(yè)管理和運營能力。
