圖數(shù)據(jù)庫漸成技術(shù)新風(fēng)口，市場(chǎng)前景廣闊
與傳統(tǒng)關(guān)系型數(shù)據(jù)相比，圖數(shù)據(jù)庫這項(xiàng)新興技術(shù)在處理海量數(shù)據(jù)關(guān)聯(lián)關(guān)系時(shí)具有非常高的性能優(yōu)勢(shì)，能夠快速找到實(shí)體間的深度關(guān)聯(lián)關(guān)系，并且數(shù)據(jù)模型非常靈活，可以輕松實(shí)現(xiàn)添加或刪除頂點(diǎn)、邊，擴(kuò)充或者縮小圖模型。此外，圖數(shù)據(jù)庫模型非常敏捷直觀，降低數(shù)據(jù)挖掘和業(yè)務(wù)開發(fā)門檻，提供生產(chǎn)開發(fā)效率。
5G、物聯(lián)網(wǎng)、AI等技術(shù)的發(fā)展應(yīng)用讓數(shù)據(jù)呈指數(shù)倍增長(zhǎng)，也為圖數(shù)據(jù)庫發(fā)展提供了更廣闊的應(yīng)用空間。一方面，隨著數(shù)據(jù)經(jīng)濟(jì)的發(fā)展，在數(shù)據(jù)量增加的同時(shí)，市場(chǎng)上對(duì)處理海量、復(fù)雜、關(guān)聯(lián)、多變的網(wǎng)狀數(shù)據(jù)的需求不斷增加，而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫產(chǎn)品已經(jīng)很難勝任這種海量復(fù)雜的分析需求。另一方面，圖數(shù)據(jù)庫適用的應(yīng)用場(chǎng)景正在不斷增多，在金融交易、征信、反欺詐、社交網(wǎng)絡(luò)、智能營銷、生物工程的使用需求大量涌現(xiàn)。
全球著名咨詢機(jī)構(gòu)Gartner的最新預(yù)測(cè)表明，到2025年，圖技術(shù)在數(shù)據(jù)和分析創(chuàng)新中的占比將從2021年的10%上升到80%，促進(jìn)整個(gè)企業(yè)機(jī)構(gòu)的快速?zèng)Q策”，“包括圖數(shù)據(jù)庫管理系統(tǒng)在內(nèi)的圖技術(shù)市場(chǎng)將增長(zhǎng)到32億美元，復(fù)合年增長(zhǎng)率為28.1%”。
2021年12月出爐的《“十四五” 軟件和信息技術(shù)服務(wù)業(yè)發(fā)展規(guī)劃》指出，軟件作為信息技術(shù)關(guān)鍵載體和產(chǎn)業(yè)融合的關(guān)鍵紐帶，將成為我國 “十四五” 時(shí)期搶抓新技術(shù)革命機(jī)遇的戰(zhàn)略支點(diǎn)。加速分布式數(shù)據(jù)庫、“大規(guī)模并行圖數(shù)據(jù)處理” 等關(guān)鍵技術(shù)的研發(fā)與應(yīng)用推廣已被列為國家軟件發(fā)展的重要戰(zhàn)略目標(biāo)。
2021年國內(nèi)外多家圖數(shù)據(jù)庫企業(yè)在獲得了大筆融資，融資用于產(chǎn)品的技術(shù)研發(fā)和應(yīng)用的市場(chǎng)推廣，以便更好地為客戶提供服務(wù)，用圖數(shù)據(jù)庫幫助客戶賦能更多的業(yè)務(wù)場(chǎng)景，挖掘數(shù)據(jù)價(jià)值。
星環(huán)科技自主研發(fā)的國產(chǎn)分布式圖數(shù)據(jù)庫StellarDB
Transwarp StellarDB是星環(huán)科技自主研發(fā)的分布式圖數(shù)據(jù)庫，兼容openCypher查詢語言，提供海量圖數(shù)據(jù)的存儲(chǔ)和分析能力，支持原生圖存儲(chǔ)結(jié)構(gòu)，支持萬億邊PB級(jí)數(shù)據(jù)存儲(chǔ)。同時(shí)，StellarDB具備毫秒級(jí)點(diǎn)邊查詢能力，10+層的深度鏈路分析能力，提供近40種的圖分析算法，具備數(shù)據(jù)2D和3D展示能力。星環(huán)科技StellarDB在金融、政府和社交網(wǎng)絡(luò)等多個(gè)行業(yè)領(lǐng)域應(yīng)用于反洗錢、風(fēng)險(xiǎn)控制、營銷等多種場(chǎng)景。
作為一款國產(chǎn)自研圖數(shù)據(jù)庫，星環(huán)科技StellarDB獲得了多項(xiàng)行業(yè)權(quán)威認(rèn)可，通過了中國信通院圖數(shù)據(jù)庫和圖計(jì)算平臺(tái)基礎(chǔ)能力兩項(xiàng)專項(xiàng)測(cè)評(píng)，被全球著名咨詢機(jī)構(gòu)Gartner、IDC、Forrester等最新權(quán)威報(bào)告評(píng)為圖數(shù)據(jù)庫代表廠商，同時(shí)在前段時(shí)間舉辦的大數(shù)據(jù)產(chǎn)業(yè)峰會(huì)上，被中國信通院評(píng)為圖計(jì)算平臺(tái)代表廠商。
全面超越國外開源圖數(shù)據(jù)庫產(chǎn)品，打造自主可控高性能圖數(shù)據(jù)庫平臺(tái)
1、自主研發(fā)，國產(chǎn)軟硬件適配，打造自主可控圖數(shù)據(jù)庫平臺(tái)
Neo4j作為國外開源產(chǎn)品，存在潛在的數(shù)據(jù)安全和平臺(tái)安全的問題，即使現(xiàn)在企業(yè)版實(shí)行閉源，其官網(wǎng)也明確指出，產(chǎn)品出口受到美國法律和法規(guī)的限制，對(duì)于國內(nèi)用戶來說不能實(shí)現(xiàn)完全的自主可控。而在國產(chǎn)化方面，Neo4j在國產(chǎn)化服務(wù)器、CPU、操作系統(tǒng)等方面支持能力不足，無法很好地滿足國產(chǎn)生態(tài)。
StellarDB是星環(huán)科技自主研發(fā)的國產(chǎn)分布式圖數(shù)據(jù)庫，通過工信部電子五所(中國賽寶實(shí)驗(yàn)室)源代碼掃描測(cè)試，自主代碼率高達(dá)95%以上，并與國內(nèi)主流軟硬件信創(chuàng)廠商完成了兼容適配互認(rèn)證，支持長(zhǎng)城飛騰、華為泰山、浪潮等服務(wù)器，龍芯、兆芯、鯤鵬等國產(chǎn)芯片，麒麟、統(tǒng)信等國產(chǎn)操作系統(tǒng)，滿足信創(chuàng)驗(yàn)收要求，同時(shí)積累了大量國產(chǎn)化平臺(tái)適配工作的落地經(jīng)驗(yàn)。
此外，StellarDB通過基于容器的混合部署技術(shù)，可支持X86架構(gòu)和各種國產(chǎn)芯片架構(gòu)的混合架構(gòu)，能夠運(yùn)行在異構(gòu)CPU架構(gòu)以及多種操作系統(tǒng)混合部署的集群環(huán)境中，最大化利用硬件資源，讓用戶實(shí)現(xiàn)國產(chǎn)化平滑替代。
2、原生分布式架構(gòu)，輕松實(shí)現(xiàn)萬億級(jí)數(shù)據(jù)存儲(chǔ)計(jì)算
Neo4j作為早期第一代原生圖數(shù)據(jù)庫代表，為了滿足數(shù)據(jù)量的極速擴(kuò)張，也逐步轉(zhuǎn)向分布式架構(gòu)，但其通過只讀多副本復(fù)制主服務(wù)器原數(shù)據(jù)的方式來實(shí)現(xiàn)分布式，在一定程度上可以提高圖數(shù)據(jù)庫的負(fù)載能力。但只讀副本并不參與集群擴(kuò)展，圖數(shù)據(jù)存儲(chǔ)容量還是受限于主服務(wù)器的容量。同時(shí)，盡管Neo4j可以通過此方式實(shí)現(xiàn)分布式圖查詢，但是其圖數(shù)據(jù)計(jì)算能力依然是基于其單機(jī)版本，無法隨計(jì)算要求進(jìn)行靈活擴(kuò)展。
StellarDB原生支持圖數(shù)據(jù)的分布式存儲(chǔ)和分布式計(jì)算，可滿足海量數(shù)據(jù)的存儲(chǔ)、查詢和計(jì)算要求。作為原生圖的關(guān)鍵部分，StellarDB分布式存儲(chǔ)引擎通過自研的存儲(chǔ)格式和多種高效的壓縮算法，并借助于圖分區(qū)算法，可將數(shù)據(jù)切割成多個(gè)子圖分布式存儲(chǔ)，擁有良好的可擴(kuò)展性，能夠支撐PB級(jí)萬億邊的超大圖存儲(chǔ)，并通過Raft協(xié)議來保證數(shù)據(jù)一致性和高可用性。借助星環(huán)分布式計(jì)算引擎Quark的計(jì)算分析能力，StellarDB的計(jì)算能力能夠隨著節(jié)點(diǎn)數(shù)目的增長(zhǎng)線性擴(kuò)展，可滿足海量圖數(shù)據(jù)的深度查詢和計(jì)算要求。StellarDB可同時(shí)為用戶提供實(shí)時(shí)圖查詢和離線算法分析，支持海量點(diǎn)邊的大圖分析。此外，計(jì)算引擎和存儲(chǔ)引擎同機(jī)部署，利用數(shù)據(jù)本地化特性進(jìn)一步提升了圖計(jì)算和分析性能。在某地電信關(guān)系圖譜場(chǎng)景實(shí)現(xiàn)了萬億邊規(guī)模的存儲(chǔ)和穩(wěn)定運(yùn)行，真正意義上將萬億級(jí)圖數(shù)據(jù)庫能力應(yīng)用落地。
3、兼容并拓展opneCyper，同時(shí)支持SQL混合查詢，大幅降低學(xué)習(xí)和遷移成本
openCypher是Neo4j Cypher語言的開源版本，StellarDB除了支持openCypher，還在其基本語言規(guī)范的基礎(chǔ)上，根據(jù)實(shí)際生產(chǎn)實(shí)踐中所遇到的需求加入了如數(shù)據(jù)導(dǎo)入，圖算法，建模等高效、實(shí)用的新語法(Transwarp Extended openCypher(TEOC))，使得用戶不僅可以低成本、平滑地替換neo4j，還可以基于TEOC擴(kuò)展的語法構(gòu)建更加靈活的應(yīng)用場(chǎng)景。
另一方面，StellarDB進(jìn)一步支持了SQL語言多模查詢。用戶可以使用統(tǒng)一的SQL語言對(duì)多模型數(shù)據(jù)進(jìn)行數(shù)據(jù)查詢操作，極大地降低了業(yè)務(wù)開發(fā)門檻和學(xué)習(xí)成本，同時(shí)也使得圖數(shù)據(jù)可以靈活地應(yīng)用于多模型數(shù)據(jù)的聯(lián)合應(yīng)用場(chǎng)景。
4、超高性能，助力挖掘圖數(shù)據(jù)價(jià)值
StellarDB在數(shù)據(jù)加載、查詢和算法性能方面均全面超越Neo4j，達(dá)到行業(yè)領(lǐng)先水平，幫助用戶更快、更高效地挖掘數(shù)據(jù)價(jià)值。
* 數(shù)據(jù)導(dǎo)入性能
在相同的測(cè)試環(huán)境中，在Twitter-2010(4100萬點(diǎn)，14.7億邊)數(shù)據(jù)集下，StellarDB的數(shù)據(jù)導(dǎo)入速度約是Neo4j的2倍。
* 深度關(guān)系查詢性能
StellarDB在多跳查詢方面具有優(yōu)異的性能表現(xiàn)，在Graph500(2400萬點(diǎn)，6700萬邊)數(shù)據(jù)集和Twitter-2010(4100萬點(diǎn)，14.7億邊)數(shù)據(jù)集下，StellarDB的三層和六層關(guān)系查詢性能都大約是Neo4j的50倍以上，尤其在Twitter-2020數(shù)據(jù)集中，StellarDB在秒級(jí)跑出結(jié)果，Neo4j在30分鐘內(nèi)未出結(jié)果。在實(shí)際實(shí)施案例中，StellarDB被用于超過十層的深度關(guān)系查詢場(chǎng)景，進(jìn)一步證明了StellarDB在深度關(guān)系查詢場(chǎng)景下的優(yōu)異性能。
* 圖算法性能
在圖算法方面，StellarDB內(nèi)置了近40種圖算法，這些算法中包括諸如中心度算法，圖直徑、半徑算法，深度優(yōu)先搜索算法、社區(qū)發(fā)現(xiàn)算法等常用的算法。此外，StellarDB還提供了諸如TrustRank等若干Neo4j未支持的算法。
而在性能方面，以常用的圖算法PageRank、弱連通子圖、強(qiáng)連通子圖和LPA算法為例，StellarDB具有顯著的性能優(yōu)勢(shì)。
在PageRank方面，StellarDB性能是Neo4j的3-6倍，可以幫助用戶更加快速高效的實(shí)現(xiàn)計(jì)算網(wǎng)絡(luò)中點(diǎn)的相關(guān)性。例如在網(wǎng)頁排名場(chǎng)景中，StellarDB可以幫助用戶更加快速高效的實(shí)現(xiàn)網(wǎng)頁排名。
在強(qiáng)連通子圖方面，StellarDB性能是Neo4j的3-6倍，可以幫助用戶更加快速高效的遍歷有向圖中每個(gè)點(diǎn)和每條邊。例如在社交網(wǎng)絡(luò)中的社區(qū)發(fā)現(xiàn)，洗錢環(huán)節(jié)的賬戶閉環(huán)查詢跟蹤等場(chǎng)景，StellarDB通過全局遍歷，快速發(fā)展某社區(qū)人員或有洗錢嫌疑賬戶的關(guān)聯(lián)關(guān)系分析。
在LPA標(biāo)簽算法方面，StellarDB表現(xiàn)出更加優(yōu)異的性能，在千萬級(jí)邊Graph500數(shù)據(jù)集下，是Neo4j的 8倍以上，而在十億級(jí)邊Twitter-2010數(shù)據(jù)集下，StellarDB秒級(jí)響應(yīng)，Neo4j在30min內(nèi)無響應(yīng)結(jié)果。該算法可以幫助用戶實(shí)現(xiàn)從已標(biāo)記的節(jié)點(diǎn)標(biāo)簽信息來預(yù)測(cè)未標(biāo)記的節(jié)點(diǎn)標(biāo)簽信息。
5、易用性大幅提升，助力企業(yè)更高效、更便捷的應(yīng)用圖數(shù)據(jù)
* 豐富接口，多數(shù)據(jù)源支持
星環(huán)科技StellarDB提供豐富的接口，支持Python SDK、JDBC SDK與RESTful API與第三方系統(tǒng)進(jìn)行對(duì)接，并支持從大數(shù)據(jù)平臺(tái)如Kafka，F(xiàn)link，Hive，Spark Streaming，關(guān)系型數(shù)據(jù)庫如MySQL、Greenplum等接入外部數(shù)據(jù)，并且支持Text、ORC、CSV、Parquet等文件格式，滿足客戶現(xiàn)場(chǎng)更多樣、更復(fù)雜的業(yè)務(wù)場(chǎng)景，降低圖數(shù)據(jù)庫與外部系統(tǒng)對(duì)接工作量和成本。
Neo4j僅支持CSV，REST API和RDBMS的外部數(shù)據(jù)接入，數(shù)據(jù)源接入能力不足，無法滿足客戶現(xiàn)場(chǎng)多業(yè)務(wù)系統(tǒng)平臺(tái)對(duì)接需求。
* 3D圖數(shù)據(jù)、圖算法、運(yùn)維管理可視化
StellarDB和Neo4j都支持2D可視化能力，例如圖數(shù)據(jù)展示，圖布局變化等。此外，StellarDB還支持了圖算法的可視化功能，大大降低了用戶的學(xué)習(xí)門檻。而在一些實(shí)際應(yīng)用場(chǎng)景中，3D圖數(shù)據(jù)視圖更具表達(dá)能力，StellarDB在2D可視化的基礎(chǔ)上提供了3D可視化功能，幫助用戶更便捷的進(jìn)行圖關(guān)系深度探索和分析。在運(yùn)維管理方面，StellarDB提供可視化的數(shù)據(jù)導(dǎo)入、集群監(jiān)控、圖查詢?nèi)蝿?wù)和圖計(jì)算任務(wù)監(jiān)控等功能，進(jìn)一步降低用戶的運(yùn)維門檻，實(shí)現(xiàn)更加便捷的運(yùn)維管理。
基于StellarDB的3D可視化視圖
6、更全面的安全保障，充分保障數(shù)據(jù)安全
隨著《網(wǎng)絡(luò)安全法》《數(shù)據(jù)安全法》《個(gè)人信息保護(hù)法》相繼公布并實(shí)施，數(shù)據(jù)安全成為企業(yè)越來越關(guān)注的問題。星環(huán)科技StellarDB支持圖數(shù)據(jù)的增量備份和全量備份，以及備份恢復(fù)功能等功能，保障數(shù)據(jù)庫內(nèi)數(shù)據(jù)安全以及監(jiān)測(cè)圖數(shù)據(jù)庫集群健康狀態(tài)，防止數(shù)據(jù)存儲(chǔ)意外發(fā)生。同時(shí)，在權(quán)限控制方面，StellarDB不僅支持圖(Graph)級(jí)別的權(quán)限設(shè)置(增、刪、改、查及圖管理)，還支持了Neo4j不支持的更加細(xì)粒度的標(biāo)簽(Label)和屬性(Property)權(quán)限控制，以實(shí)現(xiàn)更加精細(xì)化的權(quán)限控制。
另一方面，StellarDB還支持日志審計(jì)和數(shù)據(jù)脫敏等Neo4j沒有支持的功能。數(shù)據(jù)脫敏功能提供了一種輕量便捷的數(shù)據(jù)安全措施，可對(duì)某些敏感信息進(jìn)行數(shù)據(jù)的脫敏處理，防止隱私數(shù)據(jù)在未經(jīng)脫敏的情況下從企業(yè)流出，滿足一定場(chǎng)景下的監(jiān)管合規(guī)要求。這項(xiàng)功能也可在數(shù)據(jù)可視化、報(bào)表生成等業(yè)務(wù)場(chǎng)景中發(fā)揮巨大作用。StellarDB的日志審計(jì)功能，通過日志記錄各種事件、數(shù)據(jù)變化、數(shù)據(jù)操作等，進(jìn)行安全合規(guī)審查，預(yù)防危險(xiǎn)事件、操作發(fā)生。
7、豐富的解決方案，助力企業(yè)打造一站式數(shù)字平臺(tái)
* 全棧圖技術(shù)解決方案
星環(huán)科技是國內(nèi)同時(shí)具備圖數(shù)據(jù)庫、知識(shí)圖譜平臺(tái)、圖挖掘應(yīng)用開發(fā)能力的企業(yè)，全棧能力可以助力企業(yè)機(jī)構(gòu)快速構(gòu)建知識(shí)圖譜應(yīng)用。星環(huán)科技除了提供自研的分布式圖數(shù)據(jù)庫StellarDB，還有自主研發(fā)的知識(shí)圖譜平臺(tái)SophonKG，幫助企業(yè)構(gòu)建一站式國產(chǎn)知識(shí)圖譜平臺(tái)。同時(shí)，星環(huán)科技還可提供面向業(yè)務(wù)應(yīng)用場(chǎng)景的金融風(fēng)控?cái)?shù)智化轉(zhuǎn)型解決方案，幫助用戶快速發(fā)現(xiàn)風(fēng)險(xiǎn)點(diǎn)和可疑團(tuán)伙，實(shí)現(xiàn)“人機(jī)結(jié)合”形式的智能化分析、研判和決策。
* 多數(shù)據(jù)模型聯(lián)合分析解決方案
StellarDB可基于多模型統(tǒng)一架構(gòu)，與星環(huán)科技關(guān)系型分析引擎、寬表數(shù)據(jù)庫、搜索引擎、時(shí)空數(shù)據(jù)庫、時(shí)序數(shù)據(jù)庫等數(shù)據(jù)庫產(chǎn)品形成多模型聯(lián)合分析解決方案，實(shí)現(xiàn)了從GB 到PB 不同數(shù)據(jù)量的多源異構(gòu)數(shù)據(jù)的快速存取、高效計(jì)算和統(tǒng)一管理，一站式地解決企業(yè)各類數(shù)據(jù)管理需求。通過多模型融合技術(shù)對(duì)外提供統(tǒng)一的SQL 接口、統(tǒng)一的計(jì)算引擎、異構(gòu)的數(shù)據(jù)存儲(chǔ)模型、統(tǒng)一的數(shù)據(jù)管理系統(tǒng)和統(tǒng)一的資源管理系統(tǒng)，輕松實(shí)現(xiàn)跨模型聯(lián)合分析，簡(jiǎn)化系統(tǒng)架構(gòu)，大幅降低開發(fā)和運(yùn)維成本，提高數(shù)據(jù)處理效率。
8、原廠專業(yè)服務(wù)，售后無憂
StellarDB是星環(huán)科技自主研發(fā)的國產(chǎn)圖數(shù)據(jù)庫，可提供及時(shí)、專業(yè)的技術(shù)支持與服務(wù)能力，強(qiáng)大的原廠售后服務(wù)保障能力，可快速響應(yīng)客戶需求。
Neo4j的產(chǎn)品依靠國內(nèi)代理商提供銷售并提供實(shí)施、運(yùn)維服務(wù);Neo4j在國內(nèi)主要是運(yùn)維人員，沒有原廠技術(shù)研發(fā)人員，很難保障SLA。
案例
國內(nèi)某Top證券公司使用開源圖數(shù)據(jù)庫Neo4j構(gòu)建了企業(yè)圖譜平臺(tái)，但隨著數(shù)據(jù)量的不斷增加以及管理要求的不斷提高，原先批數(shù)據(jù)處理依賴手工導(dǎo)入的方式操作繁瑣，給企業(yè)帶來很大的管理和成本壓力。該過程還需要中斷數(shù)據(jù)庫服務(wù)，影響數(shù)據(jù)庫業(yè)務(wù)的正常運(yùn)行。此外，原系統(tǒng)的數(shù)據(jù)更新速度，深度關(guān)系查詢性能以及維護(hù)管理等方面也無法滿足該證券公司要求。
星環(huán)StellarDB與Neo4j的Cypher語法高度兼容，快速實(shí)現(xiàn)了多個(gè)業(yè)務(wù)的平滑遷移和上線，結(jié)合星環(huán)科技的知識(shí)圖譜平臺(tái) SophonKG助力該證券公司打造了全新的一站式國產(chǎn)化企業(yè)圖譜，滿足了企業(yè)級(jí)的系統(tǒng)建設(shè)需要，支撐集團(tuán)客戶畫像、風(fēng)險(xiǎn)事件 報(bào)告、科創(chuàng)板關(guān)聯(lián)發(fā)現(xiàn)以及聯(lián)機(jī)分析等應(yīng)用場(chǎng)景，實(shí)現(xiàn)了分布式集群管理、統(tǒng)一的資源隔離與權(quán)限管理、計(jì)算性能的優(yōu)化提升，以及豐富的可視化效果等。
