微軟在本周的Apache Spark高峰會(huì)(Spark Summit)上宣布正式推出Azure HDInsight for Spark。微軟表示,Spark for Azure HDInsight帶來(lái)企業(yè)級(jí)的Spark解決方案,提供完整的管理、安全與可靠性,以及更方便的操作界面。
Apache Spark是一個(gè)開(kāi)源叢集運(yùn)算框架,采用存儲(chǔ)器內(nèi)運(yùn)算技術(shù),內(nèi)含核心、Spark SQL、Spark Streaming及分散式機(jī)器學(xué)習(xí)MLlib等元素,由于它具備速度快、易用、通用及多模式等特性,成為熱門的大數(shù)據(jù)運(yùn)算框架。
Azure HDInsight是微軟用來(lái)部署及管理Apache Hadoop云端叢集的服務(wù),目的在于針對(duì)大數(shù)據(jù)進(jìn)行處理、分析及產(chǎn)生報(bào)告。開(kāi)源的分散處理暨儲(chǔ)存框架Hadoop及Spark已被看作是未來(lái)大數(shù)據(jù)領(lǐng)域最有前景的組合。
負(fù)責(zé)Hadoop、大數(shù)據(jù)及數(shù)據(jù)倉(cāng)儲(chǔ)的微軟銷售經(jīng)理Oliver Chiu指出,Spark可在存儲(chǔ)器內(nèi)執(zhí)行大規(guī)模的數(shù)據(jù)分析應(yīng)用,與傳統(tǒng)的大數(shù)據(jù)解決方案相比,Spark的查詢速度會(huì)提高100倍,Spark for Azure HDInsight帶來(lái)企業(yè)級(jí)的Spark解決方案,提供完整的管理、安全與可靠性,以及更方便的操作界面。
其實(shí)微軟在去年7月便已發(fā)布Spark for Azure HDInsight公開(kāi)預(yù)覽版,經(jīng)歷近一年的推廣之后,目前HDInsight的新叢集部署已經(jīng)有半數(shù)采用Spark for Azure HDInsight。