12月2日,火山引擎在“新云·共未來(lái)”發(fā)布會(huì)上推出兩款數(shù)據(jù)產(chǎn)品——湖倉(cāng)一體分析服務(wù)(Lakehouse Analysis Services)和E-MapReduce服務(wù),幫助企業(yè)構(gòu)建湖倉(cāng)架構(gòu)的大數(shù)據(jù)平臺(tái)。
伴隨著移動(dòng)互聯(lián)網(wǎng)、5G、AI、IoT的飛速發(fā)展,企業(yè)數(shù)據(jù)建設(shè)正處于更大規(guī)模和更加多樣的變化趨勢(shì)中。隨著企業(yè)業(yè)務(wù)持續(xù)和規(guī);显,數(shù)據(jù)分析系統(tǒng)和應(yīng)用正逐步面向公有云進(jìn)行構(gòu)建或遷移,云上大數(shù)據(jù)分析能力正成為業(yè)務(wù)數(shù)字化、智能化的關(guān)鍵支撐。
傳統(tǒng)自建數(shù)據(jù)倉(cāng)庫(kù),在企業(yè)數(shù)據(jù)體量持續(xù)增長(zhǎng)、業(yè)務(wù)時(shí)效持續(xù)提升的情況下,已經(jīng)很難應(yīng)對(duì)更復(fù)雜、更多樣化的分析場(chǎng)景需求,平臺(tái)擴(kuò)展和數(shù)據(jù)融合面臨重重障礙。另外一方面,盡管Hadoop已成為企業(yè)大數(shù)據(jù)平臺(tái)建設(shè)的主流技術(shù)框架,但企業(yè)在逐步建設(shè)大數(shù)據(jù)平臺(tái)過(guò)程中也會(huì)面臨這樣的難題——基于開(kāi)源Hadoop無(wú)法有效支撐商用部署和高效開(kāi)發(fā),建設(shè)和運(yùn)維成本高企。
本次火山引擎發(fā)布的兩款產(chǎn)品,均來(lái)自于字節(jié)跳動(dòng)多年來(lái)的技術(shù)實(shí)踐,能為企業(yè)提供高性能、更便捷的大數(shù)據(jù)計(jì)算/存儲(chǔ)引擎服務(wù),有效解決了大數(shù)據(jù)平臺(tái)搭建門(mén)檻高、運(yùn)維成本高的“雙高”難題。
湖倉(cāng)一體分析服務(wù):Serverless,湖倉(cāng)一體、流批一體
火山引擎發(fā)布的湖倉(cāng)一體分析服務(wù)(LakehouseAnalysisServices)是面向湖倉(cāng)一體架構(gòu)的Serverless數(shù)據(jù)處理分析服務(wù),提供多模分析引擎,完全兼容Spark、Presto、Flink生態(tài),具備統(tǒng)一SQL接口和智能引擎選擇,增強(qiáng)EB級(jí)數(shù)據(jù)并發(fā)事務(wù),批流一體分析,彈性計(jì)算、跨源分析等優(yōu)點(diǎn):
統(tǒng)一SQL接口,智能引擎選擇: 一套SQL接口支持Presto、SparkSQL引擎,自動(dòng)選擇引擎,用戶無(wú)需感知不同引擎接口差異
EB級(jí)實(shí)時(shí)湖倉(cāng),增強(qiáng)事務(wù)并發(fā): 相比開(kāi)源湖倉(cāng)存儲(chǔ)組件Hudi的弱并發(fā)能力,LAS支持EB級(jí)實(shí)時(shí)湖倉(cāng)存儲(chǔ)和百級(jí)以上事務(wù)并發(fā)
批流一體分析,極簡(jiǎn)架構(gòu)設(shè)計(jì): 存儲(chǔ)層提供批流一體存儲(chǔ)格式,一份數(shù)據(jù)寫(xiě)入直接批流模式同時(shí)分析,避免架構(gòu)設(shè)計(jì)復(fù)雜度和數(shù)據(jù)不一致性,使用體驗(yàn)更優(yōu)
低門(mén)檻、高可靠、彈性: 開(kāi)箱即用,免平臺(tái)運(yùn)維;Serverless,存算分離,容器調(diào)度,按需計(jì)算,降低數(shù)倉(cāng)建設(shè)成本
E-MapReduce服務(wù):開(kāi)源兼容、安全可靠、更優(yōu)成本、易管易運(yùn)維
火山引擎發(fā)布的E-MapReduce服務(wù)作為開(kāi)源Hadoop企業(yè)級(jí)大數(shù)據(jù)平臺(tái)服務(wù),集成開(kāi)源生態(tài)主流組件和字節(jié)深度的優(yōu)化。與自建 Hadoop 集群相比,E-MapReduce服務(wù)可以提供更安全可靠、更優(yōu)成本、更易用的云化 Hadoop 服務(wù):
開(kāi)源兼容: 集成Spark、Flink、Hive等主流組件,提供存儲(chǔ)、計(jì)算、挖掘等能力,保持原生的開(kāi)源生態(tài),支持用戶平滑遷移現(xiàn)有集群。
安全可靠: Master 節(jié)點(diǎn)容災(zāi)設(shè)計(jì),保障大數(shù)據(jù)服務(wù)可用性;支持Kerberos,支持細(xì)粒度數(shù)據(jù)訪問(wèn)權(quán)限,應(yīng)用程序數(shù)據(jù)訪問(wèn)權(quán)限等,支持操作審計(jì);支持將 Hive 元數(shù)據(jù)存放于獨(dú)立RDS,提升元數(shù)據(jù)可靠性。
更優(yōu)成本: 分鐘級(jí)別創(chuàng)建和擴(kuò)容集群,支持彈性伸縮,幫助客戶節(jié)省大數(shù)據(jù)平臺(tái)閑時(shí)資源
簡(jiǎn)單易用: 提供集群管理、服務(wù)管理、用戶管理、監(jiān)控告警、日志查詢能力,完善服務(wù)監(jiān)控指標(biāo)體系,感知集群組件及任務(wù)的運(yùn)行異常狀況。
另外,上述兩款產(chǎn)品還能分別與火山引擎大數(shù)據(jù)開(kāi)發(fā)治理套件(DataLeap)組合,打造從端到端數(shù)據(jù)集成、存儲(chǔ)、開(kāi)發(fā)、治理到分析的全鏈路數(shù)據(jù)能力,比如:湖倉(cāng)一體分析服務(wù)(LakehouseAnalysisServices)與大數(shù)據(jù)開(kāi)發(fā)治理套件(DataLeap)結(jié)合,可以為企業(yè)提供一站式數(shù)據(jù)存儲(chǔ)、處理和分析能力,幫助企業(yè)構(gòu)建云原生實(shí)時(shí)湖倉(cāng)分析平臺(tái)。E-MapReduce服務(wù)與大數(shù)據(jù)開(kāi)發(fā)治理套件(DataLeap)結(jié)合,集成端到端數(shù)據(jù)接入、分析、挖掘能力,支持?jǐn)?shù)據(jù)和任務(wù)的快速創(chuàng)建,可以幫助企業(yè)用戶輕松完成企業(yè)大數(shù)據(jù)平臺(tái)的構(gòu)建和數(shù)據(jù)上云。
這兩款產(chǎn)品及其組合運(yùn)用方式,能廣泛適用于泛互聯(lián)網(wǎng)、零售、汽車(chē)/新能源產(chǎn)業(yè)鏈、制造行業(yè)。
尤其針對(duì)那些需要新建大數(shù)據(jù)平臺(tái)或想要更換升級(jí)大數(shù)據(jù)技術(shù)棧的企業(yè),數(shù)據(jù)存量在TB~PB級(jí)規(guī)模的企業(yè)、積極擁抱公有云方案的企業(yè),這兩款產(chǎn)品及組合方案可以為它們打造更前沿、更高效、更實(shí)用的解決方案。
免責(zé)聲明:本文僅代表作者個(gè)人觀點(diǎn),與每日科技網(wǎng)無(wú)關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí),對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾,請(qǐng)讀者僅作參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。
本網(wǎng)站有部分內(nèi)容均轉(zhuǎn)載自其它媒體,轉(zhuǎn)載目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé),若因作品內(nèi)容、知識(shí)產(chǎn)權(quán)、版權(quán)和其他問(wèn)題,請(qǐng)及時(shí)提供相關(guān)證明等材料并與我們聯(lián)系,本網(wǎng)站將在規(guī)定時(shí)間內(nèi)給予刪除等相關(guān)處理.
精彩推薦
-
采購(gòu)拿回扣問(wèn)題,教你一個(gè)小妙招,看看怎么做!
2017-09-18 11:09 廣告 閱讀
-
苦逼的老板,教你一個(gè)小妙招,怎么防采購(gòu)拿回扣!
2017-09-18 11:09 廣告 閱讀
-
廣告推廣平臺(tái)傳播易 啟用新域名cby.cn
2022-11-16 15:31:34 更新 閱讀
-
尖貨爆料!速來(lái)【數(shù)碼預(yù)爆臺(tái)】領(lǐng)取618福利和AI新
2024-06-21 18:33:22 更新 閱讀
-
喜獲國(guó)際設(shè)計(jì)大獎(jiǎng)丨十字勛章減重大師Pro商務(wù)背包
2024-06-12 14:04:28 更新 閱讀
-
Baseus倍思音頻品鑒會(huì):一場(chǎng)產(chǎn)品與技術(shù)的對(duì)話
2024-05-29 11:13:32 更新 閱讀
-
212攜手極致軍工品質(zhì),煥新出發(fā)
2024-05-22 21:16:00 更新 閱讀
-
第四屆全球應(yīng)用算法BPAA大賽再度升級(jí),增添三大
2024-05-17 17:55:36 更新 閱讀
-
三維天地助力實(shí)驗(yàn)室質(zhì)量管理工作無(wú)紙化、流程化
2024-05-09 15:35:04 更新 閱讀