在當(dāng)今數(shù)據(jù)驅(qū)動(dòng)的世界中,多模態(tài)數(shù)據(jù)已經(jīng)成為企業(yè)的重要資產(chǎn)。隨著數(shù)據(jù)規(guī)模和多樣性的不斷增加,企業(yè)不僅需要高效存儲(chǔ)和處理這些數(shù)據(jù),更需要從中提取有價(jià)值的洞察。工業(yè)領(lǐng)域在處理海量設(shè)備時(shí)序數(shù)據(jù)的同時(shí),還需要聯(lián)動(dòng)分析警報(bào)信息、設(shè)備關(guān)系、組織信息等關(guān)系數(shù)據(jù)或圖數(shù)據(jù);金融領(lǐng)域除了常見的行情和訂單流時(shí)序數(shù)據(jù)外,還會(huì)采用地理信息、實(shí)時(shí)新聞、氣象數(shù)據(jù)等多種類型的數(shù)據(jù)輔助決策。然而,要充分挖掘和利用這些多模態(tài)數(shù)據(jù),傳統(tǒng)單一模型的時(shí)序數(shù)據(jù)庫已顯得力不從心,無法滿足現(xiàn)代多元應(yīng)用場景中企業(yè)對(duì)數(shù)據(jù)使用的復(fù)雜需求。
Transwarp TimeLyre是星環(huán)科技自主研發(fā)的企業(yè)級(jí)分布式時(shí)序數(shù)據(jù)庫,具備高吞吐實(shí)時(shí)寫入、時(shí)序精準(zhǔn)查詢、超高數(shù)據(jù)壓縮率等特點(diǎn),可以支持海量時(shí)序數(shù)據(jù)的存儲(chǔ)、查詢、分析,有效支撐能源、制造、金融領(lǐng)域等多種時(shí)序數(shù)據(jù)業(yè)務(wù)場景。
近日,TimeLyre正式發(fā)布V9.2版本,支持海量時(shí)序數(shù)據(jù)的同時(shí),具備原生的多模態(tài)數(shù)據(jù)混合存儲(chǔ)能力,能夠整合和處理不同類型的數(shù)據(jù),幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)的多維分析。同時(shí)提供高性能分析、熱溫冷數(shù)據(jù)分層存儲(chǔ)、極速時(shí)序數(shù)據(jù)回放分析等新功能,可以有效支撐大規(guī)模時(shí)序數(shù)據(jù)湖、投研一體化平臺(tái)、時(shí)序數(shù)據(jù)中臺(tái)等新場景,充分滿足企業(yè)對(duì)多模態(tài)數(shù)據(jù)存儲(chǔ)分析的需求,助力企業(yè)發(fā)揮數(shù)據(jù)深層價(jià)值。
原生多模態(tài)架構(gòu),支持時(shí)序數(shù)據(jù)與關(guān)系數(shù)據(jù)模型混合存儲(chǔ)
TimeLyreV9.2采用原生多模態(tài)架構(gòu),來自多種數(shù)據(jù)源的時(shí)序和關(guān)系數(shù)據(jù)經(jīng)由統(tǒng)一的接口以批量或?qū)崟r(shí)的方式存入統(tǒng)一的存儲(chǔ)引擎中,通過統(tǒng)一的高性能計(jì)算引擎Quark進(jìn)行讀取和分析,支撐上層模型加工、批處理、在線分析、高性能讀取等場景,助力企業(yè)更全面、更多維度的數(shù)據(jù)分析應(yīng)用。
不同于傳統(tǒng)方案為不同類型的數(shù)據(jù)單獨(dú)部署和使用不同的數(shù)據(jù)庫產(chǎn)品,TimeLyre以原生的多模態(tài)架構(gòu)高效實(shí)現(xiàn)了多種數(shù)據(jù)模型的轉(zhuǎn)化流轉(zhuǎn)與關(guān)聯(lián)分析,具有復(fù)雜度低、開發(fā)和運(yùn)維成本低、數(shù)據(jù)處理效率高等優(yōu)勢(shì)。
高性能C++計(jì)算引擎,向量化計(jì)算,顯著提升數(shù)據(jù)分析性能
依托于星環(huán)科技統(tǒng)一的多模型數(shù)據(jù)管理平臺(tái)架構(gòu),TimeLyre在計(jì)算引擎中納入了高性能C++計(jì)算引擎技術(shù),通過使用向量化計(jì)算,充分利用了現(xiàn)代CPU的SIMD指令集,借助列式掃描減少了IO開銷。同時(shí)采用高性能數(shù)據(jù)傳輸格式,實(shí)現(xiàn)了數(shù)據(jù)零拷貝,減少了序列化和反序列化的開銷,并借助列式存儲(chǔ)和高壓縮率,減少了網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量,便于數(shù)據(jù)更快速地接入高性能C++分析引擎。通過采用高性能分析計(jì)算引擎,可以幫助用戶顯著提高數(shù)據(jù)處理能力和效率,更快獲取分析結(jié)果,加速?zèng)Q策過程,降低能耗和硬件成本,幫助用戶在數(shù)據(jù)驅(qū)動(dòng)的商業(yè)環(huán)境中保持。
熱溫冷數(shù)據(jù)自動(dòng)分層存儲(chǔ),降低存儲(chǔ)成本,優(yōu)化資源配置
TimeLyre提供全新的熱溫冷數(shù)據(jù)分層存儲(chǔ)方案,統(tǒng)一接收外部應(yīng)用的數(shù)據(jù)寫入和數(shù)據(jù)查詢,內(nèi)部按時(shí)間或指定條件將熱數(shù)據(jù)、溫?cái)?shù)據(jù)和冷數(shù)據(jù)進(jìn)行自動(dòng)轉(zhuǎn)換。對(duì)于熱數(shù)據(jù),可以實(shí)現(xiàn)毫秒級(jí)查詢性能,提供5倍以上數(shù)據(jù)壓縮率;溫?cái)?shù)據(jù)支持百毫秒查詢性能,提供15倍以上壓縮率;冷數(shù)據(jù)提供30倍以上數(shù)據(jù)壓縮率,滿足數(shù)據(jù)批量加工需求。熱溫冷數(shù)據(jù)的分層僅需在建表時(shí)通過DDL指定,無需后期運(yùn)維,即可實(shí)現(xiàn)定期后臺(tái)自動(dòng)分層。同時(shí)支持指定數(shù)據(jù)存儲(chǔ)在不同的存儲(chǔ)介質(zhì)上,進(jìn)一步降低綜合存儲(chǔ)成本,優(yōu)化資源配置。
支撐分布式極速時(shí)序回放分析引擎TransMatrix,助力時(shí)序數(shù)據(jù)回放分析
TransMatrix是星環(huán)研發(fā)的分布式投研系統(tǒng),用戶可以將多種數(shù)據(jù)結(jié)構(gòu)、多種頻率(高、中、低頻)的數(shù)據(jù)按照時(shí)間順序進(jìn)行回訪;支持原生多模態(tài)數(shù)據(jù)源回放,可以從星環(huán)TDH中直接讀取和加工數(shù)據(jù)源,除了時(shí)序和關(guān)系數(shù)據(jù)之外,還支持文本數(shù)據(jù)、圖數(shù)據(jù)、圖片數(shù)據(jù)等,同時(shí)允許用戶借助Python開源生態(tài)對(duì)多模態(tài)數(shù)據(jù)進(jìn)行加工和分析;內(nèi)置豐富的時(shí)序算子庫,支持自定義算子開發(fā)與共享;采用事件驅(qū)動(dòng)的編程范式,提供生成式算子開發(fā)接口;提供算子拼接接口與豐富的內(nèi)置表達(dá)式,支持用戶自定義表達(dá)式;通過分布式任務(wù)實(shí)現(xiàn)多租戶負(fù)載均衡、提供分布式任務(wù)配置接口,可實(shí)現(xiàn)任務(wù)拆分、批量運(yùn)行、大規(guī)模采樣等大型任務(wù)。
新場景:大規(guī)模時(shí)序數(shù)據(jù)湖引擎,助力企業(yè)應(yīng)對(duì)海量時(shí)序數(shù)據(jù)
用戶可以基于TimeLyre構(gòu)建大規(guī)模時(shí)序數(shù)據(jù)湖,海量時(shí)序數(shù)據(jù)通過流式引擎進(jìn)入數(shù)據(jù)湖內(nèi),依托TimeLyre完成ODS層、DW層、維度層數(shù)據(jù)加載與處理,通過豐富的API接口和開源生態(tài)接口支撐上層應(yīng)用開發(fā)、風(fēng)險(xiǎn)識(shí)別、模型訓(xùn)練、實(shí)時(shí)展示、數(shù)據(jù)智能、時(shí)序分析等業(yè)務(wù)場景。以TimeLyre為核心構(gòu)建時(shí)序數(shù)據(jù)湖,充分利用了產(chǎn)品對(duì)海量實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)與查詢分析能力,實(shí)時(shí)寫入性能可達(dá)每節(jié)點(diǎn)千萬測點(diǎn),實(shí)時(shí)查詢性能可達(dá)每節(jié)點(diǎn)10000QPS。結(jié)合流、批計(jì)算引擎,滿足業(yè)務(wù)對(duì)端到端秒級(jí)時(shí)效性的要求。同時(shí)支持時(shí)序數(shù)據(jù)與關(guān)系數(shù)據(jù)高效關(guān)聯(lián)分析、提供完善的SQL支持與靈活可變的Schema定義,為用戶提供全面、高效、靈活的數(shù)據(jù)管理分析平臺(tái)。
新場景:投研一體化平臺(tái)技術(shù)底座,搭建分布式投研框架
面向金融投研場景,TimeLyre可以作為投研一體化平臺(tái)的技術(shù)底座,助力企業(yè)搭建分布式投研框架。底層依托時(shí)序數(shù)據(jù)庫TimeLyre及其內(nèi)置的分布式投研計(jì)算引擎TransMatrix構(gòu)建投研平臺(tái)核心技術(shù)底座,通過標(biāo)準(zhǔn)數(shù)據(jù)接口、因子開發(fā)接口、策略開發(fā)接口和分布式任務(wù)開發(fā)接口對(duì)接上層業(yè)務(wù)模型,助力企業(yè)在一體化平臺(tái)內(nèi)實(shí)現(xiàn)數(shù)據(jù)泰索、因子研究、策略回測等應(yīng)用開發(fā)。
新場景:投研數(shù)據(jù)中臺(tái)數(shù)據(jù)底座,實(shí)現(xiàn)多源數(shù)據(jù)分層管理
依托TimeLyre構(gòu)建投研數(shù)據(jù)中臺(tái),參考標(biāo)準(zhǔn)數(shù)據(jù)分層結(jié)構(gòu),可將數(shù)據(jù)分為數(shù)據(jù)源層、基礎(chǔ)數(shù)據(jù)層、投研標(biāo)準(zhǔn)層、業(yè)務(wù)模型層與收益報(bào)表層。在數(shù)據(jù)源層負(fù)責(zé)從數(shù)據(jù)廠商、交易所數(shù)據(jù)、用戶因子數(shù)據(jù)等外部數(shù)據(jù)源同步數(shù)據(jù),可以做到將原始的行情或因子數(shù)據(jù)以完全一致的形式同步入投研數(shù)據(jù)中臺(tái);基礎(chǔ)數(shù)據(jù)層負(fù)責(zé)完成數(shù)據(jù)的校驗(yàn)、清洗與加工,生成干凈的基礎(chǔ)投研數(shù)據(jù);投研標(biāo)準(zhǔn)層負(fù)責(zé)將這些數(shù)據(jù)統(tǒng)一成面向投研過程的標(biāo)準(zhǔn)表模型以及數(shù)據(jù)結(jié)構(gòu)模型,為用戶屏蔽掉不同來源數(shù)據(jù)在字段名、字段類型等方面的差異;業(yè)務(wù)模型層負(fù)責(zé)生成面向特定研究過程的因子與數(shù)據(jù);收益報(bào)表層負(fù)責(zé)生成面向投研收益評(píng)價(jià)的因子與數(shù)據(jù),可以將策略的研究結(jié)果、投研結(jié)果以報(bào)表的形式存在時(shí)序模型或關(guān)系模型中。
依托TimeLyre構(gòu)建投研數(shù)據(jù)中臺(tái)可以對(duì)接豐富的外部數(shù)據(jù)源,實(shí)現(xiàn)多層次外部數(shù)據(jù)錄入,支持以投研領(lǐng)域常見的文件形式加載數(shù)據(jù)、從主流數(shù)據(jù)庫(MySQL、Oracle等)進(jìn)行數(shù)據(jù)同步、通過類似SQL的API接收交易所實(shí)時(shí)行情、通過Kafka統(tǒng)一接受數(shù)據(jù)等多種數(shù)據(jù)接入方式。同時(shí)為了應(yīng)對(duì)數(shù)據(jù)實(shí)時(shí)和批量更新的需求,提供專業(yè)的ETL工具,可以實(shí)現(xiàn)數(shù)據(jù)的一鍵重入,開啟一鍵重入即可自動(dòng)觸發(fā)多層次數(shù)據(jù)加工,實(shí)現(xiàn)投研數(shù)據(jù)的自動(dòng)更新,并通過統(tǒng)一的API提供給業(yè)務(wù)人員進(jìn)行研究使用。
賦能業(yè)務(wù):TimeLyre助力某光伏企業(yè)打造批流一體時(shí)序數(shù)據(jù)湖方案
某光伏企業(yè)為解決數(shù)據(jù)孤島問題,依托星環(huán)科技分布式時(shí)序數(shù)據(jù)庫TimeLyre構(gòu)建批流一體的時(shí)序數(shù)據(jù)湖。首先通過數(shù)采設(shè)備從數(shù)據(jù)源系統(tǒng)中獲取原始數(shù)據(jù),統(tǒng)一經(jīng)由Kafka消息系統(tǒng)匯入數(shù)倉平臺(tái)的數(shù)據(jù)接入?yún)^(qū),并通過TimeLyre自帶的流處理引擎Slipstream將數(shù)據(jù)加載到內(nèi)部的貼源層,實(shí)現(xiàn)時(shí)序數(shù)據(jù)、關(guān)系數(shù)據(jù)等多模態(tài)數(shù)據(jù)的統(tǒng)一存儲(chǔ)。數(shù)倉內(nèi)部通過統(tǒng)一的計(jì)算引擎和SQL引擎將數(shù)據(jù)加工到不同的層次,包括標(biāo)準(zhǔn)表DWD層、中間表MID層、模型表DWS層、維度表DIM層和業(yè)務(wù)寬表ADS層等,用以支撐上層業(yè)務(wù)報(bào)告、BI報(bào)表、數(shù)據(jù)智能、實(shí)時(shí)分析對(duì)比、三維展示等應(yīng)用場景。值得注意的是數(shù)倉平臺(tái)以TimeLyre為核心,僅通過TimeLyre一個(gè)數(shù)據(jù)庫,就實(shí)現(xiàn)了時(shí)序數(shù)據(jù)、關(guān)系數(shù)據(jù)從貼源層到應(yīng)用層的加工、分析和查詢。
項(xiàng)目基于星環(huán)大數(shù)據(jù)技術(shù)實(shí)現(xiàn)了光伏數(shù)據(jù)的統(tǒng)一接入,包括設(shè)備測點(diǎn)數(shù)據(jù)的實(shí)時(shí)接入以及管理數(shù)據(jù)、巡檢圖片、運(yùn)行日志等數(shù)據(jù)的全量接入,目前已實(shí)現(xiàn)基地3300多臺(tái)設(shè)備、近30萬測點(diǎn)數(shù)據(jù)的秒級(jí)入庫。并且方案具備水平擴(kuò)展能力,未來增加硬件資源,也可順利接入新建場站數(shù)據(jù)。
同時(shí)依托星環(huán)科技時(shí)序數(shù)據(jù)庫、批處理引擎和分析庫構(gòu)建的光伏數(shù)據(jù)底座,可以實(shí)現(xiàn)各類數(shù)據(jù)的存儲(chǔ)和數(shù)倉模型加工,通過統(tǒng)一的計(jì)算引擎和統(tǒng)一的數(shù)據(jù)接口,支撐各類可視化數(shù)據(jù)應(yīng)用的構(gòu)建,方便光伏實(shí)驗(yàn)實(shí)證分析人員利用大數(shù)據(jù)技術(shù)開展數(shù)據(jù)對(duì)比分析、設(shè)備性能查詢、運(yùn)行曲線查看等日常工作。
此外基于星環(huán)一體化平臺(tái)與數(shù)據(jù)資產(chǎn)管理,實(shí)現(xiàn)了全平臺(tái)數(shù)據(jù)的統(tǒng)一授權(quán)、開發(fā)、治理、開放、審計(jì),讓各部門的開發(fā)人員,可以快速便利的獲得所需的數(shù)據(jù)資源,并基于高性能的時(shí)序數(shù)據(jù)湖平臺(tái)進(jìn)行數(shù)據(jù)分析。
免責(zé)聲明:本文僅代表作者個(gè)人觀點(diǎn),與每日科技網(wǎng)無關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí),對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾,請(qǐng)讀者僅作參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。
本網(wǎng)站有部分內(nèi)容均轉(zhuǎn)載自其它媒體,轉(zhuǎn)載目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé),若因作品內(nèi)容、知識(shí)產(chǎn)權(quán)、版權(quán)和其他問題,請(qǐng)及時(shí)提供相關(guān)證明等材料并與我們聯(lián)系,本網(wǎng)站將在規(guī)定時(shí)間內(nèi)給予刪除等相關(guān)處理.
精彩推薦
-
采購拿回扣問題,教你一個(gè)小妙招,看看怎么做!
2017-09-18 11:09 廣告 閱讀
-
苦逼的老板,教你一個(gè)小妙招,怎么防采購拿回扣!
2017-09-18 11:09 廣告 閱讀
-
傳播易是如何破局廣告營銷和廣告投放的
2021-05-14 16:33:30 更新 閱讀
-
高通侯明娟:芯之所向皆精彩,驍龍技術(shù)賦能數(shù)字
2024-07-26 22:31:21 更新 閱讀
-
創(chuàng)新+合作全面賦能,驍龍技術(shù)推動(dòng)移動(dòng)游戲體驗(yàn)升
2024-07-26 22:26:38 更新 閱讀
-
TCL實(shí)業(yè)2023年企業(yè)社會(huì)責(zé)任報(bào)告及碳中和年度報(bào)告
2024-07-25 16:44:14 更新 閱讀
-
載譽(yù)而歸:Acloudear再度榮獲SAP大中華區(qū)最佳云
2024-07-19 14:18:19 更新 閱讀
-
直播預(yù)告|持續(xù)顛覆,永不止步,飛渡科技2024產(chǎn)
2024-07-19 11:28:53 更新 閱讀
-
北京國際人力攜創(chuàng)新產(chǎn)品服務(wù)亮相科博會(huì) 開創(chuàng)“三
2024-07-16 14:45:51 更新 閱讀