近日,大數(shù)據(jù)分析/數(shù)倉軟件巨頭Teradata宣布基于中國未來商業(yè)環(huán)境評估,退出在中國的直接運營,后續(xù)將進入中國公司關(guān)閉程序。

　　星環(huán)科技經(jīng)過多年的自主研發(fā)打造了一系列大數(shù)據(jù)基礎(chǔ)軟件,并打磨了一系列國產(chǎn)化替代平滑遷移方案,能夠更好幫助企業(yè)用戶更高效、更平滑、更安全的實現(xiàn)國外進口產(chǎn)品的國產(chǎn)化替代。自主研發(fā)的分布式分析型數(shù)據(jù)庫ArgoDB經(jīng)工信部電子第五研究所代碼掃碼測試,代碼自主率(行數(shù))超90%,可支持標準SQL語法,兼容Oracle、IBM DB2和 Teradata等方言,通過一個ArgoDB數(shù)據(jù)庫,就可以打造一站式離線數(shù)據(jù)倉庫、實時數(shù)據(jù)倉庫、數(shù)據(jù)集市和聯(lián)邦計算平臺等數(shù)據(jù)分析系統(tǒng),同時已與國內(nèi)主流軟硬件信創(chuàng)廠商完成了兼容適配互認證,滿足信創(chuàng)驗收要求。作為一款的數(shù)據(jù)庫產(chǎn)品,目前ArgoDB已在各行各業(yè)成功替代Oracle、DB2、Teradata等國外產(chǎn)品。

　　例如,某農(nóng)商行采用星環(huán)科技分布式分析型數(shù)據(jù)庫ArgoDB建設(shè)了新一代湖倉一體平臺,平滑替代了原Teradata一體機,實現(xiàn)了多數(shù)據(jù)平臺合一,降低了原有同質(zhì)化的數(shù)據(jù)系統(tǒng)運維開發(fā)成本和數(shù)據(jù)冗余,綜合成效比達到Teradata的14倍。

　　傳統(tǒng)數(shù)倉架構(gòu)面臨眾多挑戰(zhàn)

　　隨著互聯(lián)網(wǎng)金融生態(tài)的發(fā)展,該農(nóng)商行和實體經(jīng)濟的業(yè)務(wù)聯(lián)系和深度融合進展迅速,業(yè)務(wù)數(shù)據(jù)的內(nèi)容不斷豐富,數(shù)據(jù)規(guī)模也不斷增長。伴隨該農(nóng)商行業(yè)務(wù)的快速發(fā)展,傳統(tǒng)數(shù)據(jù)倉庫技術(shù)架構(gòu)面臨越來越大的挑戰(zhàn),其表現(xiàn)如下:

　　(1)大部分傳統(tǒng)數(shù)據(jù)倉庫對分布式并行計算模式的支持不夠,難以實現(xiàn)處理能力的水平彈性擴展,依賴于服務(wù)器硬件的升級實現(xiàn)處理能力擴容,不僅成本高昂,而且受到服務(wù)器硬件升級周期較長等的限制。

　　(2)商業(yè)銀行因業(yè)務(wù)復(fù)雜性和多樣性的原因,現(xiàn)存的數(shù)據(jù)應(yīng)用系統(tǒng)種類較多。在單個數(shù)據(jù)庫系統(tǒng)處理能力有限的情況下,普遍存在應(yīng)用各自獨立建設(shè),缺乏統(tǒng)籌規(guī)劃,系統(tǒng)間數(shù)據(jù)處理職責(zé)劃分不合理、囗徑不一致,存在大量的重復(fù)加工和數(shù)據(jù)冗余的問題。

　　(3)傳統(tǒng)數(shù)據(jù)倉庫軟件主要面向數(shù)據(jù)分析型應(yīng)用,無法兼顧實時營銷與實時風(fēng)險管理等高并發(fā)、低延遲應(yīng)用場景需要,較難處理非結(jié)構(gòu)化數(shù)據(jù),難以快速實現(xiàn)業(yè)務(wù)團隊的數(shù)據(jù)探索、數(shù)據(jù)挖掘與業(yè)務(wù)建模需求。

　　基于以上情況,該農(nóng)商行基于自身發(fā)展需求,參考業(yè)界先進架構(gòu)以及同業(yè)案例,在2017年引入星環(huán)科技的TDH平臺,構(gòu)建了以分布式大數(shù)據(jù)技術(shù)為基礎(chǔ)的大數(shù)據(jù)平臺。同時引進星環(huán)分布式分析型數(shù)據(jù)庫ArgoDB產(chǎn)品,采用ArgoDB集群替代Teradata一體機。

　　選擇星環(huán)ArgoDB+TDH實現(xiàn)湖倉一體

　　該農(nóng)商行從企業(yè)應(yīng)用角度出發(fā),通過對國內(nèi)外眾多主流大數(shù)據(jù)平臺產(chǎn)品的技術(shù)能力和實現(xiàn)細節(jié)詳細了解、對比、篩選,并對候選產(chǎn)品進行嚴格的POC測試,最終選擇了更符合自身需求的國產(chǎn)TDH大數(shù)據(jù)平臺產(chǎn)品。通過TDH大數(shù)據(jù)平臺的建設(shè),實現(xiàn)成本管理和業(yè)務(wù)管控的雙效提升。

　　選擇TDH大數(shù)據(jù)平臺產(chǎn)品,該農(nóng)商行可以采用普通的服務(wù)器和存儲進行搭建,在經(jīng)濟效益層面,經(jīng)初步估計,數(shù)據(jù)應(yīng)用的總體硬件投入成本將比采用傳統(tǒng)模式低不少;數(shù)據(jù)庫軟件授權(quán)許可費預(yù)計只有原來的1/20;同時由于各應(yīng)用構(gòu)建在同一個大數(shù)據(jù)平臺上,因此每個應(yīng)用減少了大量的共性數(shù)據(jù)加工和數(shù)據(jù)共享代碼開發(fā),軟件開發(fā)成本也有所降低。

　　在系統(tǒng)效率層面,TDH充分利用分布式計算以及內(nèi)存處理(ArgoDB)技術(shù),在處理同樣數(shù)據(jù)量情況下,大數(shù)據(jù)量跑批處理時間預(yù)計能大幅降低,大大提升了該農(nóng)商行在營銷、風(fēng)控、運營等業(yè)務(wù)流程上的響應(yīng)能力。

　　綜合成效比提升14倍

　　該農(nóng)商行基于星環(huán)ArgoDB+TDH的湖倉一體平臺,實現(xiàn)了多數(shù)據(jù)平臺合一,進行數(shù)據(jù)資產(chǎn)管理,降低了原有同質(zhì)化的數(shù)據(jù)系統(tǒng)運維開發(fā)成本和數(shù)據(jù)冗余,實現(xiàn)了數(shù)據(jù)的遷移,保證了業(yè)務(wù)正常運行。

　　該農(nóng)商行采用ArgoDB集群替代Teradata一體機,軟硬件使用時效從4年提升到10年,跑批時間從超過10個小時,降低到不到5個小時,綜合成效比達到Teradata的14倍。

　　同時,利用星環(huán)TDH和ArgoDB,該農(nóng)商行完成數(shù)據(jù)倉庫匯總層關(guān)鍵50+張指標表遷移,實現(xiàn)了數(shù)據(jù)倉庫管理會計等800多個供數(shù)接口遷移,小數(shù)據(jù)平臺120多下游接口遷移,為下游40多個系統(tǒng)提供支撐,更好地支持銀行智能化、數(shù)字化應(yīng)用建設(shè)。

　　作為大數(shù)據(jù)基礎(chǔ)軟件國產(chǎn)化的重要推動者之一,星環(huán)科技還擁有成熟的基礎(chǔ)軟件替代解決方案:

　　*大數(shù)據(jù)基礎(chǔ)平臺TDH可以完美的替代CDH/HDP和CDP,提升功能、性能、穩(wěn)定性、易用性、擴展性、可靠性、安全、國產(chǎn)生態(tài)支持等能力,提供多種模型支持能力,性能的提升可以達到5到100倍,原廠專業(yè)服務(wù)能力更強。

　　*分布式交易型數(shù)據(jù)庫KunDB可以在交易型OLTP的業(yè)務(wù)場景、高并發(fā)在線數(shù)據(jù)服務(wù)場景,替代Oracle/DB2,并且提升存儲計算能力、高可用能力、跨分區(qū)事務(wù)能力。

　　*分布式分析型數(shù)據(jù)庫ArgoDB可以在批處理和OLAP、Ad hoc分析等場景,替代Oracle/DB2/TD/SAP HANA,提供海量數(shù)據(jù)分析能力,提升混合負載、實時數(shù)據(jù)分析等能力,軟硬件綜合性價比得到10到100倍的提升。

　　*分布式圖數(shù)據(jù)庫StellarDB可以在圖查詢、圖分析的場景替代Neo4j,提升圖數(shù)據(jù)存儲檢索能力,支持萬億頂點以上的圖存儲與毫秒級檢索性能,提供近30種分布式圖算法和10層以上深度鏈路分析能力。

　　*搜索引擎Scope可以在全文檢索、日志分析等場景替代ElasticSearch,提升穩(wěn)定性、性能、集群擴展性等能力。

　　*智能分析工具Sophon可以在可視化建模分析場景替代SAS/SPSS,獲得200+算子支撐,提升功能和性能(降本增效)。