2021年10月18日~20日，由IT168聯(lián)合旗下ITPUB、ChinaUnix兩大技術(shù)社區(qū)主辦的第12屆中國數(shù)據(jù)庫技術(shù)大會(DTCC2021)在北京國際會議中心隆重召開。歷經(jīng)十余年的積累與沉淀，DTCC已然成為國內(nèi)數(shù)據(jù)庫領(lǐng)域的技術(shù)風(fēng)向標(biāo)，見證了整個行業(yè)的發(fā)展與演變。DTCC2021秉承一貫的干貨分享和實踐指導(dǎo)原則，本次大會依然為行業(yè)呈現(xiàn)了一場頂級技術(shù)盛會。

　　作為國產(chǎn)數(shù)據(jù)庫和人工智能基礎(chǔ)軟件提供商、數(shù)據(jù)庫領(lǐng)域國際標(biāo)準(zhǔn)主筆單位與國家標(biāo)準(zhǔn)牽頭建設(shè)單位，柏睿數(shù)據(jù)受邀參會，柏睿數(shù)據(jù)行業(yè)咨詢總監(jiān)陳林生在會上進(jìn)行了《全內(nèi)存分布式數(shù)據(jù)庫RapidsDB的應(yīng)用場景與實踐》主題演講。下文整理自現(xiàn)場演講內(nèi)容，分享給大家～(在公眾號對話框回復(fù)關(guān)鍵字：全內(nèi)存數(shù)據(jù)庫，即可獲取嘉賓PPT)

　　圖：柏睿數(shù)據(jù)行業(yè)咨詢總監(jiān)陳林生

　　一、 內(nèi)存計算及 內(nèi)存數(shù)據(jù)庫 已 逐漸 成為 大數(shù)據(jù)處理 主流技術(shù)路線

　　近年來，內(nèi)存數(shù)據(jù)庫成為解決高并發(fā)、低時延數(shù)據(jù)管理需求的主流技術(shù)路線。但內(nèi)存數(shù)據(jù)庫并不是一個新鮮概念，如今得以廣泛應(yīng)用，是行業(yè)需求、成本性價比與技術(shù)成熟使然。

　　一方面，隨著移動互聯(lián)網(wǎng)的飛速發(fā)展，數(shù)據(jù)呈現(xiàn)出海量、實時、在線等趨勢，追求極限數(shù)據(jù)處理性能的場景越來越多，基于磁盤存儲的數(shù)據(jù)庫管理系統(tǒng)受限于磁盤讀寫的速度，已經(jīng)很難滿足新場景的擴(kuò)展性和時延要求。

　　另一方面，內(nèi)存器件的容量密度在快速上升，早期直接焊接在主板上的內(nèi)存芯片，容量普遍在64KB以下;發(fā)展至今，最大容量內(nèi)存是單根128GB，8路服務(wù)器內(nèi)存容量已經(jīng)能夠達(dá)到8TB。而內(nèi)存單位價格也在逐年下降，從1970年代至今，內(nèi)存每兆字節(jié)的價格下降了近9個數(shù)量級。內(nèi)存技術(shù)的成熟，使大量數(shù)據(jù)在內(nèi)存中的存儲和處理成為可能。

　　那么，內(nèi)存數(shù)據(jù)庫的關(guān)鍵需求是什么呢?我們知道，NoSQL在初創(chuàng)公司或互聯(lián)網(wǎng)公司獲得了很大的應(yīng)用，但對于傳統(tǒng)的企業(yè)客戶而言，甚至是互聯(lián)網(wǎng)公司，也逐漸意識到數(shù)據(jù)庫的SQL和ACID是大部分企業(yè)無法直接舍棄的，同時需要兼顧極致性能、分布式、可擴(kuò)展性需求等，這是柏睿數(shù)據(jù)在設(shè)計全內(nèi)存分布式數(shù)據(jù)庫架構(gòu)時的出發(fā)點與著重考量的關(guān)鍵需求。

　　但是，“內(nèi)存數(shù)據(jù)庫≠磁盤數(shù)據(jù)庫+大內(nèi)存”，即在傳統(tǒng)基于磁盤數(shù)據(jù)庫的架構(gòu)上無法充分發(fā)揮內(nèi)存計算給數(shù)據(jù)庫性能的提升，內(nèi)存數(shù)據(jù)庫和傳統(tǒng)磁盤數(shù)據(jù)庫在數(shù)據(jù)庫架構(gòu)的方方面面有著很大的區(qū)別。

　　二、 內(nèi)存數(shù)據(jù)庫 與 傳統(tǒng)磁盤數(shù)據(jù)庫 的本質(zhì)區(qū)別

　　內(nèi)存數(shù)據(jù)庫與傳統(tǒng)磁盤庫采用不同的架構(gòu)設(shè)計。

　　磁盤數(shù)據(jù)庫(Disk Resident Database，DRDB)即數(shù)據(jù)存于磁盤，需要頻繁地訪問磁盤來進(jìn)行數(shù)據(jù)的操作。而磁盤相對于內(nèi)存來說是極其低速的存儲介質(zhì)，內(nèi)存尋址為納秒(ns)級別，磁盤尋址是毫秒(ms)級別，比內(nèi)存慢了100萬倍。因此，解決磁盤I/O性能瓶頸一直是磁盤數(shù)據(jù)庫的主要問題。

　　內(nèi)存數(shù)據(jù)庫(Main Memory Database，MMDB)與磁盤數(shù)據(jù)庫的根本區(qū)別在于，內(nèi)存數(shù)據(jù)庫將數(shù)據(jù)全量加載到內(nèi)存中進(jìn)行處理，省去了磁盤I/O開銷，具備更極致的讀寫速度，性能相對傳統(tǒng)的磁盤數(shù)據(jù)庫有數(shù)量級的提升。

　　但內(nèi)存數(shù)據(jù)庫并非簡單地將數(shù)據(jù)移至內(nèi)存即可，內(nèi)存數(shù)據(jù)庫架構(gòu)需要思考并優(yōu)化其他可能的性能瓶頸與問題，還要考慮比如數(shù)據(jù)持久化、超出內(nèi)存數(shù)據(jù)的統(tǒng)一管理(Larger-than-Memory)等問題。

　　三、 當(dāng)磁盤 I/O 不再是瓶頸 ，內(nèi)存數(shù)據(jù)庫要考慮什么問題？

　　2008年，SIGMOD的一篇論文對面向磁盤的數(shù)據(jù)庫性能開銷做了分析，把整個數(shù)據(jù)庫系統(tǒng)的開銷做了統(tǒng)計。分析發(fā)現(xiàn)：典型的數(shù)據(jù)庫環(huán)境中實際上只有12%的資源是在真正處理業(yè)務(wù)查詢和處理邏輯。其中30%用于緩沖區(qū)管理;30%處理數(shù)據(jù)并發(fā)控制管理的開銷(Locking和Latching);另外28%處理數(shù)據(jù)庫日志的處理(Logging)。如何降低這些數(shù)據(jù)庫額外開銷?這是我們在設(shè)計內(nèi)存數(shù)據(jù)庫時考慮的重點方向。

　　柏睿數(shù)據(jù)基于多年深耕數(shù)據(jù)庫行業(yè)經(jīng)驗，全面考量內(nèi)存數(shù)據(jù)庫架構(gòu)下，數(shù)據(jù)存儲、并發(fā)訪問控制、查詢優(yōu)化器、查詢編譯器、執(zhí)行引擎、數(shù)據(jù)持久化、高可用等方面新需求，自主研發(fā)具有國產(chǎn)知識產(chǎn)權(quán)的全內(nèi)存分布式數(shù)據(jù)庫RapidsDB。

　　RapidsDB采用分布式內(nèi)存架構(gòu)，支持高吞吐、高并發(fā)、高擴(kuò)張、高可用的復(fù)雜應(yīng)用場景需求，實現(xiàn)TB級數(shù)據(jù)及上百個維度隨機(jī)數(shù)據(jù)的秒級查詢，并滿足按需動態(tài)擴(kuò)展的業(yè)務(wù)需求。同時，在避免數(shù)據(jù)遷移風(fēng)險的前提下，RapidsDB實現(xiàn)對多源異構(gòu)數(shù)據(jù)統(tǒng)一的接入、查詢、分析，并快速生成可視化報表。

　　四、 深耕 行業(yè) 應(yīng)用，柏睿數(shù)據(jù)收獲春華秋實

　　至今，柏睿數(shù)據(jù)全內(nèi)存分布式數(shù)據(jù)庫RapidsDB已經(jīng)通過了眾多實踐檢驗，廣泛應(yīng)用于金融、運營商、能源、政府、制造業(yè)、交通等領(lǐng)域，在自助分析/靈活查詢、傳統(tǒng)數(shù)倉平臺加速、物聯(lián)網(wǎng)數(shù)據(jù)分析、實時電信計費、HTAP場景中發(fā)揮實效。

　　在近日公布的國家工業(yè)信息安全發(fā)展研究中心(工業(yè)和信息化部電子第一研究所)電信行業(yè)數(shù)據(jù)庫能力第一期測評結(jié)果中，柏睿數(shù)據(jù)各項指標(biāo)評測結(jié)果均入圍前三甲，斬獲電信行業(yè)數(shù)據(jù)庫綜合能力第二名。并且，柏睿數(shù)據(jù)已經(jīng)成為中國移動智慧中臺唯一分布式內(nèi)存數(shù)據(jù)庫供應(yīng)廠商。

　　在某省級移動公司網(wǎng)格運營平臺提速項目中，RapidsDB大幅提升系統(tǒng)性能和經(jīng)分系統(tǒng)自助分析速度，實現(xiàn)了PC端網(wǎng)格門戶的數(shù)據(jù)展示秒級響應(yīng)、APP端全功能秒級響應(yīng);優(yōu)化GIS圖層渲染效率，實現(xiàn)網(wǎng)格規(guī)配、入格管理等秒級響應(yīng)。

　　在某大型國有金融客戶項目中，RapidsDB代替Oracle+ElasticSearch復(fù)雜技術(shù)棧，實現(xiàn)極速性能，為全行5萬個客戶經(jīng)理團(tuán)隊提供日常業(yè)務(wù)查詢，支撐精準(zhǔn)營銷及信貸風(fēng)控的業(yè)務(wù)需要。

　　如數(shù)據(jù)庫界的“大神”、1998年圖靈獎獲得者Jim Gray先生所言：“Tape is Dead，Disk is Tape，F(xiàn)lash is Disk，RAM Locality is King.”陳林生認(rèn)為，隨著實時性數(shù)據(jù)處理場景需求的增多、對應(yīng)用極致性能要求的不斷提高，以及非易失性存儲器件技術(shù)的不斷成熟和商用化，未來絕大部分的數(shù)據(jù)庫負(fù)載都將運行在內(nèi)存數(shù)據(jù)庫上。

　　數(shù)據(jù)庫技術(shù)的蓬勃發(fā)展，不僅帶動了產(chǎn)業(yè)的百家爭鳴之勢，更使中國數(shù)據(jù)庫在國際數(shù)據(jù)庫格局中占據(jù)了一席之地。作為“卡脖子”關(guān)鍵技術(shù)攻堅者、國家“專精特新”科技小巨人企業(yè)，柏睿數(shù)據(jù)持續(xù)突破底層核心技術(shù)、圍繞數(shù)據(jù)庫技術(shù)打造算力核心引擎筑牢中國數(shù)字基座，并正以領(lǐng)先的創(chuàng)新技術(shù)、自主可控的數(shù)據(jù)智能基礎(chǔ)軟件作為犀舟徑楫，在數(shù)字經(jīng)濟(jì)浪潮下?lián)P帆遠(yuǎn)航!