阿里每天近萬(wàn)億級(jí)別的消息是如何完成實(shí)時(shí)消息傳遞的? 幾十萬(wàn)臺(tái)服務(wù)器, 成千上萬(wàn)個(gè)應(yīng)用順暢協(xié)作和消息實(shí)時(shí)傳遞都離不開(kāi)分布式消息中間件 RocketMQ。長(zhǎng)久以來(lái),RocketMQ 易于部署、高性能、高可用的架構(gòu), 支撐了數(shù)十年來(lái)集團(tuán)內(nèi)外海量的業(yè)務(wù)場(chǎng)景。2016 年, 阿里巴巴宣布將開(kāi)源分布式消息中間件 RocketMQ 捐贈(zèng)給 Apache, 并一舉成為 Apache 項(xiàng)目 (TLP)。一個(gè)由中國(guó)開(kāi)發(fā)者發(fā)起的項(xiàng)目, 站在了一個(gè)世界的舞臺(tái)上, 受到全球的企業(yè)和開(kāi)發(fā)者關(guān)注。RocketMQ 深受開(kāi)發(fā)者歡迎, 多次斬獲行業(yè)大獎(jiǎng), 究竟是怎樣的一群人讓這一項(xiàng)目不斷迸發(fā)出蓬勃的生命力?

　　這是一個(gè)從誕生第起就在 GitHub 上開(kāi)發(fā)的開(kāi)源項(xiàng)目, 也是個(gè)非 Hadoop 生態(tài)的 Apache 項(xiàng)目。它統(tǒng)一了阿里集團(tuán)內(nèi)部所有業(yè)務(wù)線的消息中間件, 伴隨著中國(guó)互聯(lián)網(wǎng)發(fā)展數(shù)次迭代。

　　《十萬(wàn)億條消息背后的故事》記錄了從誕生、開(kāi)源到發(fā)展至今, 那些 RocketMQ 背后鮮為人知的創(chuàng)始故事。通過(guò)「開(kāi)源人說(shuō)」的娓娓道來(lái), 讓我們一起來(lái)了解分布式消息中間件 Apache RocketMQ 背后的人與事!

　　雙 11,RocketMQ 抖一抖, 上層業(yè)務(wù)“抖三抖”

　　早在 2007 年, 阿里巴巴中間件團(tuán)隊(duì)就自主研發(fā)了消息中間件 Notify。作為 RocketMQ 的前身, 在很長(zhǎng)一段時(shí)間里,Notify 作為主要的消息中間件支撐著淘寶天貓業(yè)務(wù)。

　　Apache RocketMQ 的創(chuàng)始人王小瑞于 2011 年加入到淘寶中間件。當(dāng)時(shí)面臨挑戰(zhàn)是, 每年“雙 11”Notify 都會(huì)出問(wèn)題, 使得消息會(huì)延遲半天甚至以上, 商家看不到買家已經(jīng)購(gòu)買了商品, 這對(duì)于商家服務(wù)以及客戶體驗(yàn)的影響非常大。在縝密研判后, 發(fā)現(xiàn)問(wèn)題核心就是如何能夠?qū)崿F(xiàn)高速讀寫, 王小瑞所在的團(tuán)隊(duì)認(rèn)為想要解決這一問(wèn)題, 就需要基于一個(gè)全新存儲(chǔ)架構(gòu)來(lái)解決這個(gè)問(wèn)題。于是,RocketMQ 誕生了。

　　RocketMQ 誕生, 一開(kāi)始就是開(kāi)源共建,3 個(gè)月就出了第一個(gè)版本

　　王小瑞 (Apache RocketMQ 創(chuàng)始人 & 作者) 說(shuō):“阿里的文化特別開(kāi)放, 我是在食堂跟小邪 (現(xiàn)阿里云基礎(chǔ)產(chǎn)品事業(yè)部負(fù)責(zé)人) 吃飯的時(shí)候, 說(shuō)我們希望這個(gè)產(chǎn)品名字叫 RocketMQ, 希望它可以一開(kāi)始就是開(kāi)源的。小邪當(dāng)時(shí)就給予了支持。”淘寶的文化也是馬上做, 做精彩。如果你有想法, 那你趕緊去做。所以我當(dāng)時(shí)其實(shí)做夢(mèng)的過(guò)程中都在想這些問(wèn)題該怎么解決。老板沒(méi)有定一個(gè)嚴(yán)格的時(shí)間點(diǎn), 說(shuō)你必須在什么時(shí)間寫完, 但我的想法是, 我已經(jīng)想清楚了整個(gè)架構(gòu), 需要把它快速實(shí)現(xiàn)出來(lái)。”

　　從第開(kāi)始,RocketMQ 就在 Github 完整展現(xiàn), 也就是說(shuō) RocketMQ 的第一行代碼對(duì)用戶就是開(kāi)放的。在非常多國(guó)內(nèi)外開(kāi)發(fā)者的共同參與下。RocketMQ 快速迭代, 大概用了 3 個(gè)月時(shí)間就完成第一個(gè)版本。

　　2015 年, 中日韓開(kāi)源論壇上,RocketMQ 作為中國(guó)開(kāi)源軟件的代表, 榮獲 CJK OSS 大獎(jiǎng)。

　　2016 年“雙 11”當(dāng)天, 達(dá)到萬(wàn)億級(jí)消息量, 峰值 TPS 幾千萬(wàn), 創(chuàng)造了國(guó)內(nèi)乃至世界上的消息流轉(zhuǎn)記錄。

　　RocketMQ 捐贈(zèng), 僅用一年, 成為 Apache 開(kāi)源項(xiàng)目

　　在阿里巴巴建立之初, 正是基于開(kāi)源軟件將整個(gè)電商平臺(tái)的原型快速搭建起來(lái)。阿里巴巴感恩開(kāi)源社區(qū)帶來(lái)的巨大貢獻(xiàn)與價(jià)值, 也希望將自身經(jīng)驗(yàn)分享出來(lái)、回饋社區(qū), 讓更多的人受益。

　　2016 年, 阿里巴巴將分布式消息中間件 RocketMQ 捐贈(zèng)給了 Apache 開(kāi)源軟件基金會(huì)。僅用 10 個(gè)月時(shí)間就從 Apache 畢業(yè), 并成為 Apache 項(xiàng)目 (TLP)。這也標(biāo)志著中國(guó)擁有了第一個(gè)非 Hadoop 生態(tài)的項(xiàng)目。

　　(2017 年 9 月 25 日, 從孵化到畢業(yè) 10 個(gè)月左右的時(shí)間,Apache 官方正式宣布阿里巴巴捐贈(zèng)給 Apache 社區(qū)的 RocketMQ 從社區(qū)正式畢業(yè), 成為了 Apache 的項(xiàng)目。)

　　Apache RocketMQ 社區(qū)運(yùn)營(yíng)負(fù)責(zé)人王榮剛說(shuō):“我們終于完成了一個(gè)階段性的小目標(biāo), 一個(gè)由中國(guó)開(kāi)發(fā)者發(fā)起的項(xiàng)目, 站在了一個(gè)世界的舞臺(tái)上, 受到全球的企業(yè)和開(kāi)發(fā)者的關(guān)注, 那種感覺(jué)還是非常自豪的。”

　　2021 年,RocketMQ 5.0 正式發(fā)布

　　2021 年, 在經(jīng)歷社區(qū)眾多開(kāi)發(fā)者的不斷努力,RocketMQ 5.0 出現(xiàn)在行業(yè)視野中, 并引發(fā)廣泛討論。新版本核心包括兩大新亮點(diǎn)。首先, 消息核心場(chǎng)景全面擴(kuò)展,RocketMQ 5.0 不再局限于消息解耦場(chǎng)景, 將全新布局事件驅(qū)動(dòng)和消息流式處理場(chǎng)景; 其次, 技術(shù)架構(gòu)不斷演進(jìn), 逐漸形成一站式融合處理的技術(shù)架構(gòu)和趨勢(shì)。

　　2022 年, 批量消息索引、邏輯隊(duì)列發(fā)布 RocketMQ-MQTT,RocketMQ-Connect、RocketMQ-Streams, 完成從業(yè)務(wù)消息平臺(tái)向『消息、事件、流』一體化融合處理平臺(tái)的升級(jí)。開(kāi)發(fā)者可以實(shí)現(xiàn)一份消息存儲(chǔ), 支持流式計(jì)算、異步投遞、集成驅(qū)動(dòng)等多個(gè)場(chǎng)景。實(shí)現(xiàn)技術(shù)問(wèn)題一站式解決, 大大降低技術(shù)復(fù)雜度和運(yùn)維成本, 簡(jiǎn)化企業(yè)應(yīng)用架構(gòu)。

　　阿里巴巴開(kāi)源委員會(huì)副主席丁宇表示:“未來(lái), 我們會(huì)加大 RocketMQ 的開(kāi)源投入, 構(gòu)建更加繁榮的社區(qū)生態(tài), 希望與更多的開(kāi)發(fā)者、貢獻(xiàn)者一起, 追求、開(kāi)放共享, 實(shí)現(xiàn)技術(shù)普惠。”

　　正是因?yàn)橛羞@樣一群熱愛(ài)開(kāi)源并愿意為它一直奮斗的開(kāi)源人們, 讓中國(guó)的開(kāi)源事業(yè)未來(lái)可期!