隨著物聯(lián)網(wǎng)等新興技術(shù)的加速發(fā)展，傳統(tǒng)企業(yè)紛紛開始進(jìn)行數(shù)字化轉(zhuǎn)型。在此過程中，數(shù)據(jù)技術(shù)的重要性不言而喻。作為企業(yè)發(fā)展的寶貴資產(chǎn)，數(shù)據(jù)處理能力與業(yè)務(wù)發(fā)展需求息息相關(guān)，數(shù)據(jù)架構(gòu)的迭代升級(jí)也是企業(yè)在數(shù)字化轉(zhuǎn)型下持續(xù)探索的一大主題。
8 月 13 日，由濤思數(shù)據(jù)舉辦的前沿?cái)?shù)據(jù)技術(shù)交流盛會(huì)「 TDengine 開發(fā)者大會(huì)」在北京·昆泰嘉瑞文化中心正式舉辦。在本次大會(huì)上，濤思數(shù)據(jù)創(chuàng)始人陶建輝、小米集團(tuán)副總裁崔寶秋博士、明勢資本創(chuàng)始合伙人黃明明等數(shù)十位重磅嘉賓，為與會(huì)者貢獻(xiàn)了關(guān)于開源、基礎(chǔ)軟件的未來趨勢解讀，以及有關(guān)物聯(lián)網(wǎng)、IT 運(yùn)維等項(xiàng)目的數(shù)據(jù)架構(gòu)升級(jí)經(jīng)驗(yàn)。同時(shí)，濤思數(shù)據(jù)宣布了 TDengine 3.0 的重磅發(fā)布，并一一揭秘了其核心特性，諸多顛覆性創(chuàng)新思路讓參會(huì)者一睹為快。
“百家爭鳴”——思想碰撞下定位開源與基礎(chǔ)軟件的未來
TDengine 從 2019 年 7 月就宣布了核心代碼開源，2020 年 8 月又宣布了集群開源，在開源力量的影響下，發(fā)展 5 年，TDengine 的用戶實(shí)例已經(jīng)接近 14 萬例，發(fā)展了 100+ 企業(yè)用戶。
一直以來，TDengine 的技術(shù)創(chuàng)新都是以用戶需求為出發(fā)點(diǎn)。本次大會(huì)也邀請(qǐng)到了京東科技 IoT 產(chǎn)品部技術(shù)總監(jiān)閆政和中通科技資深架構(gòu)師黃國石來到現(xiàn)場，為與會(huì)者講述 TDengine 在京東云物聯(lián)網(wǎng)產(chǎn)業(yè)場景及中通物流配送業(yè)務(wù)下車聯(lián)網(wǎng)服務(wù)平臺(tái)的應(yīng)用故事。
作為一種新的商業(yè)創(chuàng)新模式，開源的力量我們有目共睹，但關(guān)于開源的價(jià)值和意義，一千個(gè)人眼中有一千個(gè)哈姆雷特，百萬個(gè)人心中有百萬種定義。在大會(huì)主論壇上，小米集團(tuán)副總裁崔寶秋博士帶領(lǐng)大家回歸開源的本質(zhì)，探索開源的意義。
圖/小米集團(tuán)副總裁崔寶秋博士
他表示，在互聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能時(shí)代，開源是人類技術(shù)進(jìn)步的最佳平臺(tái)和模式，但開源并不只是一種提升技術(shù)品牌的方法、抑或是軟件分發(fā)的手段，它的出發(fā)點(diǎn)應(yīng)該是利他主義和長期主義。“德不孤，必有鄰”，開源項(xiàng)目如果一開始就秉承開放、共享、平等、協(xié)同、創(chuàng)新的開源之道，一定會(huì)有非常多的共建者自愿加入。
一定程度上，開源的力量幫助 TDengine 贏得了國內(nèi)外的市場，成為眾多企業(yè)的首選時(shí)序數(shù)據(jù)庫之一，但如果想要持續(xù)成功，技術(shù)上也要不斷的創(chuàng)新，始終領(lǐng)先于“copy”者，只有這樣才能真正實(shí)現(xiàn)開源的“利他主義”和“長期主義”。
圖/TDengine 創(chuàng)始人陶建輝
在 TDengine 創(chuàng)始人陶建輝帶來的《高性能、云原生的極簡時(shí)序數(shù)據(jù)處理平臺(tái)》分享中，我們看到了 TDengine 從 1.0 到 2.0 再到 3.0 的不斷迭代升級(jí)，技術(shù)的發(fā)展也在反哺著開源社區(qū)，短短三年間，TDengine 在 GitHub 上的 star 數(shù)已經(jīng)超過 18.8k，issue 數(shù)達(dá)到了 15921。而新鮮出爐的 TDengine 3.0，打造的云原生數(shù)據(jù)庫、極簡時(shí)序數(shù)據(jù)平臺(tái)、便捷的數(shù)據(jù)分析等特點(diǎn)更是對(duì)時(shí)序數(shù)據(jù)庫進(jìn)行了重新定義。
盡管中國基礎(chǔ)軟件領(lǐng)域已經(jīng)出現(xiàn)了諸如 TDengine 等數(shù)百個(gè)國產(chǎn)替代產(chǎn)品，但市場仍然被 Windows、Linux、MySQL、Oracle 等海外玩家壟斷。無論是數(shù)據(jù)庫還是操作系統(tǒng)軟件，國內(nèi)的市場幾乎一片空白。在這種發(fā)展現(xiàn)狀下，中國基礎(chǔ)軟件的下一步路要怎么走？
圖/明勢資本創(chuàng)始合伙人黃明明
明勢資本創(chuàng)始合伙人黃明明認(rèn)為，二十一世紀(jì)以來，中國制造業(yè)崛起，亟需與之匹配的基礎(chǔ)軟件，而根植于上一代領(lǐng)先制造業(yè)玩家的基礎(chǔ)軟件產(chǎn)品，已經(jīng)難以滿足更大產(chǎn)值、更大場景、更新玩家的需求，中國企業(yè)在新一代基礎(chǔ)軟件戰(zhàn)場上大有可為。在這種有利背景下，技術(shù)的開放開源可以成為基礎(chǔ)軟件占領(lǐng)市場的一種手段，它將幫助企業(yè)打破信任瓶頸，向海外市場進(jìn)軍。
可以說，用好開源，國內(nèi)軟件市場就有望突出重圍，開放開源已經(jīng)成為顛覆基礎(chǔ)軟件現(xiàn)有市場格局的重要手段。但在開源已經(jīng)成為趨勢的當(dāng)下，開源想要成功也需要正確的“道”與“術(shù)”。在主論壇的圓桌討論環(huán)節(jié)，幾位嘉賓就以此為主題進(jìn)行了一輪思想碰撞。
本次討論的一個(gè)共性思想就是開源想要成功，產(chǎn)品本身的調(diào)性和創(chuàng)新非常重要，開源項(xiàng)目被打造出來的初衷一定是想要解決某些場景的共性痛點(diǎn)問題，做有價(jià)值的事情，而想要持續(xù)吸引用戶和開發(fā)者，還需要技術(shù)創(chuàng)新來不斷產(chǎn)生新鮮的血液。此外，開源項(xiàng)目一定要具有全球化思維，可以通過擁抱云原生等新興技術(shù)來打通國內(nèi)外的開源市場。
“技術(shù)與創(chuàng)新”——TDengine 3.0 帶來時(shí)序數(shù)據(jù)庫的革命性突破
TDengine 3.0 的重磅出爐讓一眾參會(huì)者矚目，為了讓TDengine 社區(qū)開發(fā)者、關(guān)注者和企業(yè)用戶更加全面地了解了 3.0 的相關(guān)技術(shù)和功能，在大會(huì)下午的核心技術(shù)專場上，核心研發(fā)人員進(jìn)行了一系列關(guān)于 3.0 的功能點(diǎn)及核心技術(shù)的演講。
近些年來，雖然市面上的時(shí)序數(shù)據(jù)庫產(chǎn)品層出不窮，但業(yè)內(nèi)的諸多難題還未解決，包括與延遲相關(guān)的 High-Cardinality 問題，靠第三方工具實(shí)現(xiàn)流處理、緩存和數(shù)據(jù)訂閱功能所帶來的復(fù)雜度問題，沒有真正實(shí)現(xiàn)云原生問題等。TDengine 3.0 正是在這種背景下應(yīng)運(yùn)而生的。
作為一款真正的云原生時(shí)序數(shù)據(jù)庫，TDengine 3.0 重構(gòu)了分布式架構(gòu)，引入 RAFT 一致性協(xié)議，可以支持 10 億個(gè)時(shí)間線、100 個(gè)節(jié)點(diǎn)，徹底解決了時(shí)序數(shù)據(jù)處理里的“高基數(shù)”問題；完善并優(yōu)化了對(duì)消息隊(duì)列、流式計(jì)算和緩存的支持，可作為一個(gè)極簡的時(shí)序數(shù)據(jù)處理平臺(tái)，解決了系統(tǒng)設(shè)計(jì)復(fù)雜且難以維護(hù)的問題；對(duì)計(jì)算引擎進(jìn)行了全新設(shè)計(jì)優(yōu)化，可提供便捷、完備的數(shù)據(jù)分析功能。
此外，TDengine 從 1.0 到 2.0 再到 3.0，存儲(chǔ)引擎也在一路升級(jí)，TDengine 3.0 更是對(duì)存儲(chǔ)引擎進(jìn)行了全新實(shí)現(xiàn)，包含“多引擎混合存儲(chǔ)”、“針對(duì)多維度時(shí)序數(shù)據(jù)的存儲(chǔ)優(yōu)化”兩大創(chuàng)新點(diǎn)。此前，TDengine 憑借“一個(gè)設(shè)備一張表”、“超級(jí)表”的兩大創(chuàng)新設(shè)計(jì)，已經(jīng)實(shí)現(xiàn)了較高的存儲(chǔ)性能，在 3.0 對(duì)存儲(chǔ)引擎進(jìn)行優(yōu)化升級(jí)后，存儲(chǔ)性能更上一層樓。
除上述 3.0 的諸多特色外，TDengine 還提供了眾多的輔助功能：支持更強(qiáng)大靈活的標(biāo)簽索引、基于時(shí)間段的預(yù)計(jì)算、支持 Schemaless 以及更多的寫入?yún)f(xié)議、支持 Grafana、Google Data Studio 等眾多第三方工具，支持?jǐn)?shù)據(jù)增量備份、異地容災(zāi)、邊云協(xié)同等。
目前 3.0 的所有核心代碼也已經(jīng)在 GitHub 上正式公開，方便 TDengine 的關(guān)注者和支持者下載并體驗(yàn)。
“發(fā)展與實(shí)踐”——物聯(lián)網(wǎng)、IT 運(yùn)維的數(shù)據(jù)架構(gòu)升級(jí)經(jīng)驗(yàn)
物聯(lián)網(wǎng)、IT 運(yùn)維等場景下，海量碎片化設(shè)備和巨量時(shí)序數(shù)據(jù)給企業(yè)平臺(tái)發(fā)展帶來了一系列新的要求和新的技術(shù)挑戰(zhàn)。本次大會(huì)邀請(qǐng)了順豐科技、跨越速運(yùn)、OPPO、韻達(dá)和觀測云等一眾企業(yè)客戶，分享他們?cè)谖锫?lián)網(wǎng)、IT 運(yùn)維場景下的數(shù)據(jù)架構(gòu)升級(jí)經(jīng)驗(yàn)。
在順豐科技的大數(shù)據(jù)監(jiān)控平臺(tái)中，此前采用的 OpenTSDB+HBase 的全量監(jiān)控?cái)?shù)據(jù)存儲(chǔ)方案，存在依賴多、使用成本高和性能無法滿足數(shù)據(jù)處理需求等問題。為此順豐科技決定對(duì)全量監(jiān)控?cái)?shù)據(jù)存儲(chǔ)方案進(jìn)行升級(jí)，最終在 IoTDB、Druid、ClickHouse、TDengine 幾款數(shù)據(jù)庫中選擇了 TDengine 并進(jìn)行實(shí)際應(yīng)用。
順豐科技大數(shù)據(jù)平臺(tái)研發(fā)高級(jí)工程師尹飛表示，完成改造后，順豐大數(shù)據(jù)監(jiān)控平臺(tái)擺脫了對(duì)大數(shù)據(jù)組件的依賴，有效縮短了數(shù)據(jù)處理鏈路。在寫入和查詢方面均有顯著提升，同時(shí)服務(wù)端物理機(jī)由 21 臺(tái)降至 3 臺(tái)，每日所需存儲(chǔ)空間為 93GB（2 副本），同等副本下僅為 OpenTSDB+HBase 的約 1/10，在降本增效上顯示出了非常大的優(yōu)勢。
無獨(dú)有偶，OPPO 的穿戴產(chǎn)品類業(yè)務(wù)具有寫入量巨大且存在離線/歷史數(shù)據(jù)補(bǔ)錄（更新）的處理需求，從提升用戶體驗(yàn)角度來講，還要具備高效的讀寫效率以及消費(fèi)類數(shù)據(jù)的長時(shí)間保存。此前使用的 MongoDB/MySQL 集群方案，后端存儲(chǔ)壓力較大，需要經(jīng)常擴(kuò)盤，同時(shí)各個(gè)集群都比較獨(dú)立，維護(hù)和需求開發(fā)成本相對(duì)較高。
“經(jīng)歷了從 MySQL 到 MongoDB 再到 Prometheus 最后到 TDengine 的架構(gòu)選型之路，我們的選型要素主要有三點(diǎn)：首先，以業(yè)務(wù)為中心，找到業(yè)務(wù)中需要解決的關(guān)鍵問題，通過對(duì)比不同架構(gòu)選型的表現(xiàn)結(jié)果進(jìn)行篩選；其次，系統(tǒng)要最少修改，即通過較少的改動(dòng)就能構(gòu)建新的架構(gòu)業(yè)務(wù)能力；第三，最易接入，在這一點(diǎn)上，豐富的讀寫兼容接口相當(dāng)重要，這便于端側(cè)業(yè)務(wù)的擴(kuò)展。”O(jiān)PPO 云計(jì)算中心高級(jí)后端研發(fā)工程師唐恒建表示。
除了上述兩家企業(yè)，韻達(dá)、觀測云和跨越速運(yùn)在數(shù)據(jù)架構(gòu)改造前同樣有諸多問題。韻達(dá)此前采用 MySQL 分區(qū)+索引方式處理訂單掃描量，面對(duì)每日億級(jí)的數(shù)據(jù)量，MySQL 出現(xiàn)性能瓶頸，維護(hù)成本顯著增加；觀測云此前使用的 InfluxDB，出現(xiàn) HA（高可用）集群模式無法水平擴(kuò)容，寫入性能約等于單機(jī)，且某云上 InfluxDB 云產(chǎn)品的高可用集群版頂配規(guī)格仍無法滿足性能要求等等問題；跨越速運(yùn)則是采用 HBase 處理車載定位設(shè)備數(shù)據(jù)，在需要查詢較大跨度時(shí)間數(shù)據(jù)時(shí)，系統(tǒng)的性能就會(huì)顯著下降。
在應(yīng)用 TDengine 進(jìn)行系統(tǒng)改造后，韻達(dá)的寫入速度和查詢性能都有了顯著提升，寫入速度大概為每秒 5000 行、常用的查詢基本可以在 1 秒之內(nèi)完成；對(duì)于觀測云來說，TDengine 的邏輯設(shè)計(jì)使得其既可以滿足高可靠，又能夠滿足大數(shù)據(jù)量級(jí)的讀寫需求，可以很好地支撐住多租戶模式下的系統(tǒng)性能；跨越速運(yùn)的日增磁盤大小從之前的單臺(tái) 22GB 下降到 1.4GB，機(jī)器資源大幅減少，運(yùn)維成本顯著降低。
從這些企業(yè)的經(jīng)驗(yàn)中我們能看到，對(duì)于企業(yè)數(shù)據(jù)架構(gòu)升級(jí)，切中業(yè)務(wù)痛點(diǎn)才是最重要的。在多家企業(yè)的數(shù)據(jù)架構(gòu)改造實(shí)踐中，TDengine 都展現(xiàn)出了強(qiáng)大的讀寫性能和數(shù)據(jù)壓縮能力，幫助企業(yè)解決了各種大數(shù)據(jù)處理難題。相信隨著 3.0 的優(yōu)化，TDengine 可以更好地融入到物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、IT 運(yùn)維等使用場景中。
結(jié)語
本次開發(fā)者大會(huì)的成功舉辦，不僅是 TDengine 大力服務(wù)開發(fā)者和用戶的一個(gè)標(biāo)志性事件，也為整個(gè)行業(yè)的技術(shù)進(jìn)步和未來發(fā)展貢獻(xiàn)了不小的力量，為關(guān)注開源的開發(fā)者提供了眾多創(chuàng)新性觀點(diǎn)。
TDengine 3.0 的出爐徹底解決了業(yè)內(nèi)的“High Cardinality”問題，作為一款真正的云原生數(shù)據(jù)庫，它也為時(shí)序數(shù)據(jù)庫的發(fā)展帶來了一場革命性的突破。未來已來，瞄準(zhǔn)世界科技前沿，數(shù)字化時(shí)代下新的數(shù)據(jù)架構(gòu)發(fā)展道路已經(jīng)明朗。
