近日，青云科技發(fā)布了青云大數(shù)據(jù)工作臺(tái)，旨在通過(guò)整合其完整的數(shù)據(jù)產(chǎn)品和服務(wù)，為客戶(hù)提供一個(gè)一站式智能大數(shù)據(jù)開(kāi)發(fā)與治理平臺(tái)，打通大數(shù)據(jù)全鏈路，盤(pán)活數(shù)據(jù)價(jià)值。
上個(gè)月，在2022中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上，工信部部長(zhǎng)肖亞慶表示，“十三五”時(shí)期我國(guó)大數(shù)據(jù)產(chǎn)業(yè)年均復(fù)合增長(zhǎng)率超過(guò)30%，2021年產(chǎn)業(yè)規(guī)模突破了1.3萬(wàn)億元，大數(shù)據(jù)產(chǎn)業(yè)鏈初步形成。大數(shù)據(jù)應(yīng)用從互聯(lián)網(wǎng)、金融、電信等領(lǐng)域逐步向智能制造、數(shù)字社會(huì)，數(shù)字政府等領(lǐng)域拓展，極大豐富了我國(guó)數(shù)據(jù)資產(chǎn)，催生了一批新場(chǎng)景、新模式、新業(yè)態(tài)。
誠(chéng)然，大數(shù)據(jù)不僅是推動(dòng)AI、物聯(lián)網(wǎng)等技術(shù)應(yīng)用的源頭活水，更是數(shù)字化時(shí)代的寶貴信息資產(chǎn)，其價(jià)值并不在于規(guī)模龐大的數(shù)據(jù)信息，而是在于對(duì)這些有意義的數(shù)據(jù)進(jìn)行專(zhuān)業(yè)化處理。曾有人將數(shù)據(jù)比喻為蘊(yùn)藏能量的煤礦，煤炭按照性質(zhì)有焦煤、無(wú)煙煤、肥煤、貧煤等分類(lèi)，而露天煤礦、深山煤礦的挖掘成本又不一樣。類(lèi)比來(lái)看，大數(shù)據(jù)的價(jià)值也并不在“大”，而在于“有用”。價(jià)值含量、挖掘成本比數(shù)量更為重要。對(duì)于很多行業(yè)而言，如何利用這些大規(guī)模數(shù)據(jù)是贏得競(jìng)爭(zhēng)的關(guān)鍵。
打通鏈路 盤(pán)活價(jià)值
回顧國(guó)內(nèi)大數(shù)據(jù)產(chǎn)業(yè)近年來(lái)的發(fā)展，自2015 年國(guó)務(wù)院正式印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》起，其便已經(jīng)正式上升到了國(guó)家戰(zhàn)略層面。在隨后的幾年中，伴隨新型智慧城市和數(shù)字城市建設(shè)熱潮，各地與大數(shù)據(jù)和數(shù)字經(jīng)濟(jì)相關(guān)的園區(qū)加速落地，大數(shù)據(jù)產(chǎn)業(yè)規(guī)模也在持續(xù)增長(zhǎng)。
同時(shí)，隨著AIoT、云時(shí)代的來(lái)臨，越來(lái)越多的企業(yè)意識(shí)到了大數(shù)據(jù)的重要性。而在實(shí)際數(shù)據(jù)應(yīng)用中，企業(yè)數(shù)據(jù)流鏈路中隱藏的痛點(diǎn)逐一顯現(xiàn)——數(shù)據(jù)鏈路冗長(zhǎng)、各平臺(tái)間數(shù)據(jù)流轉(zhuǎn)不及時(shí)、大數(shù)據(jù)使用門(mén)檻高等。換言之，如果沒(méi)有一套完整的系統(tǒng)保證整條鏈路的高效運(yùn)轉(zhuǎn)，是很難保證最終從數(shù)據(jù)中提煉出來(lái)有價(jià)值的信息和知識(shí)的。
針對(duì)于此，青云科技發(fā)布了青云大數(shù)據(jù)工作臺(tái)，旨在通過(guò)整合其完整的數(shù)據(jù)產(chǎn)品和服務(wù)，為客戶(hù)提供一個(gè)一站式智能大數(shù)據(jù)開(kāi)發(fā)與治理平臺(tái)，打通大數(shù)據(jù)全鏈路，盤(pán)活數(shù)據(jù)價(jià)值。
青云QingCloud 大數(shù)據(jù)產(chǎn)品經(jīng)理劉雄風(fēng)介紹，2014年-2018年，青云科技在廣度上實(shí)現(xiàn)了數(shù)據(jù)產(chǎn)品和服務(wù)的全覆蓋，2018年至今，青云科技在深度上，對(duì)產(chǎn)品性能、服務(wù)質(zhì)量、服務(wù)范圍進(jìn)行了全方位提升。目前，青云科技已經(jīng)推出了近30款數(shù)據(jù)產(chǎn)品和服務(wù)，同時(shí)集成優(yōu)秀的合作伙伴應(yīng)用，形成了包括數(shù)據(jù)庫(kù)與緩存、消息隊(duì)列與中間件、大數(shù)據(jù)服務(wù)、數(shù)據(jù)倉(cāng)庫(kù)與BI、對(duì)象存儲(chǔ)在內(nèi)的數(shù)據(jù)產(chǎn)品生態(tài)。
同時(shí)，在其數(shù)據(jù)產(chǎn)品、服務(wù)與解決方案落地應(yīng)用過(guò)程中，青云科技了解到，客戶(hù)的需求正在逐步升級(jí)——從最初的“底層資源”問(wèn)題，逐步進(jìn)階到“數(shù)據(jù)層”問(wèn)題，主要體現(xiàn)在數(shù)據(jù)開(kāi)發(fā)和作業(yè)運(yùn)維調(diào)度、數(shù)據(jù)實(shí)時(shí)計(jì)算、數(shù)據(jù)同步等方面。所以，客戶(hù)需要能把數(shù)據(jù)價(jià)值盤(pán)活和利用起來(lái)的平臺(tái)。
基于客戶(hù)需求的升級(jí)，青云科技推出了青云大數(shù)據(jù)工作臺(tái)，可以降低大數(shù)據(jù)使用門(mén)檻，將代碼開(kāi)發(fā)降到最低，讓非技術(shù)人員也能進(jìn)行大數(shù)據(jù)分析，實(shí)現(xiàn)數(shù)據(jù)在云平臺(tái)各產(chǎn)品之間快速流轉(zhuǎn)，支撐上層業(yè)務(wù)，消除企業(yè)“數(shù)據(jù)孤島”，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一調(diào)度和計(jì)算，從而進(jìn)一步幫助企業(yè)挖掘數(shù)據(jù)價(jià)值，提升整體的數(shù)據(jù)洞察能力。
一站式智能大數(shù)據(jù)開(kāi)發(fā)與治理平臺(tái)
目前，青云大數(shù)據(jù)工作臺(tái)已上線1.0版本，主要具備“數(shù)據(jù)集成、數(shù)據(jù)加工、統(tǒng)一數(shù)據(jù)存儲(chǔ)和服務(wù)”功能模塊，從最底層到最上層分為五層架構(gòu)——云原生、全托管式計(jì)算引擎、全生命周期數(shù)據(jù)開(kāi)發(fā)、高效的數(shù)據(jù)同步服務(wù)、應(yīng)對(duì)豐富的業(yè)務(wù)場(chǎng)景。
具體到功能層面：
第一，數(shù)據(jù)上云：可以提供本地?cái)?shù)據(jù)源上云服務(wù)，支持結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)，可將數(shù)據(jù)安全地同步到云端，后續(xù)計(jì)算在云端完成，充分解放了企業(yè)的服務(wù)器壓力。
第二，數(shù)據(jù)開(kāi)發(fā)：在云上的大數(shù)據(jù)開(kāi)發(fā)環(huán)境，將數(shù)據(jù)進(jìn)行加工，支持實(shí)時(shí)處理、離線批量處理。根據(jù)業(yè)務(wù)需求，客戶(hù)還可以選擇“可視化算子拖拽、界面化SQL 開(kāi)發(fā)、Jar 包提交”三種方式構(gòu)建數(shù)據(jù)開(kāi)發(fā)任務(wù)，滿足多維度的開(kāi)發(fā)者的任務(wù)構(gòu)建。
第三，數(shù)據(jù)同步：將處理完的結(jié)果數(shù)據(jù)，根據(jù)數(shù)據(jù)特性，存儲(chǔ)在不同的存儲(chǔ)介質(zhì)中，以便使用。數(shù)據(jù)源可以是消息隊(duì)列 Kafka、數(shù)據(jù)庫(kù) MySQL 等，目標(biāo)數(shù)據(jù)源可以是消息隊(duì)列 Kafka、數(shù)據(jù)庫(kù) MySQL、數(shù)據(jù)分析引擎 Elasticsearch等。
第四，作業(yè)運(yùn)維調(diào)度：大數(shù)據(jù)處理的核心是運(yùn)行在 Flink 集群上的任務(wù)。青云大數(shù)據(jù)工作臺(tái)自主研發(fā)的調(diào)度和任務(wù)管理模塊，可以同時(shí)根據(jù)任務(wù)維護(hù)和資源分配維度分別監(jiān)控，實(shí)時(shí)跟蹤計(jì)算資源飽和度，提醒企業(yè)根據(jù)需求調(diào)整計(jì)算資源，助力全流程高并發(fā)處理。
第五，引擎資源管理：提供云端全托管 Flink 集群，幾分鐘完成計(jì)算集群部署；具備云原生彈性擴(kuò)容能力，節(jié)省資源，提高資源利用率；提供細(xì)粒度資源管控，最小資源使用粒度僅 0.5 CU，精細(xì)化資源管控；支持按量和包年包月計(jì)費(fèi)，適配不同需求，價(jià)格低廉，安全穩(wěn)定。
未來(lái)，青云大數(shù)據(jù)工作臺(tái)還將持續(xù)迭代，聚焦在數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)、優(yōu)化體驗(yàn)等層面。
基于完備的架構(gòu)與功能，青云大數(shù)據(jù)工作臺(tái)可以輕松應(yīng)對(duì)中小型互聯(lián)網(wǎng)或移動(dòng)互聯(lián)網(wǎng)客戶(hù)較為關(guān)心的精細(xì)化運(yùn)營(yíng)分析場(chǎng)景、以智慧工廠為代表的實(shí)時(shí)計(jì)算場(chǎng)景、以科研數(shù)據(jù)為基礎(chǔ)的可視化開(kāi)發(fā)與運(yùn)維場(chǎng)景以及構(gòu)建數(shù)倉(cāng)場(chǎng)景。
劉雄風(fēng)指出，青云大數(shù)據(jù)工作臺(tái)目前主要聚焦在以物聯(lián)網(wǎng)和工業(yè)大數(shù)據(jù)為代表的的新興領(lǐng)域。其中，在工業(yè)領(lǐng)域，隨著不斷細(xì)密度的政策迭代，推動(dòng)工業(yè)大數(shù)據(jù)的全面采集、工業(yè)設(shè)備互聯(lián)互通速度加快，青云科技將在物料能耗優(yōu)化、產(chǎn)線效率分析、故障定位、出庫(kù)物流追蹤、庫(kù)存優(yōu)化及產(chǎn)品質(zhì)量追溯等方面，進(jìn)行大數(shù)據(jù)的深入實(shí)時(shí)分析、計(jì)算等。
值得一提的是，青云科技所提供的方案不局限于大數(shù)據(jù)工作臺(tái)的單一產(chǎn)品，而是與青云科技的KubeSphere容器平臺(tái)、IoT平臺(tái)形成合力，組建了“大數(shù)據(jù)工作臺(tái)+KubeSphere+IoT”三位一體的技術(shù)方案。
“青云大數(shù)據(jù)工作臺(tái)+KubeSphere+IoT”三位一體技術(shù)方案
在架構(gòu)上，該方案的最上層是物聯(lián)網(wǎng)平臺(tái)，中間是大數(shù)據(jù)工作臺(tái)，最底層是容器平臺(tái)。首先，青云科技通過(guò)容器平臺(tái)進(jìn)行資源的保障，提供按需使用、彈性伸縮、一鍵擴(kuò)容、在線運(yùn)維的功能保障；其次，大數(shù)據(jù)工作臺(tái)可以提供數(shù)據(jù)處理的能力，結(jié)合消息中間件、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)服務(wù)等云原生的產(chǎn)品組件，從橫向數(shù)據(jù)流方面提供一站式的數(shù)據(jù)實(shí)時(shí)處理和輸出能力；最后，在物聯(lián)網(wǎng)層形成“云、網(wǎng)、邊、端”統(tǒng)一管理、統(tǒng)一數(shù)據(jù)采集和統(tǒng)一邊緣控制。
如今，該方案已在不同領(lǐng)域?qū)崿F(xiàn)了成熟落地。以某行業(yè)領(lǐng)先的工業(yè)自動(dòng)化測(cè)試設(shè)備與整線系統(tǒng)解決方案提供商為例，其數(shù)據(jù)源涵蓋多個(gè)維度，生產(chǎn)數(shù)據(jù)包括機(jī)加工設(shè)備、物聯(lián)網(wǎng)系統(tǒng)中的SMT設(shè)備和AGV設(shè)備、立庫(kù)等，未來(lái)還計(jì)劃引進(jìn)質(zhì)量監(jiān)測(cè)設(shè)備；運(yùn)營(yíng)數(shù)據(jù)則包括了水電氣、空調(diào)供暖、給排水、門(mén)閘、溫濕度以及各類(lèi)樓宇/園區(qū)的運(yùn)營(yíng)信息。所以，客戶(hù)需要統(tǒng)一的數(shù)據(jù)接收和存儲(chǔ)、統(tǒng)一的數(shù)據(jù)API服務(wù)，需要建設(shè)統(tǒng)一的“物聯(lián)網(wǎng)+大數(shù)據(jù)”平臺(tái)。
該方案則可以應(yīng)對(duì)這一難題，由IoT平臺(tái)進(jìn)行“云、網(wǎng)、邊、端”的數(shù)據(jù)源統(tǒng)一控制，客戶(hù)可以將數(shù)據(jù)通過(guò)消息中間件進(jìn)行統(tǒng)一傳輸，傳輸?shù)酱髷?shù)據(jù)工作臺(tái)上再做原始庫(kù)數(shù)據(jù)集成的操作。數(shù)據(jù)存儲(chǔ)到原始數(shù)據(jù)庫(kù)后，客戶(hù)可將原始庫(kù)單獨(dú)對(duì)外提供數(shù)據(jù)權(quán)限、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)查詢(xún)服務(wù)。對(duì)于原始庫(kù)存儲(chǔ)的數(shù)據(jù)，客戶(hù)還能進(jìn)行數(shù)據(jù)的二次加工，形成最終結(jié)果庫(kù)，結(jié)果庫(kù)同樣可以對(duì)外提供數(shù)據(jù)權(quán)限、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)查詢(xún)的服務(wù)。
結(jié)語(yǔ)
AIoT時(shí)代下，數(shù)據(jù)的重要性無(wú)需贅述，而其價(jià)值絕不僅僅是停留在量級(jí)，而是隱藏在應(yīng)用之中。也正因如此，越來(lái)越多的企業(yè)開(kāi)始重視業(yè)務(wù)與運(yùn)營(yíng)之中的大數(shù)據(jù)管理、應(yīng)用，客戶(hù)需求更加明確——“客戶(hù)需要端到端的全鏈路解決方案，而不是簡(jiǎn)單地堆積一些大數(shù)據(jù)產(chǎn)品組件”。換言之，構(gòu)建高效的數(shù)據(jù)流鏈路才能進(jìn)一步挖掘數(shù)據(jù)流背后的實(shí)際價(jià)值。青云大數(shù)據(jù)工作臺(tái)的出現(xiàn)，無(wú)疑全面滿足了這一需求，激活企業(yè)數(shù)據(jù)資產(chǎn)，釋放數(shù)據(jù)價(jià)值。
