逐漸增多的聯(lián)網(wǎng)設(shè)備設(shè)施，如果不對(duì)其產(chǎn)生的海量數(shù)據(jù)進(jìn)行治理或分析，僅僅對(duì)單獨(dú)某個(gè)企業(yè)個(gè)體而言，或許都將釀造一場(chǎng)數(shù)據(jù)災(zāi)難。

反之，擅用數(shù)據(jù)治理并擁有大數(shù)據(jù)能力的企業(yè)，他們的財(cái)務(wù)表現(xiàn)、做出決策的速度和正確性，都將遠(yuǎn)遠(yuǎn)超過(guò)競(jìng)爭(zhēng)對(duì)手。

近年工信部密集發(fā)布《工業(yè)數(shù)據(jù)分類(lèi)分級(jí)指南（試行）》、《關(guān)于工業(yè)大數(shù)據(jù)發(fā)展的指導(dǎo)意見(jiàn)》、《關(guān)于組織開(kāi)展2021年大數(shù)據(jù)產(chǎn)業(yè)發(fā)展試點(diǎn)示范項(xiàng)目申報(bào)工作的通知》等政策通知，旨在提升企業(yè)數(shù)據(jù)治理能力，打造應(yīng)用繁榮、產(chǎn)業(yè)進(jìn)步的大數(shù)據(jù)生態(tài)體系。

企業(yè)們?cè)趶膫鹘y(tǒng)模式轉(zhuǎn)變到數(shù)字化模式一段時(shí)間以后，也開(kāi)始從底層資源需求進(jìn)階到數(shù)據(jù)層需求，他們希望把獲取到的數(shù)據(jù)盤(pán)活，對(duì)數(shù)據(jù)價(jià)值進(jìn)行利用，甚至創(chuàng)造新的業(yè)務(wù)模式。

數(shù)據(jù)治理的戰(zhàn)略地位得到提升。根據(jù)賽迪顧問(wèn)預(yù)測(cè)，2023年我國(guó)大數(shù)據(jù)產(chǎn)業(yè)規(guī)模將超過(guò)萬(wàn)億元，2027年將達(dá)到1.8萬(wàn)億。大數(shù)據(jù)產(chǎn)業(yè)鏈組成豐富，政府機(jī)構(gòu)、技術(shù)和產(chǎn)品服務(wù)商、場(chǎng)景運(yùn)營(yíng)方陸續(xù)加入玩家陣營(yíng)。

大數(shù)據(jù)產(chǎn)業(yè)鏈，來(lái)源：前瞻產(chǎn)業(yè)研究院

從2014年發(fā)布第一款數(shù)據(jù)產(chǎn)品開(kāi)始，青云便緊跟行業(yè)趨勢(shì)和客戶(hù)需求，配備近百人的研發(fā)團(tuán)隊(duì)，持續(xù)推出了近30款數(shù)據(jù)產(chǎn)品和服務(wù)，涵蓋數(shù)據(jù)庫(kù)與緩存、消息隊(duì)列與中間件、對(duì)象存儲(chǔ)、大數(shù)據(jù)服務(wù)、數(shù)據(jù)倉(cāng)庫(kù)和BI，為百行千業(yè)的客戶(hù)提供優(yōu)質(zhì)服務(wù)。

近日，青云正式發(fā)布“大數(shù)據(jù)工作臺(tái)”產(chǎn)品，目標(biāo)在于幫助企業(yè)打通大數(shù)據(jù)全鏈路，從海量數(shù)據(jù)中提煉出最有價(jià)值的信息和知識(shí)，輔助業(yè)務(wù)決策和創(chuàng)新。在物聯(lián)傳媒記者向青云QingCloud大數(shù)據(jù)產(chǎn)品經(jīng)理劉雄風(fēng)的提問(wèn)溝通中，我們進(jìn)一步看懂了關(guān)于大數(shù)據(jù)的趨勢(shì)，以及青云大數(shù)據(jù)工作臺(tái)發(fā)布的意義所在。

一個(gè)工廠一天產(chǎn)生2.6億條數(shù)據(jù)

互聯(lián)網(wǎng)時(shí)代，大數(shù)據(jù)分析最常見(jiàn)的用途是了解用戶(hù)的使用習(xí)慣、消費(fèi)偏好、行為特征等，從而做出個(gè)性化推薦。并且互聯(lián)網(wǎng)大數(shù)據(jù)對(duì)時(shí)效沒(méi)有太高要求，主要是從長(zhǎng)期積累中找出關(guān)聯(lián)性。

物聯(lián)網(wǎng)應(yīng)用與此不同。數(shù)據(jù)集成、實(shí)時(shí)計(jì)算分析、統(tǒng)一監(jiān)控和調(diào)度是普遍需求，數(shù)據(jù)越完整、越全面、反饋實(shí)時(shí)性越高，企業(yè)降本增效的效果就越好。

但物聯(lián)網(wǎng)數(shù)據(jù)治理并非易事。

某中國(guó)環(huán)保行業(yè)的領(lǐng)導(dǎo)者，旗下每個(gè)工廠分別部署3000多個(gè)數(shù)據(jù)采集點(diǎn)，每個(gè)工廠每秒傳送數(shù)據(jù)0.5MB，每天傳送數(shù)據(jù)大小為38GB，數(shù)據(jù)量為2.6億條。將情況復(fù)制到集團(tuán)21個(gè)工廠，一天的數(shù)據(jù)量達(dá)到54億條、798GB，保留6個(gè)月的數(shù)據(jù)總量將高達(dá)9720億條、140TB。

數(shù)據(jù)量大不是唯一特點(diǎn)，很多場(chǎng)景下的數(shù)據(jù)源更顯多樣化。

某行業(yè)領(lǐng)先的工業(yè)自動(dòng)化測(cè)試設(shè)備與整線系統(tǒng)解決方案商，其數(shù)據(jù)源涵蓋生產(chǎn)相關(guān)設(shè)備，如機(jī)加工設(shè)備、SMT設(shè)備、AGV、立庫(kù)、質(zhì)檢等相關(guān)設(shè)備，以及生產(chǎn)外運(yùn)營(yíng)相關(guān)的IoT設(shè)備，如水電氣、空調(diào)暖通、給排水、道閘門(mén)禁、溫濕度傳感器終端等，具有非常強(qiáng)的多樣性。

再加上各類(lèi)設(shè)備數(shù)據(jù)的采集頻次、數(shù)據(jù)留存時(shí)間各不相同，需要應(yīng)用不同的采集策略。

另外在工業(yè)、能源等諸多對(duì)安全、保密性有要求的場(chǎng)景，其網(wǎng)絡(luò)環(huán)境屬于高度隔離狀態(tài)，數(shù)據(jù)采集點(diǎn)位于企業(yè)工控網(wǎng)，不允許外部訪問(wèn)，這將為數(shù)據(jù)治理帶來(lái)新的難度。

總而言之，數(shù)據(jù)治理值得被重視，且相比于安排專(zhuān)門(mén)崗位來(lái)計(jì)算日常的數(shù)據(jù)產(chǎn)出、支付這項(xiàng)額外的人力成本，仍然可以將精力專(zhuān)注在核心業(yè)務(wù)開(kāi)發(fā)上。

按照青云的介紹，一般客戶(hù)數(shù)據(jù)量達(dá)到GB級(jí)別，就具備了使用大數(shù)據(jù)工作臺(tái)的條件。對(duì)于客戶(hù)關(guān)注的成本問(wèn)題，青云大數(shù)據(jù)工作臺(tái)在復(fù)雜場(chǎng)景下，每CU（Computing Unit，1CU含計(jì)算資源：1核CPU，4GB內(nèi)存）每秒可以處理3000條至1.5萬(wàn)條數(shù)據(jù)，每CU計(jì)費(fèi)模式為0.4元/小時(shí)，并且目前青云大數(shù)據(jù)工作臺(tái)產(chǎn)品處于公測(cè)階段，支持免費(fèi)開(kāi)放使用。

客戶(hù)厭煩具有“割裂感”的產(chǎn)品

站在客戶(hù)的角度，大數(shù)據(jù)的價(jià)值不是數(shù)據(jù)本身，而是背后隱藏的對(duì)業(yè)務(wù)有影響的信息和知識(shí)。大數(shù)據(jù)產(chǎn)品的內(nèi)涵也不在簡(jiǎn)單堆疊Hadoop、Spark和Flink等產(chǎn)品組件，客戶(hù)更加希望有獨(dú)立的實(shí)時(shí)計(jì)算平臺(tái)，且平臺(tái)能帶來(lái)良好的使用體驗(yàn)。

基于這一點(diǎn)，青云在提供大數(shù)據(jù)工作臺(tái)產(chǎn)品的基礎(chǔ)上，將其與KubeSphere容器平臺(tái)和IoT平臺(tái)形成合力，充分發(fā)揮各自?xún)?yōu)勢(shì)，組建了完善的“大數(shù)據(jù)工作臺(tái)+KubeSphere+IoT”三位一體解決方案。

青云大數(shù)據(jù)工作臺(tái)+KubeSphere 容器平臺(tái)+IoT 平臺(tái)“三位一體”解決方案

方案架構(gòu)上，最上層是物聯(lián)網(wǎng)平臺(tái)，中間是大數(shù)據(jù)平臺(tái)，最底層是容器平臺(tái)。

在容器平臺(tái)層，提供按需使用、彈性伸縮、一鍵擴(kuò)容、在線運(yùn)維的功能保障。

在大數(shù)據(jù)平臺(tái)層，結(jié)合消息中間件、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)服務(wù)等云原生產(chǎn)品組件，從橫向數(shù)據(jù)流方面提供一站式的數(shù)據(jù)實(shí)時(shí)處理和輸出能力；

在物聯(lián)網(wǎng)平臺(tái)層，形成“云、網(wǎng)、邊、端”統(tǒng)一管理、統(tǒng)一數(shù)據(jù)采集和統(tǒng)一邊緣控制。

這再次證明青云大數(shù)據(jù)工作臺(tái)出于打通大數(shù)據(jù)全鏈路的初衷而建立，在整合大數(shù)據(jù)相關(guān)產(chǎn)品及服務(wù)后，為客戶(hù)提供一站式智能大數(shù)據(jù)開(kāi)發(fā)與治理平臺(tái)，并具有6點(diǎn)突出特性：

第一，開(kāi)箱即用。公有云環(huán)境下幾分鐘即可完成環(huán)境的創(chuàng)建和部署，即開(kāi)即用、便捷高效。在私有云的部署一般是半天或一天時(shí)間完成，且仍在進(jìn)行一鍵部署的優(yōu)化。

第二，彈性擴(kuò)容。具備云原生彈性擴(kuò)容的能力，可以幫助客戶(hù)合理地節(jié)省資源，提高資源的使用率。通過(guò)提供細(xì)粒度管控，最小資源使用的粒度只需要0.5CU，支持按量、包年包月計(jì)費(fèi)，可以更好地適配不同的需求，價(jià)格低廉，安全穩(wěn)定。

第三，存算分離。與青云的對(duì)象存儲(chǔ)服務(wù)無(wú)縫銜接，海量數(shù)據(jù)可以高效、低成本的存儲(chǔ)。同時(shí)支持?jǐn)?shù)據(jù)計(jì)算按需擴(kuò)容，極具性?xún)r(jià)比。

第四，開(kāi)放兼容。擁抱開(kāi)源，百分百兼容Apache Flink，支持平滑上云，通過(guò)內(nèi)嵌的Connector可以無(wú)縫對(duì)接主流的數(shù)據(jù)產(chǎn)品和開(kāi)源大數(shù)據(jù)生態(tài)組件。同時(shí)，客戶(hù)可以將原有的大數(shù)據(jù)任務(wù)遷移到青云大數(shù)據(jù)工作臺(tái)上，進(jìn)行統(tǒng)一的調(diào)度和監(jiān)控，節(jié)省運(yùn)維和調(diào)度成本。

第五，安全可靠。按照云原生的架構(gòu)模式進(jìn)行設(shè)計(jì)，可以基于多種基礎(chǔ)設(shè)施進(jìn)行部署。內(nèi)部按照功能模塊以微服務(wù)的方式劃分為多個(gè)組件，彼此之間相互隔離，避免相互影響。同時(shí)，所有的服務(wù)都具備高可用和高擴(kuò)展能力，可以在部分節(jié)點(diǎn)故障的情況下，保障服務(wù)的可用性和數(shù)據(jù)的可靠性。

第六，生態(tài)整合。除了青云大數(shù)據(jù)工作臺(tái)本身提供的服務(wù)外，還可以在云上與其他產(chǎn)品緊密整合，可以連通云平臺(tái)上孤立的多種數(shù)據(jù)存儲(chǔ)的服務(wù)，讓客戶(hù)在云平臺(tái)上的數(shù)據(jù)流轉(zhuǎn)更加便捷。

目前上線的青云大數(shù)據(jù)工作臺(tái)1.0版本，主要滿(mǎn)足數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)加工、統(tǒng)一存儲(chǔ)和服務(wù)功能，下一階段將在數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)、優(yōu)化體驗(yàn)等方面滿(mǎn)足更高級(jí)別需求。

沒(méi)有歷史包袱非常關(guān)鍵，專(zhuān)注滿(mǎn)足業(yè)務(wù)訴求

青云此次推出大數(shù)據(jù)工作臺(tái)的時(shí)間不算早，市面上互聯(lián)網(wǎng)背景的公有云廠商及通用大數(shù)據(jù)公司都已在開(kāi)拓該市場(chǎng)，他們產(chǎn)品的特點(diǎn)大致如下所示：

而從此次青云發(fā)布的大數(shù)據(jù)工作臺(tái)來(lái)看：

與互聯(lián)網(wǎng)背景的公有云廠商相比，青云大數(shù)據(jù)工作臺(tái)基于云原生架構(gòu)，可以部署在開(kāi)源的Kubernetes容器平臺(tái)上，也能部署在其他云原生產(chǎn)品上，這對(duì)客戶(hù)來(lái)說(shuō)更加開(kāi)放和包容，避免了被云廠商綁定。

同時(shí)，青云大數(shù)據(jù)工作臺(tái)的界面及功能上沒(méi)有歷史包袱，包括支持提供流批一體的Flink引擎，使客戶(hù)能更輕松完成對(duì)計(jì)算集群的創(chuàng)建、管理和銷(xiāo)毀，讓客戶(hù)將精力更聚焦在業(yè)務(wù)計(jì)算本身。

另與市面上的通用大數(shù)據(jù)公司相比，青云大數(shù)據(jù)平臺(tái)產(chǎn)品可依托云計(jì)算屬性，提供快速反饋和更新的能力，并且支持彈性計(jì)費(fèi)和靈活擴(kuò)容。

同時(shí)，相較于目前主流的企業(yè)數(shù)據(jù)中臺(tái)，青云大數(shù)據(jù)大數(shù)據(jù)工作臺(tái)沒(méi)有基于傳統(tǒng)的Hadoop體系的YARN來(lái)做資源調(diào)度，而是基于Kubernetes做資源調(diào)度，聚焦于數(shù)據(jù)使用場(chǎng)景下，解決數(shù)據(jù)集成、流批一體計(jì)算、統(tǒng)一運(yùn)維和統(tǒng)一數(shù)據(jù)服務(wù)共享的問(wèn)題，通過(guò)一站式、便捷低成本的方式，幫助中小企業(yè)快速掌握數(shù)據(jù)價(jià)值，構(gòu)建“云上數(shù)據(jù)中臺(tái)”。

當(dāng)然，大數(shù)據(jù)市場(chǎng)規(guī)模龐大，每類(lèi)產(chǎn)品都有其主要受眾并且可能面向不同的場(chǎng)景領(lǐng)域。

青云大數(shù)據(jù)工作臺(tái)將面向4類(lèi)場(chǎng)景提供服務(wù)，分別為：

精細(xì)化運(yùn)營(yíng)分析場(chǎng)景，包括用戶(hù)畫(huà)像、推薦、數(shù)據(jù)分析、大屏展示、數(shù)據(jù)治理等場(chǎng)景，主要受眾為中小型互聯(lián)網(wǎng)或移動(dòng)互聯(lián)網(wǎng)公司。

實(shí)時(shí)計(jì)算場(chǎng)景，包括IoT終端實(shí)時(shí)數(shù)據(jù)分析、實(shí)時(shí)用戶(hù)日志分析、實(shí)時(shí)運(yùn)營(yíng)數(shù)據(jù)分析、實(shí)時(shí)風(fēng)控等，主要受眾為智慧工業(yè)、智慧零售等對(duì)實(shí)時(shí)數(shù)據(jù)有加工處理需求的企業(yè)。

可視化開(kāi)發(fā)與運(yùn)維場(chǎng)景，包括數(shù)據(jù)ETL、數(shù)據(jù)挖掘等場(chǎng)景，主要受眾為以學(xué)習(xí)或科研為目標(biāo)的客戶(hù)。

構(gòu)建數(shù)倉(cāng)場(chǎng)景，包括數(shù)據(jù)集成、實(shí)時(shí)或離線計(jì)算、數(shù)據(jù)存儲(chǔ)等場(chǎng)景，主要受眾為青云云平臺(tái)上使用了消息隊(duì)列、數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)計(jì)算存儲(chǔ)的客戶(hù)。

至此，青云大數(shù)據(jù)工作臺(tái)的核心面貌得到呈現(xiàn)。

倘若再回到文章開(kāi)頭提及的大數(shù)據(jù)趨勢(shì)一問(wèn)，答案已經(jīng)不言自明：在企業(yè)數(shù)字化轉(zhuǎn)型的道路上，青云正在用專(zhuān)業(yè)技術(shù)研發(fā)和深入市場(chǎng)研究的實(shí)際行動(dòng)，助力企業(yè)挖掘珍貴的數(shù)據(jù)資產(chǎn)，掌握潛力無(wú)限的數(shù)據(jù)價(jià)值。