一、解碼數(shù)據(jù)中臺
01:
解碼數(shù)據(jù)中臺
與許多新概念誕生之初的境遇一樣,數(shù)據(jù)中臺目前正處于“定義混亂期”。
有人認為數(shù)據(jù)中臺是云平臺的一部分,同時包括業(yè)務中臺和技術中臺;有人認為數(shù)據(jù)中臺是數(shù)據(jù)的共享、整合和深度分析;還有人認為數(shù)據(jù)中臺是“計算平臺+算法模型+智能硬件”,不僅有云端,還需要智能設備幫企業(yè)在終端收集線下數(shù)據(jù)……從服務方到客戶方,對數(shù)據(jù)中臺的理解并不相同,如同一千個觀眾心中就有一千個哈姆雷特。
筆者們有幸見證了數(shù)據(jù)中臺在中國從0到1的全過程,并在其中實踐多年,對于數(shù)據(jù)中臺的定義,筆者們認為:數(shù)據(jù)中臺是一套可持續(xù)“讓企業(yè)的數(shù)據(jù)用起來”的機制,是一種戰(zhàn)略選擇和組織形式,是依據(jù)企業(yè)特有的業(yè)務模式和組織架構,通過有形的產(chǎn)品和實施方法論支撐,構建的一套持續(xù)不斷把數(shù)據(jù)變成資產(chǎn)并服務于業(yè)務的機制。
數(shù)據(jù)來自于業(yè)務,并反哺業(yè)務,不斷循環(huán)迭代,實現(xiàn)數(shù)據(jù)可見、可用、可運營,如圖1所示。
通過數(shù)據(jù)中臺把數(shù)據(jù)變?yōu)橐环N服務能力,既能提升管理、決策水平,又能直接支撐企業(yè)業(yè)務。數(shù)據(jù)中臺不僅僅是技術,也不僅僅是產(chǎn)品,而是一套完整的讓數(shù)據(jù)用起來的機制。既然是“機制”,就需要從企業(yè)戰(zhàn)略、組織、人才等方面來全方位地規(guī)劃和配合,而不能僅僅停留在工具和產(chǎn)品層面。
以中國某大型央企集團的數(shù)據(jù)中臺為例,該集團旗下?lián)碛袡M跨金融、地產(chǎn)、零售的多條業(yè)務線。要做數(shù)字化轉型,不僅是技術問題,更是組織與業(yè)務運轉模式改變的問題,需要頂層戰(zhàn)略規(guī)劃和組織架構上的改變。這也是為什么各大互聯(lián)網(wǎng)公司在宣布中臺戰(zhàn)略時,會伴隨著組織架構調(diào)整。
圖1:數(shù)據(jù)中臺是一套“讓企業(yè)的數(shù)據(jù)用起來”的機制
每家企業(yè)的業(yè)務與數(shù)據(jù)狀況各不相同,業(yè)務對數(shù)據(jù)服務的訴求不同,數(shù)據(jù)中臺的建設將呈現(xiàn)出不同的特點,沒有任何兩家企業(yè)的數(shù)據(jù)中臺是完全相同的。數(shù)據(jù)中臺的實施不僅需要一整套技術產(chǎn)品,更需要針對不同業(yè)務、數(shù)據(jù)、應用場景的體系化的實施方法和經(jīng)驗,過程中涉及企業(yè)戰(zhàn)略、組織、技術、人才等全面的保障和配合。
02:
數(shù)據(jù)中臺必備的4個核心能力
早在2015年,數(shù)字化領域的領先者已經(jīng)開始從頂層戰(zhàn)略設計入手,調(diào)整組織架構,協(xié)調(diào)內(nèi)外部的利益,更新方法論和認知體系,著手構建數(shù)據(jù)中臺體系。從2018年下半年開始,以數(shù)據(jù)中臺戰(zhàn)略為核心的變革潮流席卷互聯(lián)網(wǎng)行業(yè),然而多數(shù)企業(yè)對數(shù)據(jù)中臺內(nèi)涵的認識仍不夠全面,導致業(yè)務落地和商業(yè)創(chuàng)新還是困難重重。
數(shù)據(jù)中臺需要具備數(shù)據(jù)匯聚整合、數(shù)據(jù)提純加工、數(shù)據(jù)服務可視化、數(shù)據(jù)價值變現(xiàn)4個核心能力,讓企業(yè)員工、客戶、伙伴能夠方便地應用數(shù)據(jù)。
1.匯聚整合
隨著業(yè)務的多元化發(fā)展,企業(yè)內(nèi)部往往有多個信息部門和數(shù)據(jù)中心,大量系統(tǒng)、功能和應用重復建設,存在巨大的數(shù)據(jù)資源、計算資源和人力資源的浪費,同時組織壁壘也導致數(shù)據(jù)孤島的出現(xiàn),使得內(nèi)外部數(shù)據(jù)難以全局規(guī)劃。
數(shù)據(jù)中臺需要對數(shù)據(jù)進行整合和完善,提供適用、適配、成熟、完善的一站式大數(shù)據(jù)平臺工具,在簡便有效的基礎上,實現(xiàn)數(shù)據(jù)采集、交換等任務配置以及監(jiān)控管理。
數(shù)據(jù)中臺必須具備數(shù)據(jù)集成與運營方面的能力,能夠接入、轉換、寫入或緩存企業(yè)內(nèi)外部多種來源的數(shù)據(jù),協(xié)助不同部門和團隊的數(shù)據(jù)使用者更好地定位數(shù)據(jù)、理解數(shù)據(jù)。同時數(shù)據(jù)安全、靈活可用也是絕大多數(shù)企業(yè)看重的,他們期望數(shù)據(jù)中臺能協(xié)助企業(yè)提升數(shù)據(jù)可用性和易用性,且在系統(tǒng)部署上能支持多種模式(見圖2)。
圖2:企業(yè)看重的數(shù)據(jù)整合和管理能力
2.提純加工
數(shù)據(jù)就像石油,需要經(jīng)過提純加工才能使用,這個過程就是數(shù)據(jù)資產(chǎn)化。
企業(yè)需要完整的數(shù)據(jù)資產(chǎn)體系,圍繞著能給業(yè)務帶來價值的數(shù)據(jù)資產(chǎn)進行建設,推動業(yè)務數(shù)據(jù)向數(shù)據(jù)資產(chǎn)的轉化。
傳統(tǒng)的數(shù)字化建設往往局限在單個業(yè)務流程,忽視了多業(yè)務的關聯(lián)數(shù)據(jù),缺乏對數(shù)據(jù)的深度理解。數(shù)據(jù)中臺必須連通全域數(shù)據(jù),通過統(tǒng)一的數(shù)據(jù)標準和質(zhì)量體系,建設提純加工后的標準數(shù)據(jù)資產(chǎn)體系,以滿足企業(yè)業(yè)務對數(shù)據(jù)的需求,如圖所示。
圖3:企業(yè)看重的數(shù)據(jù)提煉和分析加工能力
3.服務可視化
為了盡快讓數(shù)據(jù)用起來,數(shù)據(jù)中臺必須提供便捷、快速的數(shù)據(jù)服務能力,讓相關人員能夠迅速開發(fā)數(shù)據(jù)應用,支持數(shù)據(jù)資產(chǎn)場景化能力的快速輸出,以響應客戶的動態(tài)需求。
多數(shù)企業(yè)還期待數(shù)據(jù)中臺可以提供數(shù)據(jù)化運營平臺,幫助企業(yè)快速實現(xiàn)數(shù)據(jù)資產(chǎn)的可視化分析,提供包括實時流數(shù)據(jù)分析、預測分析、機器學習等更為高級的服務,為企業(yè)數(shù)據(jù)化運營賦能。
此外,伴隨著人工智能技術的飛速發(fā)展,AI的能力也被多數(shù)企業(yè)期待能應用到數(shù)據(jù)中臺上,實現(xiàn)自然語言處理等方面的服務。數(shù)據(jù)洞察來源于分析,數(shù)據(jù)中臺必須提供豐富的分析功能,數(shù)據(jù)資產(chǎn)必須服務于業(yè)務分析才能解決企業(yè)在數(shù)據(jù)洞察方面的短板,實現(xiàn)與業(yè)務的緊密結合(見圖4)。
圖4:企業(yè)看重的數(shù)據(jù)資產(chǎn)服務化能力
4.價值變現(xiàn)
數(shù)據(jù)中臺通過打通企業(yè)數(shù)據(jù),提供以前單個部門或者單個業(yè)務單元無法提供的數(shù)據(jù)服務能力,以實現(xiàn)數(shù)據(jù)的更大價值變現(xiàn)。
企業(yè)期待數(shù)據(jù)中臺能提升跨部門的普適性業(yè)務價值能力,更好地管理數(shù)據(jù)應用,將數(shù)據(jù)洞察變成直接驅動業(yè)務行動的核心動能,跨業(yè)務場景推進數(shù)據(jù)實踐。同時,企業(yè)對于如何評估業(yè)務行動的效果也十分關注,因為沒有效果評估就難以得到有效反饋,從而難以迭代更新數(shù)據(jù)應用,難以持續(xù)為客戶帶來價值,如圖5所示。
如前所述,數(shù)據(jù)中臺是一套持續(xù)地讓企業(yè)的數(shù)據(jù)用起來的機制,要想把數(shù)據(jù)用起來,四個核心能力都需要不斷迭代和提升。從戰(zhàn)略上來看,匯聚整合、提純加工、服務可視化和價值變現(xiàn)的能力是數(shù)據(jù)中臺最核心的競爭力,是企業(yè)真正將數(shù)據(jù)轉化為生產(chǎn)力、實現(xiàn)數(shù)字化轉型和商業(yè)創(chuàng)新、永葆競爭力的保障,如圖6所示。
▲圖5:企業(yè)看重的數(shù)據(jù)價值變現(xiàn)能力
圖6:數(shù)據(jù)中臺4大核心能力不可分割
03:
數(shù)據(jù)中臺VS業(yè)務中臺
1.數(shù)據(jù)中臺與業(yè)務中臺的區(qū)別
業(yè)務中臺更多偏向于業(yè)務流程管控,將業(yè)務流程中共性的服務抽象出來,形成通用的服務能力。
比如電商平臺,有C2C、B2C、C2B、B2B四種模式,其中訂單、交易、商品管理、購物車等模塊都是有共性的。將這些組件沉淀出來,形成電商行業(yè)的業(yè)務中臺,再基于這些業(yè)務中臺組件的服務能力,可以快速搭建前臺應用,譬如C2C模式的淘寶、B2C模式的天貓、B2B模式的1688、C2B模式的聚劃算,用戶通過這些前臺業(yè)務觸點使用業(yè)務服務。業(yè)務中臺不直接面向終端用戶,但可以極大提升構建面向終端用戶的前臺的速度和效率。
業(yè)務中臺是抽象業(yè)務流程的共性形成通用業(yè)務服務能力,而數(shù)據(jù)中臺則是抽象數(shù)據(jù)能力的共性形成通用數(shù)據(jù)服務能力。
比如,原始業(yè)務數(shù)據(jù)通過資產(chǎn)化服務化,形成客戶微觀畫像服務,這個服務可用于電商平臺的商品推薦,也可能用于地產(chǎn)購房意愿,還可能用于金融領域的信用評級等。同一個服務,在應用層面展現(xiàn)的內(nèi)容可能不一致,但是底層的數(shù)據(jù)體系是一致的。數(shù)據(jù)中臺也將極大提升數(shù)據(jù)開發(fā)的效率,降低開發(fā)成本,同時可以讓整個數(shù)據(jù)場景更為智能化。
2.數(shù)據(jù)中臺與業(yè)務中臺的聯(lián)系
如果同時擁有業(yè)務中臺和數(shù)據(jù)中臺,則數(shù)據(jù)中臺與業(yè)務中臺是相輔相成的。業(yè)務中臺中沉淀的業(yè)務數(shù)據(jù)進入到數(shù)據(jù)中臺進行體系化的加工,再以服務化的方式支撐業(yè)務中臺上的應用,而這些應用產(chǎn)生的新數(shù)據(jù)又流轉到數(shù)據(jù)中臺,形成循環(huán)不息的數(shù)據(jù)閉環(huán),如圖7所示。
圖7:業(yè)務中臺與數(shù)據(jù)中臺的數(shù)據(jù)應用閉環(huán)
業(yè)務中臺與數(shù)據(jù)中臺互相促進,為企業(yè)業(yè)務的發(fā)展、管理者更好的決策提供支持。其中,業(yè)務中臺的存在是為了圍繞公司業(yè)務運營進行服務,將獲取的多維度數(shù)據(jù)傳遞給數(shù)據(jù)中臺,由數(shù)據(jù)中臺挖掘新的價值反饋給業(yè)務中臺,以優(yōu)化業(yè)務運營。
有人可能會有疑惑:數(shù)據(jù)中臺和業(yè)務中臺的建設是否有先后順序?
筆者們以為,這兩者的建設沒有先后之分,主要依據(jù)企業(yè)的實際情況進行規(guī)劃。
從數(shù)據(jù)層面看,業(yè)務中臺只是數(shù)據(jù)中臺的數(shù)據(jù)源之一,除此之外,企業(yè)還有很多其他的數(shù)據(jù)來源,如App、小程序、IoT等多源數(shù)據(jù),可以將這些數(shù)據(jù)的價值直接賦能于現(xiàn)有業(yè)務或某個創(chuàng)新業(yè)務。
從服務層面看,數(shù)據(jù)中臺的數(shù)據(jù)服務也不一定經(jīng)過業(yè)務中臺作用于業(yè)務,它可能直接被上層應用系統(tǒng)進行封裝,如電商領域的“千人千面”系統(tǒng)。
而從業(yè)務中臺的角度來看,如果沒有數(shù)據(jù)中臺,可以做一些簡單的數(shù)據(jù)處理,如分析和統(tǒng)計等,而通過數(shù)據(jù)中臺賦能,則可以使業(yè)務系統(tǒng)擁有“全維度”、“智能化”的能力,譬如推薦、圈人等,系統(tǒng)將從信息化升級成為一個智能化的業(yè)務系統(tǒng)。”
不僅僅是業(yè)務中臺,目前各種中臺層出不窮,但筆者們認為中臺不是平臺,平臺可以有很多,可以有營銷平臺、風控平臺、管理平臺等,但是中臺,一個企業(yè)只需要有一個。
現(xiàn)在還有業(yè)務中臺、數(shù)據(jù)中臺之分,但我們預測未來數(shù)據(jù)與業(yè)務會更緊密地結合,完全融為一體,會統(tǒng)一成“企業(yè)中臺”。
二、數(shù)據(jù)中臺建設方法論
圖8:數(shù)據(jù)是企業(yè)的戰(zhàn)略資產(chǎn)
對于圖9所示的數(shù)據(jù)中臺建設方法論體系,需要從組織、保障、準則、內(nèi)容、步驟5個層面全面考慮,以確保數(shù)據(jù)中臺建設和實施能如期完成。
1種戰(zhàn)略行動:把用數(shù)據(jù)中臺驅動業(yè)務發(fā)展定位為企業(yè)級戰(zhàn)略,全局謀劃。
2項保障條件:通過宣導統(tǒng)一組織間的數(shù)據(jù)認知,通過流程加速組織變革。
3條目標準則:將數(shù)據(jù)的可見、可用、可運營3個核心準則始終貫穿于中臺建設的全過程,保障建設在正確軌道上。
4套建設內(nèi)容:通過技術體系、數(shù)據(jù)體系、服務體系、運營體系建設保證中臺建設的全面性和可持續(xù)性。
5個關鍵步驟:通過理現(xiàn)狀、立架構、建資產(chǎn)、用數(shù)據(jù)、做運營5個關鍵行動控制中臺建設關鍵節(jié)點的質(zhì)量。
圖9:數(shù)據(jù)中臺建設方法論體系
01:
1種戰(zhàn)略行動
建設數(shù)據(jù)中臺是為了支撐企業(yè)數(shù)字化、智能化升級,通過全局的維度支撐業(yè)務,讓企業(yè)在市場上更具競爭優(yōu)勢,因此需要從公司戰(zhàn)略層面來規(guī)劃。在中臺建設過程中,會涉及所有相關業(yè)態(tài)、各塊資源的協(xié)調(diào)和推進,這都需要站在更高的層面來考慮。當然,具體在實施過程中,為了能快速迭代推進,也會采取從點到面的突破方法,從某個業(yè)務或者某個部門開始,初步構建看到成效再逐步推廣,但不影響其作為核心戰(zhàn)略的定位。
數(shù)據(jù)中臺要求整個企業(yè)共用一個數(shù)據(jù)技術平臺、共建數(shù)據(jù)體系、共享數(shù)據(jù)服務能力。
現(xiàn)實中,企業(yè)業(yè)務發(fā)展不均衡,各種部門墻導致共建、共享非常困難。數(shù)據(jù)中臺不僅是對技術架構的改變,還是對整個企業(yè)業(yè)務運轉模式的改變,需要企業(yè)在組織架構和資源方面給予支持,所以中臺是一個企業(yè)的戰(zhàn)略行動,絕非一個項目組或者一個小團隊就能做的。數(shù)據(jù)中臺牽涉企業(yè)的方方面面,你要了解整個企業(yè)的業(yè)務情況,進行業(yè)務梳理,還要有技術的支撐、組織的支撐,否則很難推動落實。
啟動數(shù)據(jù)中臺一定要有戰(zhàn)略規(guī)劃,首先它是“一把手工程”,只有企業(yè)的一把手才有這種推力來推動數(shù)據(jù)中臺的建設。數(shù)據(jù)中臺的目標是實現(xiàn)企業(yè)經(jīng)營的數(shù)據(jù)化、精細化、智能化,本質(zhì)是建設一套可持續(xù)讓企業(yè)數(shù)據(jù)用起來的機制。
需要有相應的組織、制度、流程、資源的保障。
02:
2種保障條件
數(shù)據(jù)中臺是企業(yè)級戰(zhàn)略,支撐企業(yè)數(shù)字化轉型,涉及企業(yè)的方方面面,數(shù)據(jù)中臺戰(zhàn)略的執(zhí)行必然伴隨著企業(yè)組織保障以及整個企業(yè)數(shù)據(jù)意識的提升。
首先,中臺戰(zhàn)略的實施需要有組織保障。
與組織對應的是資源與責任,數(shù)據(jù)中臺由誰來建、誰來維護、誰來經(jīng)營、業(yè)務需求怎么承接、效果怎么衡量等問題,已經(jīng)超出IT的范疇,需要企業(yè)更高層面對應的組織來保障。圖10所示為中臺組織架構。企業(yè)實施數(shù)據(jù)中臺戰(zhàn)略,必須首先建立起數(shù)據(jù)中臺團隊,讓他們負責中臺的建設、維護、運營以及業(yè)務的承接和中臺服務的推廣等。另外,有了中臺,企業(yè)的運轉模式發(fā)生了變化,業(yè)務、后臺、管理等團隊也需要有對應的組織人員與中臺團隊對接。
圖10:中臺組織架構
其次,中臺戰(zhàn)略的實施需要提升全企業(yè)的數(shù)據(jù)意識。
數(shù)據(jù)文化是數(shù)據(jù)中臺戰(zhàn)略不可或缺的部分,數(shù)據(jù)中臺的推進依賴于數(shù)據(jù)文化的建立,反過來,企業(yè)數(shù)據(jù)文化的沉淀又是數(shù)據(jù)中臺建設的產(chǎn)出。大家談論大數(shù)據(jù)比較多,但經(jīng)常對什么是大數(shù)據(jù)感到困惑,在筆者們看來,大數(shù)據(jù)和當年提的“互聯(lián)網(wǎng)+”一樣,是一種考慮問題的思維方式,用互聯(lián)網(wǎng)思維、數(shù)據(jù)思維來發(fā)現(xiàn)問題,解決問題。因此,用一句話來概括數(shù)據(jù)文化:用數(shù)據(jù)說話。
可以從以下方面來提升數(shù)據(jù)意識:
(1)數(shù)據(jù)采集意識
建議盡可能采集一切業(yè)務觸點數(shù)據(jù),隨著技術的發(fā)展,采集的方式也越來越多,比如業(yè)務數(shù)據(jù)、日志數(shù)據(jù)、埋點數(shù)據(jù)、網(wǎng)絡數(shù)據(jù)、傳感器數(shù)據(jù)等。了解可能的數(shù)據(jù)采集方式,盡可能把有價值的數(shù)據(jù)通過技術手段采集下來。
(2)數(shù)據(jù)標準化意識
之所以需要進行數(shù)據(jù)治理,是因為數(shù)據(jù)不標準。如果希望數(shù)據(jù)發(fā)揮價值,就需要保持統(tǒng)一數(shù)據(jù)標準的意識,只有不同部門、不同業(yè)務對于數(shù)據(jù)的理解都一致了,才能減少因數(shù)據(jù)口徑不一導致的資源浪費。
(3)數(shù)據(jù)使用意識
未來數(shù)據(jù)應用會涉及方方面面,每一個業(yè)務環(huán)節(jié)都有可能用到數(shù)據(jù)的能力,所以所有企業(yè)員工都要掌握數(shù)據(jù)可能的使用方式,知道在實際業(yè)務操作過程中應該怎么使用數(shù)據(jù)。另外,數(shù)據(jù)能夠找出人類經(jīng)驗和人腦無法找出的關聯(lián)關系,比如啤酒和尿布的故事,就要求打破原有經(jīng)驗,用更高的數(shù)據(jù)意識來發(fā)揮數(shù)據(jù)對于業(yè)務的價值。
(4)數(shù)據(jù)安全意識
還必須具備數(shù)據(jù)安全意識,有些數(shù)據(jù)即使對業(yè)務有價值,但由于侵犯隱私或者觸犯法律等因素,也不能用,或者需要換一種合法的方式使用。企業(yè)員工需要有足夠的數(shù)據(jù)安全定級、脫敏的意識。
03:
5個關鍵步驟
數(shù)據(jù)中臺在具體落地實施時,要結合技術、產(chǎn)品、數(shù)據(jù)、服務、運營等5個方面,逐步開展相關的工作,在構建閉環(huán)時會多考慮基礎設施部分的能力。一旦閉環(huán)建設完成,就可以在各個環(huán)節(jié)不斷豐富能力,逐步成為數(shù)據(jù)應用的完整體系。根據(jù)筆者的實踐經(jīng)驗,數(shù)據(jù)中臺的建設過程主要通過5個關鍵步驟來完成,如圖11所示。
圖11:中臺建設的5個關鍵步驟
1.理現(xiàn)狀
梳理企業(yè)的系統(tǒng)建設、已經(jīng)擁有的數(shù)據(jù)以及業(yè)務特點等現(xiàn)狀,了解企業(yè)對數(shù)據(jù)中臺的認知,以及相應的數(shù)據(jù)文化建設情況。點對點地與業(yè)務部門、IT部門進行溝通,獲取企業(yè)的產(chǎn)品和服務信息,形成業(yè)務現(xiàn)狀調(diào)研報告,同時了解目前企業(yè)以怎樣的組織形態(tài)來保證客戶的服務能力。詳細調(diào)研目前企業(yè)的IT建設情況和業(yè)務數(shù)據(jù)沉淀情況,比如采用的什么數(shù)據(jù)庫、數(shù)據(jù)量、數(shù)據(jù)字段和更新周期等,以便后續(xù)更好地設計技術架構。
2.立架構
根據(jù)現(xiàn)狀形成整體的規(guī)劃藍圖,形成技術產(chǎn)品、數(shù)據(jù)體系、服務方式以及運營重點等相關的方案,梳理并確立各塊架構。企業(yè)信息架構經(jīng)常談到的4A,即業(yè)務架構、技術架構、應用架構和數(shù)據(jù)架構都需要在這個階段進行確認。這4個架構具體介紹如下:
業(yè)務架構:保障數(shù)據(jù)中臺能夠適用于企業(yè)的業(yè)務運管模型和流程體系。
技術架構:主要是指技術體系中的數(shù)據(jù)基座,主要根據(jù)業(yè)務架構近遠期規(guī)劃,對數(shù)據(jù)的存儲和計算進行統(tǒng)一的選型。
應用架構:特指數(shù)據(jù)中臺應用架構,后面幾個關鍵步驟的內(nèi)容所依賴的工具主要由數(shù)據(jù)中臺作為平臺應用來承接。
組織架構:主要是保證中臺項目的順利落地需要企業(yè)考慮的整體組織保障,其中的角色有業(yè)務人員、IT人員、供應商和相關負責人。
3.建資產(chǎn)
結合數(shù)據(jù)架構的整體設計,通過數(shù)據(jù)資產(chǎn)體系建設方法,幫助企業(yè)構建既符合場景需求又滿足數(shù)據(jù)架構要求的數(shù)據(jù)資產(chǎn)體系并實施落地。這個步驟涉及數(shù)據(jù)匯聚、數(shù)據(jù)倉庫建設、標簽體系建設以及應用數(shù)據(jù)建設,其中最關鍵的是標簽體系建設。所謂標簽體系是面向具體對象構建的全維度數(shù)據(jù)標簽,通過標簽體系可以方便地支撐應用,大數(shù)據(jù)的核心魅力和服務能力主要就體現(xiàn)在標簽體系的服務能力上。
4.用數(shù)據(jù)
從應用場景出發(fā),將已經(jīng)構建的數(shù)據(jù)資產(chǎn)通過服務化方式,應用到具體的業(yè)務中,發(fā)揮數(shù)據(jù)價值。將數(shù)據(jù)資產(chǎn)快速形成服務能力并與業(yè)務進行對接,在業(yè)務中產(chǎn)生數(shù)據(jù)價值,實現(xiàn)數(shù)據(jù)的服務化、業(yè)務化。在服務過程中,數(shù)據(jù)安全是不得不考。
· 組織架構:主要是保證中臺項目的順利落地需要企業(yè)考慮的整體組織保障,其中的角色有業(yè)務人員、IT人員、供應商和相關負責人。
5.做運營
數(shù)據(jù)應用于業(yè)務后,其產(chǎn)生的價值通過運營的能力不斷優(yōu)化迭代,并讓更多的人感知到數(shù)據(jù)的價值點。數(shù)據(jù)中臺建設是一個持續(xù)建設和運營的過程,所謂持續(xù)建設和運營是指在架構基本穩(wěn)定的情況下,不斷循環(huán)第3~5步,多方角色會圍繞核心KPI不斷挖掘數(shù)據(jù)和業(yè)務場景的結合點,不斷根據(jù)質(zhì)量和價值兩個點來運營優(yōu)化。企業(yè)通過多個組織之間的配合推進,會逐步形成企業(yè)特有的數(shù)據(jù)文化和認知,這是企業(yè)在數(shù)字化轉型中非常重要但很難跨越的點。
三、數(shù)據(jù)中臺架構
通過前面數(shù)據(jù)中臺建設方法論體系的介紹,了解了數(shù)據(jù)中臺的定位、保障、目標、內(nèi)容和步驟。這一節(jié)通過對數(shù)據(jù)中臺架構的介紹,讓大家了解數(shù)據(jù)中臺總體架構、包含的模塊、模塊之間的關系以及運轉機制。
數(shù)據(jù)中臺的目標是讓數(shù)據(jù)持續(xù)用起來,通過數(shù)據(jù)中臺提供的工具、方法和運行機制,把數(shù)據(jù)變?yōu)橐环N服務能力,讓數(shù)據(jù)更方便地被業(yè)務所使用。圖12所示為數(shù)據(jù)中臺總體架構圖,數(shù)據(jù)中臺是在底層存儲計算平臺與上層的數(shù)據(jù)應用之間的一整套體系。數(shù)據(jù)中臺屏蔽掉底層存儲平臺的計算技術復雜性,降低對技術人才的需求,讓數(shù)據(jù)的使用成本更低。通過數(shù)據(jù)中臺的數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)模塊建立企業(yè)數(shù)據(jù)資產(chǎn)。通過資產(chǎn)管理與治理、數(shù)據(jù)服務把數(shù)據(jù)資產(chǎn)變?yōu)閿?shù)據(jù)服務能力,服務于企業(yè)業(yè)務。數(shù)據(jù)安全體系、數(shù)據(jù)運營體系保障數(shù)據(jù)中臺可以長期健康、持續(xù)運轉。
圖12:數(shù)據(jù)中臺總體架構圖
1. 數(shù)據(jù)匯聚
數(shù)據(jù)匯聚是數(shù)據(jù)中臺數(shù)據(jù)接入的入口。數(shù)據(jù)中臺本身幾乎不產(chǎn)生數(shù)據(jù),所有數(shù)據(jù)來自于業(yè)務系統(tǒng)、日志、文件、網(wǎng)絡等,這些數(shù)據(jù)分散在不同的網(wǎng)絡環(huán)境和存儲平臺中,難以利用,很難產(chǎn)生業(yè)務價值。數(shù)據(jù)匯聚是數(shù)據(jù)中臺必須提供的核心工具,把各種異構網(wǎng)絡、異構數(shù)據(jù)源的數(shù)據(jù)能夠方便地采集到數(shù)據(jù)中臺進行集中存儲,為后續(xù)的加工建模做準備。數(shù)據(jù)匯聚方式一般有數(shù)據(jù)庫同步、埋點、網(wǎng)絡爬蟲、消息隊列等;從匯聚的時效性來分,有離線批量匯聚和實時采集。
2. 數(shù)據(jù)開發(fā)
通過數(shù)據(jù)匯聚模塊匯聚到中臺的數(shù)據(jù),沒有經(jīng)過什么處理,基本是按照數(shù)據(jù)的原始狀態(tài)堆砌在一起的,這樣業(yè)務還是很難使用。數(shù)據(jù)開發(fā)是一整套數(shù)據(jù)加工以及加工過程管控的工具,有經(jīng)驗的數(shù)據(jù)開發(fā)、算法建模人員利用數(shù)據(jù)加工模塊提供的功能,可以快速把數(shù)據(jù)加工成對業(yè)務有價值的形式,提供給業(yè)務使用。數(shù)據(jù)開發(fā)模塊主要是面向開發(fā)、分析人員,提供離線、實時、算法開發(fā)工具以及任務的管理、代碼發(fā)布、運維、監(jiān)控、告警等一些列集成工具,方便使用,提升效率。
3. 數(shù)據(jù)資產(chǎn)體系
有了數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)模塊,中臺已經(jīng)具備傳統(tǒng)數(shù)倉平臺的基本能力,可以做數(shù)據(jù)的匯聚以及各種數(shù)據(jù)開發(fā),就可以建立企業(yè)的數(shù)據(jù)資產(chǎn)體系。之前說數(shù)據(jù)資產(chǎn)體系是中臺的血肉,開發(fā)、管理、使用的都是數(shù)據(jù)。大數(shù)據(jù)時代,數(shù)據(jù)量大,增長快,業(yè)務對數(shù)據(jù)的依賴也會越來越高,必須考慮數(shù)據(jù)的一致性和可復用性,垂直煙囪式的數(shù)據(jù)和數(shù)據(jù)服務的建設方式注定不能長久存在。不同的企業(yè)因業(yè)務不同導致數(shù)據(jù)不同,數(shù)據(jù)建設的內(nèi)容也是不同的,但是建設方法可以相似,數(shù)據(jù)要統(tǒng)一建設,筆者建議數(shù)據(jù)按照貼源數(shù)據(jù)、統(tǒng)一數(shù)倉、標簽數(shù)據(jù)、應用數(shù)據(jù)的標準統(tǒng)一建設。
4. 數(shù)據(jù)資產(chǎn)管理
通過數(shù)據(jù)資產(chǎn)體系建立起來的數(shù)據(jù)資產(chǎn)還是一套偏技術的數(shù)據(jù)體系,業(yè)務人員比較難理解。資產(chǎn)管理是以企業(yè)全員更好理解的方式,把企業(yè)的數(shù)據(jù)資產(chǎn)展現(xiàn)給企業(yè)全員(當然要考慮權限和安全管控),數(shù)據(jù)資產(chǎn)管理包括對數(shù)據(jù)資產(chǎn)目錄、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)血緣、數(shù)據(jù)生命周期等進行管理和展示,以一種更直觀的方式展現(xiàn)企業(yè)的數(shù)據(jù)資產(chǎn),提升企業(yè)的數(shù)據(jù)意識。
5. 數(shù)據(jù)服務體系
前面利用數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)建設企業(yè)數(shù)據(jù)資產(chǎn),利用數(shù)據(jù)管理展現(xiàn)企業(yè)的數(shù)據(jù)資產(chǎn),但是并沒有發(fā)揮數(shù)據(jù)的價值。數(shù)據(jù)服務體系就是把數(shù)據(jù)變?yōu)橐环N服務能力,通過數(shù)據(jù)服務讓數(shù)據(jù)參與到業(yè)務,激活整個數(shù)據(jù)中臺,數(shù)據(jù)服務體系是數(shù)據(jù)中臺存在的價值所在。企業(yè)的數(shù)據(jù)服務是千變?nèi)f化的,中臺產(chǎn)品可以帶有一些標準服務,但是很難滿足企業(yè)的服務訴求,大部分服務還是需要通過中臺的能力快速定制。數(shù)據(jù)中臺的服務模塊并沒有自帶很多服務,而是提供快速的服務生成能力以及服務的管控、鑒權、計量等功能。
6. 運營體系和安全體系
通過前面的數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)、數(shù)據(jù)資產(chǎn)、資產(chǎn)管理、數(shù)據(jù)服務,已經(jīng)完成了整個數(shù)據(jù)中臺的搭建和建設,也已經(jīng)在業(yè)務中發(fā)揮一定的價值。運營體系和安全體系是數(shù)據(jù)中臺得以健康、持續(xù)運轉的基礎,如果沒有它們,數(shù)據(jù)中臺很可能像個一般項目一樣,一期搭建起平臺、建設部分數(shù)據(jù)、嘗試一兩個應用場景之后而止步,無法正常地持續(xù)運營,不能持續(xù)發(fā)揮數(shù)據(jù)應用價值。這也就完全達不到建設數(shù)據(jù)中臺的目標。
四、附錄:6大行業(yè)解決方案架構圖
▲地產(chǎn)行業(yè)解決方案
▲證券行業(yè)解決方案
▲零售行業(yè)解決方案
▲制造行業(yè)解決方案
▲傳媒行業(yè)解決方案
▲檢務行業(yè)解決方案
審核編輯 :李倩
-
數(shù)字化
+關注
關注
8文章
8865瀏覽量
62181
原文標題:一文讀懂數(shù)據(jù)中臺!附6大行業(yè)解決方案架構圖
文章出處:【微信號:IndustryIOT,微信公眾號:工業(yè)互聯(lián)網(wǎng)前線】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
評論