前有阿里雄心勃勃的數(shù)據(jù)中臺戰(zhàn)略,后有馬化騰稱“騰訊不會任意打通數(shù)據(jù)”的謹(jǐn)慎態(tài)度,近幾年,數(shù)據(jù)中臺作為“大數(shù)據(jù)的下一站”,成為業(yè)界熱議的話題,眾多實力雄厚的互聯(lián)網(wǎng)公司和銀行等金融機(jī)構(gòu)都頻繁提起這一概念。
圖丨各大互聯(lián)網(wǎng)公司中臺體系建設(shè)
那么,數(shù)據(jù)中臺究竟是什么?為什么它會如此為大公司重視?它又是否是大公司的專利?在數(shù)據(jù)技術(shù)時代,它又將帶給不同公司怎樣的啟示?
一個不到 7 人的團(tuán)隊驚艷了阿里
數(shù)據(jù)中臺概念最早于 2015 年年底被阿里巴巴首次提出,是阿里雄心勃勃的中臺戰(zhàn)略的核心之一。2015 年年底,阿里巴巴集團(tuán)對外宣布全面啟動 2018 年中臺戰(zhàn)略,構(gòu)建符合 DT(Data Technology,數(shù)據(jù)技術(shù))時代更具創(chuàng)新性、靈活性的“大中臺,小前臺”組織機(jī)制和業(yè)務(wù)機(jī)制。
根據(jù)阿里中間件首席架構(gòu)師鐘華在其書中的說法,“中臺將集合整個集團(tuán)的運營數(shù)據(jù)能力、產(chǎn)品技術(shù)能力,對各前臺業(yè)務(wù)形成強(qiáng)力支撐。”
他介紹道,阿里會在當(dāng)時的時間點做出這樣的決定,源于一次商務(wù)拜訪。
2015 年年中,馬云帶領(lǐng)阿里的高管們拜訪了移動游戲公司Supercell。Supercell 以《海島奇兵》等游戲知名,號稱是世界上最成功的移動游戲公司。
Supercell 允許由 2 到 5 個人,不到 7 個人的小團(tuán)隊自主創(chuàng)新,以最快的速度推出公測版,檢測游戲受用戶歡迎的情況。2016 年 6 月騰訊公司以 86 億美元收購了員工數(shù)不超過 200 人的 Supercell 公司 84.3% 的股權(quán),每一位員工人均貢獻(xiàn)值超過 3.54 億人民幣。
必然有很多公司想要模仿這樣成功的模式,卻總是達(dá)不到相同的效果。鐘云認(rèn)為,這是因為那些公司缺乏 Supercell 所構(gòu)建的中臺,業(yè)務(wù)得不到有力的支撐。Supercell 將多年實踐中積累的科學(xué)的研發(fā)方法和相關(guān)技術(shù)集成為一個完善的中臺體系,這樣才能支撐這些區(qū)區(qū)幾個人的組成小團(tuán)隊在短時間內(nèi)就能研發(fā)出一款新游戲,快速上線測試,探知用戶喜好,把握市場。
Supercell 的模式給阿里高管們帶來極大的震撼,他們開始反思信息時代的公司架構(gòu)究竟應(yīng)該是怎樣的,怎樣才能將公司的各個部分、將公司的資源有機(jī)結(jié)成在一起。此行之后,阿里巴巴的領(lǐng)導(dǎo)層下定決心進(jìn)行組織架構(gòu)的調(diào)整,并正式啟動中臺戰(zhàn)略。
數(shù)據(jù)中臺并非新生事物
在阿里龐大的中臺戰(zhàn)略中,數(shù)據(jù)中臺的建設(shè)就是核心之一。它旨在為阿里生態(tài)中的數(shù)據(jù)提供統(tǒng)一的接口,承載集團(tuán)數(shù)據(jù)中心的工作,核心任務(wù)就是建設(shè)全域大數(shù)據(jù)。
2017 年云棲大會阿里大數(shù)據(jù)分論壇上,阿里的高級技術(shù)專家張磊介紹到:從內(nèi)容上看,數(shù)據(jù)中臺管理和運維著阿里巴巴集團(tuán)最核心的基礎(chǔ)數(shù)據(jù);在技術(shù)上,它覆蓋了從數(shù)據(jù)采集、計算加工到數(shù)據(jù)服務(wù)、數(shù)據(jù)應(yīng)用等消費鏈路上的每一個環(huán)節(jié),為阿里生態(tài)中的業(yè)務(wù),用戶,中小企業(yè)提供全鏈路、全渠道的數(shù)據(jù)服務(wù)。
圖丨阿里巴巴數(shù)據(jù)中臺全景圖
從上圖所示的阿里數(shù)據(jù)中臺的全景圖上可以看到,整個阿里巴巴數(shù)據(jù)中臺呈現(xiàn)了“四橫三縱”的體系結(jié)構(gòu)。
其中的三縱分別是統(tǒng)一計算后臺(上圖最下方紫色模塊);第二部分是統(tǒng)一數(shù)據(jù)中臺(上圖中部無色模塊),第三部分賦能業(yè)務(wù)前臺(上圖上部紅色模塊)。最下方的垂直數(shù)據(jù)中心負(fù)責(zé)數(shù)據(jù)的采集接入。這部分輸入的數(shù)據(jù)主要包含兩方面:第一部分是按照業(yè)務(wù)狀態(tài)接入的企業(yè)內(nèi)部的數(shù)據(jù),例如淘寶,天貓的數(shù)據(jù)等;第二部分是根據(jù)業(yè)務(wù)需求從其他數(shù)據(jù)源爬取或采購的數(shù)據(jù),如天氣數(shù)據(jù)等。
接下來,這些數(shù)據(jù)集成到以業(yè)務(wù)板塊,業(yè)務(wù)過程和分析維度為架構(gòu)構(gòu)建的公共數(shù)據(jù)中心 OneData。最后,基于 OneData 公共數(shù)據(jù)中心,上層的數(shù)據(jù)萃取數(shù)據(jù)中心根據(jù)業(yè)務(wù)需求或自然對象結(jié)合萃取標(biāo)簽建設(shè)例如“消費者數(shù)據(jù)體系”的不同的數(shù)據(jù)體系,構(gòu)建 OneID 體系。這三部分組合在一起就構(gòu)成了阿里開放的,面向應(yīng)用的統(tǒng)一服務(wù)中間件 OneService。數(shù)據(jù)經(jīng)過 OneService 的深度加工后可以更好地發(fā)揮它的價值,新的業(yè)務(wù)可以簡易方便地建立在數(shù)據(jù)中心之上。
現(xiàn)在,阿里內(nèi)部數(shù)據(jù)平臺上已經(jīng)有幾十種不同的數(shù)據(jù)產(chǎn)品,每天有來自不同部門的上萬名員工使用這些數(shù)據(jù)產(chǎn)品進(jìn)行業(yè)務(wù)分析,做出決策。
可以看出,數(shù)據(jù)中臺是一個統(tǒng)一的數(shù)據(jù)管理系統(tǒng),它的目標(biāo)是根據(jù)企業(yè)的業(yè)務(wù)需求等制定統(tǒng)一的規(guī)范,對數(shù)據(jù)進(jìn)行組織和管理,但它并非是徹頭徹尾的新生物,現(xiàn)階段的數(shù)據(jù)中臺的核心技術(shù)就是數(shù)據(jù)集成。
圖丨 數(shù)據(jù)集成架構(gòu)示意圖。左圖為數(shù)據(jù)倉庫模式。該模式通過抽取器定期從數(shù)據(jù)源爬取數(shù)據(jù),將數(shù)據(jù)物化,存儲在物理的數(shù)據(jù)倉庫中。用戶的查詢訪問等直接在數(shù)據(jù)倉庫中進(jìn)行。右圖為虛擬中介模式。該模式不爬取數(shù)據(jù),而是根據(jù)創(chuàng)建的模式將用戶的查詢重寫為數(shù)據(jù)源上的查詢在數(shù)據(jù)源上執(zhí)行(來源:DeepTech)
數(shù)據(jù)集成的目標(biāo)是為多個自治的,異構(gòu)的數(shù)據(jù)源提供統(tǒng)一的訪問入口。即將自不同數(shù)據(jù)源,形式各異的數(shù)據(jù)集成,讓用戶可以忽視這些差異,以統(tǒng)一的方式訪問。數(shù)據(jù)集成系統(tǒng)有多種可能的架構(gòu),但絕大多數(shù)系統(tǒng)都介于數(shù)據(jù)倉庫和虛擬集成系統(tǒng)之間,如上圖所示。數(shù)據(jù)倉庫就是把各個獨立的數(shù)據(jù)源加載并存儲到一個物理數(shù)據(jù)庫(數(shù)據(jù)倉庫)中,即對數(shù)據(jù)進(jìn)行物化。當(dāng)用戶的查詢到來時,直接在數(shù)據(jù)倉庫上執(zhí)行。在虛擬集成系統(tǒng)中,數(shù)據(jù)還是保存在原來的數(shù)據(jù)源中,通過建立中介模式和數(shù)據(jù)源之間的映射完成用戶與數(shù)據(jù)集成系統(tǒng)的交互。當(dāng)用戶查詢到來時,根據(jù)映射將查詢重寫,在數(shù)據(jù)源上執(zhí)行。
企業(yè)會掀起再造數(shù)據(jù)樞紐的新浪潮嗎?
目前,阿里數(shù)據(jù)中臺的代表性產(chǎn)品之一——螞蟻金服的全行數(shù)據(jù)中臺解決方案——已為多家銀行所應(yīng)用。該數(shù)據(jù)中臺為銀行業(yè)提供一整套端到端的大數(shù)據(jù)中臺解決方案,從其官網(wǎng)介紹中主要針對的行業(yè)現(xiàn)狀和痛點,我們不難發(fā)現(xiàn)數(shù)據(jù)集成尤其和大數(shù)據(jù)集成的影子。
相比于 Web 網(wǎng)頁上的大數(shù)據(jù)集成,企業(yè)內(nèi)部大數(shù)據(jù)集成的難度由于企業(yè)內(nèi)部數(shù)據(jù)質(zhì)量有保障,多樣性易于統(tǒng)一等同樣有所減小,它挑戰(zhàn)主要集中在數(shù)據(jù)的海量性和高速性給數(shù)據(jù)集成在保證實時性帶來的困難上。
圖 丨螞蟻金服全行數(shù)據(jù)中臺解決方案行業(yè)現(xiàn)狀及痛點
它可以近似理解為企業(yè)的統(tǒng)一數(shù)據(jù)集成平臺,為企業(yè)的各項業(yè)務(wù)和活動服務(wù),對公司的數(shù)據(jù)進(jìn)行統(tǒng)一的管理。這樣統(tǒng)一的規(guī)范化的管理使得不同的數(shù)據(jù)得以集成交互,打破之前不同部門不同數(shù)據(jù)源之間的壁壘,讓數(shù)據(jù)的價值爆炸性增長并得以被充分挖掘。
現(xiàn)在,阿里已經(jīng)推出了不同的類型的數(shù)據(jù)中臺產(chǎn)品:OneData 致力于解決大數(shù)據(jù)集成的痛點;螞蟻金服的相關(guān)產(chǎn)品則專注金融行業(yè)的數(shù)據(jù)中臺構(gòu)建;而“生意參謀”則是阿里內(nèi)部數(shù)據(jù)開放的窗口,集成了海量數(shù)據(jù)及店鋪經(jīng)營思路,可以更好為商家提供流量,商品,交易等店鋪的數(shù)據(jù)分析預(yù)測等服務(wù),協(xié)助商家進(jìn)行商業(yè)決策。
從以上內(nèi)容,我們不難看出這樣的數(shù)據(jù)管理系統(tǒng)對于類似阿里這樣的擁有龐大生態(tài)系統(tǒng)的企業(yè)的重要性,幾年來眾多大型互聯(lián)網(wǎng)公司和銀行機(jī)構(gòu)也紛紛打造自己的數(shù)據(jù)中臺。
那么對于小型的,沒有海量數(shù)據(jù)的企業(yè),構(gòu)建這樣的平臺是否也有必要呢?
數(shù)據(jù)被譽(yù)為企業(yè)“石油”,它可以反應(yīng)企業(yè)活動,經(jīng)營狀況方方面面的信息。在數(shù)據(jù)時代,不能利用數(shù)據(jù)協(xié)助自己的管理業(yè)務(wù),做出決策的企業(yè)很難走的長遠(yuǎn)。不管是否已經(jīng)手握大數(shù)據(jù),對現(xiàn)有數(shù)據(jù)的管理都是每一個企業(yè)都應(yīng)該考慮的問題。這種考慮不僅僅是針對企業(yè)當(dāng)下的狀態(tài),更應(yīng)該有長遠(yuǎn)的考量:如何充分挖掘數(shù)據(jù)的價值,為新業(yè)務(wù)的擴(kuò)展助力。而這一切的背后,都離不開數(shù)據(jù)集成技術(shù)的支撐。
不過,雖然每個企業(yè)都應(yīng)該合理管理和充分利用數(shù)據(jù),但數(shù)據(jù)究竟要集成到什么程度,以怎樣的形式使用和開放卻是要謹(jǐn)慎對待的問題。
就像馬化騰就在 18 年 11 月初第五屆世界互聯(lián)網(wǎng)大會的論壇上所說的:“我們要從用戶的角度來考慮,把個人信息和數(shù)據(jù)保護(hù)放在優(yōu)先地位,而不能套用其它公司的做法,把數(shù)據(jù)直接去任意打通。”他強(qiáng)調(diào)騰訊不會任意打通數(shù)據(jù),技術(shù)中臺會打通,但數(shù)據(jù)中臺要特別謹(jǐn)慎。
-
數(shù)據(jù)
+關(guān)注
關(guān)注
8文章
7145瀏覽量
89587
原文標(biāo)題:馬云say yes、馬化騰說“需謹(jǐn)慎”,風(fēng)口浪尖上的數(shù)據(jù)中臺究竟是什么?
文章出處:【微信號:deeptechchina,微信公眾號:deeptechchina】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論