前有阿里雄心勃勃的數(shù)據(jù)中臺戰(zhàn)略,后有馬化騰稱“騰訊不會任意打通數(shù)據(jù)”的謹慎態(tài)度,近幾年,數(shù)據(jù)中臺作為“大數(shù)據(jù)的下一站”,成為業(yè)界熱議的話題,眾多實力雄厚的互聯(lián)網(wǎng)公司和銀行等金融機構都頻繁提起這一概念。
圖丨各大互聯(lián)網(wǎng)公司中臺體系建設
那么,數(shù)據(jù)中臺究竟是什么?為什么它會如此為大公司重視?它又是否是大公司的專利?在數(shù)據(jù)技術時代,它又將帶給不同公司怎樣的啟示?
一個不到 7 人的團隊驚艷了阿里
數(shù)據(jù)中臺概念最早于 2015 年年底被阿里巴巴首次提出,是阿里雄心勃勃的中臺戰(zhàn)略的核心之一。2015 年年底,阿里巴巴集團對外宣布全面啟動 2018 年中臺戰(zhàn)略,構建符合 DT(Data Technology,數(shù)據(jù)技術)時代更具創(chuàng)新性、靈活性的“大中臺,小前臺”組織機制和業(yè)務機制。
根據(jù)阿里中間件首席架構師鐘華在其書中的說法,“中臺將集合整個集團的運營數(shù)據(jù)能力、產品技術能力,對各前臺業(yè)務形成強力支撐。”
他介紹道,阿里會在當時的時間點做出這樣的決定,源于一次商務拜訪。
2015 年年中,馬云帶領阿里的高管們拜訪了移動游戲公司Supercell。Supercell 以《海島奇兵》等游戲知名,號稱是世界上最成功的移動游戲公司。
Supercell 允許由 2 到 5 個人,不到 7 個人的小團隊自主創(chuàng)新,以最快的速度推出公測版,檢測游戲受用戶歡迎的情況。2016 年 6 月騰訊公司以 86 億美元收購了員工數(shù)不超過 200 人的 Supercell 公司 84.3% 的股權,每一位員工人均貢獻值超過 3.54 億人民幣。
必然有很多公司想要模仿這樣成功的模式,卻總是達不到相同的效果。鐘云認為,這是因為那些公司缺乏 Supercell 所構建的中臺,業(yè)務得不到有力的支撐。Supercell 將多年實踐中積累的科學的研發(fā)方法和相關技術集成為一個完善的中臺體系,這樣才能支撐這些區(qū)區(qū)幾個人的組成小團隊在短時間內就能研發(fā)出一款新游戲,快速上線測試,探知用戶喜好,把握市場。
Supercell 的模式給阿里高管們帶來極大的震撼,他們開始反思信息時代的公司架構究竟應該是怎樣的,怎樣才能將公司的各個部分、將公司的資源有機結成在一起。此行之后,阿里巴巴的領導層下定決心進行組織架構的調整,并正式啟動中臺戰(zhàn)略。
數(shù)據(jù)中臺并非新生事物
在阿里龐大的中臺戰(zhàn)略中,數(shù)據(jù)中臺的建設就是核心之一。它旨在為阿里生態(tài)中的數(shù)據(jù)提供統(tǒng)一的接口,承載集團數(shù)據(jù)中心的工作,核心任務就是建設全域大數(shù)據(jù)。
2017 年云棲大會阿里大數(shù)據(jù)分論壇上,阿里的高級技術專家張磊介紹到:從內容上看,數(shù)據(jù)中臺管理和運維著阿里巴巴集團最核心的基礎數(shù)據(jù);在技術上,它覆蓋了從數(shù)據(jù)采集、計算加工到數(shù)據(jù)服務、數(shù)據(jù)應用等消費鏈路上的每一個環(huán)節(jié),為阿里生態(tài)中的業(yè)務,用戶,中小企業(yè)提供全鏈路、全渠道的數(shù)據(jù)服務。
圖丨阿里巴巴數(shù)據(jù)中臺全景圖
從上圖所示的阿里數(shù)據(jù)中臺的全景圖上可以看到,整個阿里巴巴數(shù)據(jù)中臺呈現(xiàn)了“四橫三縱”的體系結構。
其中的三縱分別是統(tǒng)一計算后臺(上圖最下方紫色模塊);第二部分是統(tǒng)一數(shù)據(jù)中臺(上圖中部無色模塊),第三部分賦能業(yè)務前臺(上圖上部紅色模塊)。最下方的垂直數(shù)據(jù)中心負責數(shù)據(jù)的采集接入。這部分輸入的數(shù)據(jù)主要包含兩方面:第一部分是按照業(yè)務狀態(tài)接入的企業(yè)內部的數(shù)據(jù),例如淘寶,天貓的數(shù)據(jù)等;第二部分是根據(jù)業(yè)務需求從其他數(shù)據(jù)源爬取或采購的數(shù)據(jù),如天氣數(shù)據(jù)等。
接下來,這些數(shù)據(jù)集成到以業(yè)務板塊,業(yè)務過程和分析維度為架構構建的公共數(shù)據(jù)中心 OneData。最后,基于 OneData 公共數(shù)據(jù)中心,上層的數(shù)據(jù)萃取數(shù)據(jù)中心根據(jù)業(yè)務需求或自然對象結合萃取標簽建設例如“消費者數(shù)據(jù)體系”的不同的數(shù)據(jù)體系,構建 OneID 體系。這三部分組合在一起就構成了阿里開放的,面向應用的統(tǒng)一服務中間件 OneService。數(shù)據(jù)經(jīng)過 OneService 的深度加工后可以更好地發(fā)揮它的價值,新的業(yè)務可以簡易方便地建立在數(shù)據(jù)中心之上。
現(xiàn)在,阿里內部數(shù)據(jù)平臺上已經(jīng)有幾十種不同的數(shù)據(jù)產品,每天有來自不同部門的上萬名員工使用這些數(shù)據(jù)產品進行業(yè)務分析,做出決策。
可以看出,數(shù)據(jù)中臺是一個統(tǒng)一的數(shù)據(jù)管理系統(tǒng),它的目標是根據(jù)企業(yè)的業(yè)務需求等制定統(tǒng)一的規(guī)范,對數(shù)據(jù)進行組織和管理,但它并非是徹頭徹尾的新生物,現(xiàn)階段的數(shù)據(jù)中臺的核心技術就是數(shù)據(jù)集成。
圖丨 數(shù)據(jù)集成架構示意圖。左圖為數(shù)據(jù)倉庫模式。該模式通過抽取器定期從數(shù)據(jù)源爬取數(shù)據(jù),將數(shù)據(jù)物化,存儲在物理的數(shù)據(jù)倉庫中。用戶的查詢訪問等直接在數(shù)據(jù)倉庫中進行。右圖為虛擬中介模式。該模式不爬取數(shù)據(jù),而是根據(jù)創(chuàng)建的模式將用戶的查詢重寫為數(shù)據(jù)源上的查詢在數(shù)據(jù)源上執(zhí)行(來源:DeepTech)
數(shù)據(jù)集成的目標是為多個自治的,異構的數(shù)據(jù)源提供統(tǒng)一的訪問入口。即將自不同數(shù)據(jù)源,形式各異的數(shù)據(jù)集成,讓用戶可以忽視這些差異,以統(tǒng)一的方式訪問。數(shù)據(jù)集成系統(tǒng)有多種可能的架構,但絕大多數(shù)系統(tǒng)都介于數(shù)據(jù)倉庫和虛擬集成系統(tǒng)之間,如上圖所示。數(shù)據(jù)倉庫就是把各個獨立的數(shù)據(jù)源加載并存儲到一個物理數(shù)據(jù)庫(數(shù)據(jù)倉庫)中,即對數(shù)據(jù)進行物化。當用戶的查詢到來時,直接在數(shù)據(jù)倉庫上執(zhí)行。在虛擬集成系統(tǒng)中,數(shù)據(jù)還是保存在原來的數(shù)據(jù)源中,通過建立中介模式和數(shù)據(jù)源之間的映射完成用戶與數(shù)據(jù)集成系統(tǒng)的交互。當用戶查詢到來時,根據(jù)映射將查詢重寫,在數(shù)據(jù)源上執(zhí)行。
企業(yè)會掀起再造數(shù)據(jù)樞紐的新浪潮嗎?
目前,阿里數(shù)據(jù)中臺的代表性產品之一——螞蟻金服的全行數(shù)據(jù)中臺解決方案——已為多家銀行所應用。該數(shù)據(jù)中臺為銀行業(yè)提供一整套端到端的大數(shù)據(jù)中臺解決方案,從其官網(wǎng)介紹中主要針對的行業(yè)現(xiàn)狀和痛點,我們不難發(fā)現(xiàn)數(shù)據(jù)集成尤其和大數(shù)據(jù)集成的影子。
相比于 Web 網(wǎng)頁上的大數(shù)據(jù)集成,企業(yè)內部大數(shù)據(jù)集成的難度由于企業(yè)內部數(shù)據(jù)質量有保障,多樣性易于統(tǒng)一等同樣有所減小,它挑戰(zhàn)主要集中在數(shù)據(jù)的海量性和高速性給數(shù)據(jù)集成在保證實時性帶來的困難上。
圖 丨螞蟻金服全行數(shù)據(jù)中臺解決方案行業(yè)現(xiàn)狀及痛點
它可以近似理解為企業(yè)的統(tǒng)一數(shù)據(jù)集成平臺,為企業(yè)的各項業(yè)務和活動服務,對公司的數(shù)據(jù)進行統(tǒng)一的管理。這樣統(tǒng)一的規(guī)范化的管理使得不同的數(shù)據(jù)得以集成交互,打破之前不同部門不同數(shù)據(jù)源之間的壁壘,讓數(shù)據(jù)的價值爆炸性增長并得以被充分挖掘。
現(xiàn)在,阿里已經(jīng)推出了不同的類型的數(shù)據(jù)中臺產品:OneData 致力于解決大數(shù)據(jù)集成的痛點;螞蟻金服的相關產品則專注金融行業(yè)的數(shù)據(jù)中臺構建;而“生意參謀”則是阿里內部數(shù)據(jù)開放的窗口,集成了海量數(shù)據(jù)及店鋪經(jīng)營思路,可以更好為商家提供流量,商品,交易等店鋪的數(shù)據(jù)分析預測等服務,協(xié)助商家進行商業(yè)決策。
從以上內容,我們不難看出這樣的數(shù)據(jù)管理系統(tǒng)對于類似阿里這樣的擁有龐大生態(tài)系統(tǒng)的企業(yè)的重要性,幾年來眾多大型互聯(lián)網(wǎng)公司和銀行機構也紛紛打造自己的數(shù)據(jù)中臺。
那么對于小型的,沒有海量數(shù)據(jù)的企業(yè),構建這樣的平臺是否也有必要呢?
數(shù)據(jù)被譽為企業(yè)“石油”,它可以反應企業(yè)活動,經(jīng)營狀況方方面面的信息。在數(shù)據(jù)時代,不能利用數(shù)據(jù)協(xié)助自己的管理業(yè)務,做出決策的企業(yè)很難走的長遠。不管是否已經(jīng)手握大數(shù)據(jù),對現(xiàn)有數(shù)據(jù)的管理都是每一個企業(yè)都應該考慮的問題。這種考慮不僅僅是針對企業(yè)當下的狀態(tài),更應該有長遠的考量:如何充分挖掘數(shù)據(jù)的價值,為新業(yè)務的擴展助力。而這一切的背后,都離不開數(shù)據(jù)集成技術的支撐。
不過,雖然每個企業(yè)都應該合理管理和充分利用數(shù)據(jù),但數(shù)據(jù)究竟要集成到什么程度,以怎樣的形式使用和開放卻是要謹慎對待的問題。
就像馬化騰就在 18 年 11 月初第五屆世界互聯(lián)網(wǎng)大會的論壇上所說的:“我們要從用戶的角度來考慮,把個人信息和數(shù)據(jù)保護放在優(yōu)先地位,而不能套用其它公司的做法,把數(shù)據(jù)直接去任意打通。”他強調騰訊不會任意打通數(shù)據(jù),技術中臺會打通,但數(shù)據(jù)中臺要特別謹慎。
-
數(shù)據(jù)
+關注
關注
8文章
7255瀏覽量
91809
原文標題:馬云say yes、馬化騰說“需謹慎”,風口浪尖上的數(shù)據(jù)中臺究竟是什么?
文章出處:【微信號:deeptechchina,微信公眾號:deeptechchina】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
TVS和ESD在移動電源中的關鍵作用


FOC電機控制究竟該如何學?
工程師在產品選型的時究竟是選CAN還是CANFD接口卡呢?

室內導航究竟是如何實現(xiàn)的
ADS1298R PACE_OUT1和PACE_OUT2這兩條引腿究竟是輸入還是輸出?有什么用?怎樣使用?
LoRa數(shù)據(jù)究竟是如何傳輸?shù)模?/a>

嵌入式和人工智能究竟是什么關系?
PCM1861 INT腳究竟是輸出還是輸入?
超高頻讀寫器究竟是什么,能做什么?一文讀懂!

評論