在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

各種典型的數(shù)據(jù)中臺架構(gòu)

工業(yè)互聯(lián)網(wǎng)前線 ? 來源:數(shù)據(jù)學(xué)堂 ? 作者:數(shù)據(jù)學(xué)堂 ? 2022-04-24 14:37 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

當(dāng)前,大部分企業(yè)不再建設(shè)從源數(shù)據(jù)采集到分析應(yīng)用的煙囪式系統(tǒng),更傾向于數(shù)據(jù)集中采集、存儲,并應(yīng)用分層建設(shè)。這種方式一方面有利于應(yīng)用系統(tǒng)的快速部署,另一方面也保證了數(shù)據(jù)的集中管理與運營,體現(xiàn)數(shù)據(jù)的資產(chǎn)、資源屬性。

數(shù)據(jù)中臺的出現(xiàn)彌補了數(shù)據(jù)開發(fā)和應(yīng)用開發(fā)之間由于開發(fā)速度不匹配而出現(xiàn)的響應(yīng)力不足等缺陷問題。

數(shù)據(jù)中臺是國內(nèi)學(xué)者提出的概念,起始于阿里的“大中臺、小前臺”概念。阿里的中臺是從管理的角度出發(fā),以中臺事業(yè)部集中數(shù)據(jù)搜索,技術(shù)及產(chǎn)品,數(shù)據(jù)共享等多個部門的功能。其他組織或企業(yè)建設(shè)數(shù)據(jù)中臺不一定需要成立中臺事業(yè)部,但是數(shù)據(jù)集中治理與提升數(shù)據(jù)價值轉(zhuǎn)換效率的思路是一致的。

— 01 —數(shù)據(jù)中臺通用體系架構(gòu) 不同的企業(yè)對數(shù)據(jù)有不同的需求。企業(yè)數(shù)據(jù)應(yīng)用不斷更新迭代,企業(yè)的中臺系統(tǒng)也需要不斷變化。 從數(shù)據(jù)處理與數(shù)據(jù)治理兩個維度出發(fā),可以設(shè)計一個解耦的數(shù)據(jù)中臺體系架構(gòu)。該數(shù)據(jù)中臺體系架構(gòu)具有一定的柔性,可按照企業(yè)應(yīng)用需求進(jìn)行組合,或者對單個模塊進(jìn)行擴(kuò)充,能滿足大多數(shù)企業(yè)數(shù)據(jù)中臺建設(shè)的需求。

339ee270-c38d-11ec-bce3-dac502259ad0.png

數(shù)據(jù)中臺體系架構(gòu)示例 數(shù)據(jù)中臺的通用體系架構(gòu)如圖 2 所示。該中臺體系架構(gòu)以減少功能冗余和提高功能復(fù)用為原則,把數(shù)據(jù)中臺解耦為 6 個可以分別獨立建設(shè)、演進(jìn)的功能子系統(tǒng)。 數(shù)據(jù)結(jié)構(gòu)與數(shù)據(jù)處理子系統(tǒng)是數(shù)據(jù)中臺體系架構(gòu)的核心,數(shù)據(jù)治理是提升數(shù)據(jù)價值的重要手段。該數(shù)據(jù)中臺體系架構(gòu)的通用性表現(xiàn)在以下幾點。

該數(shù)據(jù)中臺體系架構(gòu)綜合考慮了數(shù)據(jù)中臺的各種要素,參考這個架構(gòu)進(jìn)行建設(shè)可以有效提升數(shù)據(jù)資產(chǎn)價值,提供數(shù)據(jù)及服務(wù)的共享。

參考這個數(shù)據(jù)中臺體系架構(gòu),企業(yè)可以一次規(guī)劃、分步實施。首先建設(shè)處理子系統(tǒng)及數(shù)據(jù)存儲子系統(tǒng),然后根據(jù)業(yè)務(wù)發(fā)展需求,逐步補充數(shù)據(jù)采集、數(shù)據(jù)安全及數(shù)據(jù)治理子系統(tǒng)。

該數(shù)據(jù)中臺由 6 個解耦的子系統(tǒng)組成。企業(yè)在立項建設(shè)時可以靈活組合,每個子系統(tǒng)單獨招標(biāo)建設(shè),也可以把多個子系統(tǒng)合并招標(biāo)建設(shè)。數(shù)據(jù)中臺通用體系架構(gòu)包含數(shù)據(jù)存儲框架、數(shù)據(jù)采集框架、數(shù)據(jù)處理框架、數(shù)據(jù)治理框架、數(shù)據(jù)安全框架及數(shù)據(jù)運營框架等 6 大部分。

1、數(shù)據(jù)存儲框架

數(shù)據(jù)中臺的核心是數(shù)據(jù),數(shù)據(jù)通過采集系統(tǒng)獲取,然后數(shù)據(jù)經(jīng)過處理框架加工,并接受數(shù)據(jù)治理框架的管理,同時也要接受數(shù)據(jù)安全管理框架的管理,最后開放的價值數(shù)據(jù)將通過數(shù)據(jù)運營框架對外提供數(shù)據(jù)服務(wù)。 數(shù)據(jù)中臺的數(shù)據(jù)架構(gòu)應(yīng)該獨立規(guī)劃,并采用合理的技術(shù)架構(gòu)對不同類型的數(shù)據(jù)進(jìn)行存儲。

數(shù)據(jù)存儲框架中,無論數(shù)據(jù)采用對象存儲、塊存儲還是數(shù)據(jù)庫存儲技術(shù),各種中臺數(shù)據(jù)可按照上圖所示分類管理。

源數(shù)據(jù)主要由采集框架進(jìn)行管理,數(shù)據(jù)治理框架按照數(shù)據(jù)特征把數(shù)據(jù)簡單分為結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)兩大類,而規(guī)范化分域數(shù)據(jù)則是數(shù)據(jù)治理框架對全量數(shù)據(jù)的規(guī)范化分域整理。寬表數(shù)據(jù)是數(shù)據(jù)關(guān)聯(lián)的結(jié)果,利用寬表數(shù)據(jù)可以對人、事、地、物、組等對象進(jìn)行完整的數(shù)據(jù)畫像,同時寬表數(shù)據(jù)也可以作為上層模型數(shù)據(jù)的中間層數(shù)據(jù)。

元數(shù)據(jù)和標(biāo)簽數(shù)據(jù)都是對數(shù)據(jù)的描述,其中元數(shù)據(jù)用來對數(shù)據(jù)的客觀屬性進(jìn)行表示,標(biāo)簽數(shù)據(jù)更傾向于管理者對數(shù)據(jù)的主觀表述及等級劃分,比如質(zhì)量等級標(biāo)簽、安全標(biāo)簽、屬性標(biāo)簽等。主數(shù)據(jù)需要在各系統(tǒng)間頻繁更新、交換,且需要獨立的存儲空間進(jìn)行維護(hù)管理。

2、數(shù)據(jù)采集框架數(shù)據(jù)中臺的采集框架應(yīng)對納入數(shù)據(jù)中臺的各種源數(shù)據(jù)進(jìn)行統(tǒng)一采集管理。數(shù)據(jù)采集框架中應(yīng)提供多種數(shù)據(jù)采集方式,如文件傳輸協(xié)議采集、數(shù)據(jù)庫采集、接口應(yīng)用程序接入采集、流式采集及網(wǎng)絡(luò)爬蟲采集。

同時采集框架應(yīng)按照數(shù)據(jù)采集規(guī)范對源數(shù)據(jù)進(jìn)行預(yù)處理,從而去除明顯不需要的數(shù)據(jù)及多余數(shù)據(jù),并對采集過程進(jìn)行管理。雖然數(shù)據(jù)中臺的體系架構(gòu)沒有統(tǒng)一模板,但各企業(yè)數(shù)據(jù)采集框架基本一致。

3、數(shù)據(jù)處理框架數(shù)據(jù)處理是每個數(shù)據(jù)應(yīng)用的基本環(huán)節(jié)之一,經(jīng)典的數(shù)據(jù)抽取、轉(zhuǎn)換和加載(ETL)處理流程在數(shù)據(jù)采集預(yù)處理、數(shù)據(jù)整合、數(shù)據(jù)建模等多個地方均要使用。單獨建設(shè)數(shù)據(jù)處理框架有利于數(shù)據(jù)處理工具組件的集中開發(fā)與管理,也有利于數(shù)據(jù)中臺數(shù)據(jù)處理任務(wù)的協(xié)調(diào)與調(diào)度。

數(shù)據(jù)處理框架專門負(fù)責(zé)數(shù)據(jù)處理相關(guān)的任務(wù),包括批處理、流處理、人工智能分析、數(shù)據(jù)清洗、數(shù)據(jù)交換及查詢,此外數(shù)據(jù)處理的相關(guān)工具組件可在處理框架中配置。任務(wù)調(diào)度模塊在數(shù)據(jù)處理框架中處于居中指揮的作用,并對運行的數(shù)據(jù)處理任務(wù)進(jìn)行監(jiān)控及異常處理等操作。

4、數(shù)據(jù)治理框架廣義的數(shù)據(jù)治理不僅包含提升數(shù)據(jù)價值的內(nèi)容,如數(shù)據(jù)管理、數(shù)據(jù)目錄、數(shù)據(jù)質(zhì)量等,也包含數(shù)據(jù)安全管理及數(shù)據(jù)共享服務(wù)。

數(shù)據(jù)安全管理與數(shù)據(jù)價值提升是一個矛盾體,如果由一個廠商或開發(fā)團(tuán)隊進(jìn)行數(shù)據(jù)安全管理及數(shù)據(jù)價值提升相關(guān)軟件的開發(fā),則開發(fā)者的操作難免有所偏向,而且矛盾不容易公開,少了沖突也就少了優(yōu)質(zhì)的解決方案。

另外,數(shù)據(jù)共享與數(shù)據(jù)治理的其他內(nèi)容也存在相同的問題。因此,本文建議數(shù)據(jù)中臺的數(shù)據(jù)治理框架中不包含數(shù)據(jù)安全與共享的相關(guān)內(nèi)容。 數(shù)據(jù)治理框架包含數(shù)據(jù)目錄、數(shù)據(jù)管理、模型管理和數(shù)據(jù)質(zhì)量 4 個模塊:

數(shù)據(jù)地圖、數(shù)據(jù)資產(chǎn)目錄、知識圖譜及數(shù)據(jù)血緣的主要作用是展示數(shù)據(jù)的屬性及相互關(guān)系,因此都納入數(shù)據(jù)目錄模塊。

數(shù)據(jù)模型能提高數(shù)據(jù)中臺對外部應(yīng)用需求的反應(yīng)能力,固化的中間模型數(shù)據(jù)需要專門管理。模型管理包括模型目錄、模型血緣及模型地圖等。

數(shù)據(jù)管理又可以細(xì)分為元數(shù)據(jù)管理、主數(shù)據(jù)管理、標(biāo)簽數(shù)據(jù)管理及源數(shù)據(jù)管理。

數(shù)據(jù)質(zhì)量管理模塊按照制定的數(shù)據(jù)標(biāo)準(zhǔn)及數(shù)據(jù)稽核規(guī)則對數(shù)據(jù)中臺中的數(shù)據(jù)進(jìn)行質(zhì)量管理。

5、數(shù)據(jù)安全框架數(shù)據(jù)已經(jīng)成為數(shù)據(jù)資產(chǎn),數(shù)據(jù)安全框架是數(shù)據(jù)中臺必不可少的組成部分。數(shù)據(jù)安全疊加在數(shù)據(jù)中臺其他功能框架之上,數(shù)據(jù)采集、處理、交換、共享等每個環(huán)節(jié)均必須實施安全控制策略。安全框架可以分為日志管理、用戶認(rèn)證、權(quán)限管理及加解密等幾個功能模塊。 此外,安全全門戶也可以對外提供安全能力封裝,展示數(shù)據(jù)中臺的安全態(tài)勢及安全視圖。

6、數(shù)據(jù)運營框架數(shù)據(jù)中臺的核心功能是綜合眾多數(shù)據(jù)應(yīng)用的數(shù)據(jù)處理及數(shù)據(jù)治理功能,集中建設(shè)、集中管理、減少冗余、增加復(fù)用。數(shù)據(jù)中臺的最終目的還是為其他應(yīng)用或開發(fā)者提供數(shù)據(jù)服務(wù),而對外數(shù)據(jù)服務(wù)功能將直接面向不確定的外部對象。

因此單獨建設(shè)數(shù)據(jù)運營,一方面有利于針對外部用戶提供針對性功能;另一方面,數(shù)據(jù)運營模塊作為用戶與數(shù)據(jù)中臺核心數(shù)據(jù)服務(wù)之間的中間層,可以有效隔離外部用戶直接控制、接觸核心數(shù)據(jù)及應(yīng)用,可保護(hù)數(shù)據(jù)中臺的安全性及內(nèi)部功能的穩(wěn)定性。

綜合以上因素,數(shù)據(jù)運營應(yīng)配置運營門戶、能力開放、數(shù)據(jù)開放及運營監(jiān)控等功能:

運營門戶:對數(shù)據(jù)中臺管理者提供管理門戶,對開發(fā)者提供開發(fā)者門戶。對內(nèi)部應(yīng)用提供內(nèi)部應(yīng)用門戶,對外部應(yīng)用提供外部應(yīng)用門戶。運營門戶針對不同的用戶提供不同的通道并開放不同的數(shù)據(jù)中臺能力。

能力開放:把數(shù)據(jù)中臺的數(shù)據(jù)處理能力、數(shù)據(jù)分析能力等經(jīng)過適當(dāng)?shù)姆庋b后對用戶提供服務(wù),可以是微服務(wù),也可以是 API 接口,或者直接提供二次開發(fā)能力。

數(shù)據(jù)開放:通過數(shù)據(jù)目錄,數(shù)據(jù)/模型展示(可視化、數(shù)據(jù)視圖等)為其他數(shù)據(jù)應(yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)。

運營監(jiān)控:對數(shù)據(jù)中臺的總體運營情況進(jìn)行監(jiān)控管理,包括硬件環(huán)境、軟件環(huán)境,并且確定監(jiān)控指標(biāo),按需求提供運營日報,處理告警信息。

— 02 —數(shù)據(jù)中臺典型架構(gòu)

數(shù)據(jù)中臺的目標(biāo)是讓數(shù)據(jù)持續(xù)用起來,通過數(shù)據(jù)中臺提供的工具、方法和運行機制,把數(shù)據(jù)變?yōu)橐环N服務(wù)能力,讓數(shù)據(jù)更方便地被業(yè)務(wù)所使用。下圖所示為數(shù)據(jù)中臺總體架構(gòu)圖,數(shù)據(jù)中臺是在底層存儲計算平臺與上層的數(shù)據(jù)應(yīng)用之間的一整套體系。

33b93314-c38d-11ec-bce3-dac502259ad0.png

數(shù)據(jù)中臺總體架構(gòu)圖 數(shù)據(jù)中臺屏蔽掉底層存儲平臺的計算技術(shù)復(fù)雜性,降低對技術(shù)人才的需求,讓數(shù)據(jù)的使用成本更低。通過數(shù)據(jù)中臺的數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)模塊建立企業(yè)數(shù)據(jù)資產(chǎn)。通過資產(chǎn)管理與治理、數(shù)據(jù)服務(wù)把數(shù)據(jù)資產(chǎn)變?yōu)閿?shù)據(jù)服務(wù)能力,服務(wù)于企業(yè)業(yè)務(wù)。數(shù)據(jù)安全體系、數(shù)據(jù)運營體系保障數(shù)據(jù)中臺可以長期健康、持續(xù)運轉(zhuǎn)。

1. 數(shù)據(jù)匯聚數(shù)據(jù)匯聚是數(shù)據(jù)中臺數(shù)據(jù)接入的入口。數(shù)據(jù)中臺本身幾乎不產(chǎn)生數(shù)據(jù),所有數(shù)據(jù)來自于業(yè)務(wù)系統(tǒng)、日志、文件、網(wǎng)絡(luò)等,這些數(shù)據(jù)分散在不同的網(wǎng)絡(luò)環(huán)境和存儲平臺中,難以利用,很難產(chǎn)生業(yè)務(wù)價值。

數(shù)據(jù)匯聚是數(shù)據(jù)中臺必須提供的核心工具,把各種異構(gòu)網(wǎng)絡(luò)、異構(gòu)數(shù)據(jù)源的數(shù)據(jù)能夠方便地采集到數(shù)據(jù)中臺進(jìn)行集中存儲,為后續(xù)的加工建模做準(zhǔn)備。數(shù)據(jù)匯聚方式一般有數(shù)據(jù)庫同步、埋點、網(wǎng)絡(luò)爬蟲、消息隊列等;從匯聚的時效性來分,有離線批量匯聚和實時采集。

2. 數(shù)據(jù)開發(fā)通過數(shù)據(jù)匯聚模塊匯聚到中臺的數(shù)據(jù),沒有經(jīng)過什么處理,基本是按照數(shù)據(jù)的原始狀態(tài)堆砌在一起的,這樣業(yè)務(wù)還是很難使用。數(shù)據(jù)開發(fā)是一整套數(shù)據(jù)加工以及加工過程管控的工具,有經(jīng)驗的數(shù)據(jù)開發(fā)、算法建模人員利用數(shù)據(jù)加工模塊提供的功能,可以快速把數(shù)據(jù)加工成對業(yè)務(wù)有價值的形式,提供給業(yè)務(wù)使用。

數(shù)據(jù)開發(fā)模塊主要是面向開發(fā)、分析人員,提供離線、實時、算法開發(fā)工具以及任務(wù)的管理、代碼發(fā)布、運維、監(jiān)控、告警等一些列集成工具,方便使用,提升效率。

3. 數(shù)據(jù)資產(chǎn)體系有了數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)模塊,中臺已經(jīng)具備傳統(tǒng)數(shù)倉平臺的基本能力,可以做數(shù)據(jù)的匯聚以及各種數(shù)據(jù)開發(fā),就可以建立企業(yè)的數(shù)據(jù)資產(chǎn)體系。之前說數(shù)據(jù)資產(chǎn)體系是中臺的血肉,開發(fā)、管理、使用的都是數(shù)據(jù)。大數(shù)據(jù)時代,數(shù)據(jù)量大,增長快,業(yè)務(wù)對數(shù)據(jù)的依賴也會越來越高,必須考慮數(shù)據(jù)的一致性和可復(fù)用性,垂直煙囪式的數(shù)據(jù)和數(shù)據(jù)服務(wù)的建設(shè)方式注定不能長久存在。

不同的企業(yè)因業(yè)務(wù)不同導(dǎo)致數(shù)據(jù)不同,數(shù)據(jù)建設(shè)的內(nèi)容也是不同的,但是建設(shè)方法可以相似,數(shù)據(jù)要統(tǒng)一建設(shè),筆者建議數(shù)據(jù)按照貼源數(shù)據(jù)、統(tǒng)一數(shù)倉、標(biāo)簽數(shù)據(jù)、應(yīng)用數(shù)據(jù)的標(biāo)準(zhǔn)統(tǒng)一建設(shè)。

4. 數(shù)據(jù)資產(chǎn)管理通過數(shù)據(jù)資產(chǎn)體系建立起來的數(shù)據(jù)資產(chǎn)還是一套偏技術(shù)的數(shù)據(jù)體系,業(yè)務(wù)人員比較難理解。資產(chǎn)管理是以企業(yè)全員更好理解的方式,把企業(yè)的數(shù)據(jù)資產(chǎn)展現(xiàn)給企業(yè)全員(當(dāng)然要考慮權(quán)限和安全管控),數(shù)據(jù)資產(chǎn)管理包括對數(shù)據(jù)資產(chǎn)目錄、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)血緣、數(shù)據(jù)生命周期等進(jìn)行管理和展示,以一種更直觀的方式展現(xiàn)企業(yè)的數(shù)據(jù)資產(chǎn),提升企業(yè)的數(shù)據(jù)意識。

5. 數(shù)據(jù)服務(wù)體系前面利用數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)建設(shè)企業(yè)數(shù)據(jù)資產(chǎn),利用數(shù)據(jù)管理展現(xiàn)企業(yè)的數(shù)據(jù)資產(chǎn),但是并沒有發(fā)揮數(shù)據(jù)的價值。數(shù)據(jù)服務(wù)體系就是把數(shù)據(jù)變?yōu)橐环N服務(wù)能力,通過數(shù)據(jù)服務(wù)讓數(shù)據(jù)參與到業(yè)務(wù),激活整個數(shù)據(jù)中臺,數(shù)據(jù)服務(wù)體系是數(shù)據(jù)中臺存在的價值所在。

企業(yè)的數(shù)據(jù)服務(wù)是千變?nèi)f化的,中臺產(chǎn)品可以帶有一些標(biāo)準(zhǔn)服務(wù),但是很難滿足企業(yè)的服務(wù)訴求,大部分服務(wù)還是需要通過中臺的能力快速定制。數(shù)據(jù)中臺的服務(wù)模塊并沒有自帶很多服務(wù),而是提供快速的服務(wù)生成能力以及服務(wù)的管控、鑒權(quán)、計量等功能。

6. 運營體系和安全體系通過前面的數(shù)據(jù)匯聚、數(shù)據(jù)開發(fā)、數(shù)據(jù)資產(chǎn)、資產(chǎn)管理、數(shù)據(jù)服務(wù),已經(jīng)完成了整個數(shù)據(jù)中臺的搭建和建設(shè),也已經(jīng)在業(yè)務(wù)中發(fā)揮一定的價值。

運營體系和安全體系是數(shù)據(jù)中臺得以健康、持續(xù)運轉(zhuǎn)的基礎(chǔ),如果沒有它們,數(shù)據(jù)中臺很可能像個一般項目一樣,一期搭建起平臺、建設(shè)部分?jǐn)?shù)據(jù)、嘗試一兩個應(yīng)用場景之后而止步,無法正常地持續(xù)運營,不能持續(xù)發(fā)揮數(shù)據(jù)應(yīng)用價值。這也就完全達(dá)不到建設(shè)數(shù)據(jù)中臺的目標(biāo)。

— 03 —12張企業(yè)數(shù)據(jù)中臺架構(gòu)圖

一、技術(shù)中臺架構(gòu)圖

中臺概念出現(xiàn)之前,在信息化模式上,前端為支撐業(yè)務(wù)的應(yīng)用端,后端為各個應(yīng)用系統(tǒng),為前端用戶,如:客戶、供應(yīng)商、伙伴、社會,提供服務(wù),但隨著市場、用戶需求、業(yè)務(wù)的多變性,底層僵硬的應(yīng)用無法及時提供支撐。 企業(yè)需要一個強大的中間層為高頻多變的業(yè)務(wù)提供支撐,為不同的受眾用戶提供多端訪問渠道,基于此類需求“中臺”概念出現(xiàn),接著開始對企業(yè)客戶、中間件廠商、數(shù)據(jù)平臺廠商、甚至傳統(tǒng)應(yīng)用軟件廠商都有較大的概念沖擊。 恰逢此時,微服務(wù)技術(shù)和架構(gòu)、容器化的生態(tài)、Devops概念和工具處于大發(fā)展的階段,最后基于“大中臺、小前臺”的信息化建設(shè)模式開始流行。

33c9ebc8-c38d-11ec-bce3-dac502259ad0.png

二、銀行數(shù)據(jù)架構(gòu)體系

數(shù)據(jù)架構(gòu)層面通過數(shù)據(jù)分類、分層部署等手段,從非功能性視角將數(shù)據(jù)合理布局。通過整體架構(gòu)管控和設(shè)計,支持業(yè)務(wù)操作類和管理分析類應(yīng)用(系統(tǒng)),滿足業(yè)務(wù)發(fā)展及IT轉(zhuǎn)型對數(shù)據(jù)的需求,架構(gòu)的擴(kuò)展性和適應(yīng)性能夠提升數(shù)據(jù)分析應(yīng)用的及時性、靈活性和準(zhǔn)確性。 那實際情況下各個銀行的數(shù)據(jù)架構(gòu)體系會有所不同,根據(jù)各行的業(yè)務(wù)發(fā)展、客戶數(shù)據(jù)量、交易數(shù)據(jù)量、功能需求等會有不同的演變路徑以及發(fā)展方向。 一般國有銀行、股份制銀行等全國性的銀行業(yè)務(wù)較復(fù)雜,數(shù)據(jù)量也較多,數(shù)據(jù)架構(gòu)也因此進(jìn)化較快。常見的數(shù)據(jù)架構(gòu)分區(qū)如下圖所示:

33ee74c0-c38d-11ec-bce3-dac502259ad0.png

三、零售行業(yè)中臺架構(gòu)

這是一張混合了技術(shù)和業(yè)務(wù)的中臺邏輯架構(gòu)示意圖,前臺應(yīng)用部分我們將零售和消費品行業(yè)需要對接消費者的若干應(yīng)用系統(tǒng)一一列舉了出來,但是在中臺架構(gòu)下它們已經(jīng)和傳統(tǒng)的“應(yīng)用系統(tǒng)”有了很大的差別,變得非常“輕量”。

3419d174-c38d-11ec-bce3-dac502259ad0.png

四、業(yè)務(wù)中臺架構(gòu)

前臺跟著界面走,天生就穩(wěn)定不了,總是有五花八門的數(shù)據(jù)請求,這是必然的事情。

后臺應(yīng)該主要負(fù)責(zé)數(shù)據(jù)存儲,把不同形式和規(guī)模的數(shù)據(jù)以合適的方式整理好,大數(shù)據(jù)倒騰起來動靜太大,要求有一定的穩(wěn)定性。

如果前臺的請求都要求后臺直接做,那后臺管的事就太多了。

343ca280-c38d-11ec-bce3-dac502259ad0.png

五、后臺架構(gòu)

后臺是被許多前臺共享的,如果直接向前臺提供靈活數(shù)據(jù)服務(wù),還可能導(dǎo)致各個前臺之間的耦合程度變高,維護(hù)成本立即陡增。 同樣的,把這些數(shù)據(jù)處理放在前臺也不合適,一方面不太安全,另一方面,前臺團(tuán)隊也是忙著讓界面如何更好看使用更流暢,沒太多工夫琢磨數(shù)據(jù)的事情。這樣一個后臺架構(gòu)就能夠相對平衡這一矛盾。

3460050e-c38d-11ec-bce3-dac502259ad0.png

六、實時數(shù)據(jù)中臺

下面是實現(xiàn)實時數(shù)據(jù)中臺的一種邏輯架構(gòu),方便你去理解,其實最關(guān)鍵的是實時模型那一層

347e3f4c-c38d-11ec-bce3-dac502259ad0.jpg

七、企業(yè)級中臺發(fā)展過程

我用下面這張圖來概括中臺發(fā)展的三個階段,最終我們發(fā)現(xiàn),對于那些已經(jīng)有 ERP 系統(tǒng)的企業(yè)來講,中臺的建設(shè)本質(zhì)就是利用微服務(wù)架構(gòu)構(gòu)建開放業(yè)務(wù)平臺來替換閉源單體架構(gòu)的 ERP 系統(tǒng)的過程。

348a9710-c38d-11ec-bce3-dac502259ad0.jpg

八、阿里中臺架構(gòu)

中臺是一種架構(gòu)理念和方法。任何一種架構(gòu)的方法,其本質(zhì)不外乎,利用分、合、打散、重組等技術(shù)手段,對系統(tǒng)進(jìn)行有序化重構(gòu),以達(dá)到減少系統(tǒng)“熵”的過程,使系統(tǒng)得以不斷進(jìn)化。

34ac0e86-c38d-11ec-bce3-dac502259ad0.jpg

九、阿里核心架構(gòu)圖

通過阿里云平臺將技術(shù)中臺進(jìn)行部署,對集團(tuán)內(nèi)共享業(yè)務(wù)單元提供支撐,并最終對前臺各業(yè)務(wù)線提供服務(wù)化能力輸出。

34c77798-c38d-11ec-bce3-dac502259ad0.jpg

十、全渠道零售中臺

如果僅僅是把所有的東西打包在一個“大后臺”并不能真正解決IT的痛點,因為畢竟它是一個IT系統(tǒng)。IT系統(tǒng)要考慮的東西除了業(yè)務(wù)功能,更重要和更有價值的地方在于:

34e13412-c38d-11ec-bce3-dac502259ad0.png

十一、全渠道集成架構(gòu)

2007~2012年是“集成模式”概念被拋出率最高的年代,它有一個名字叫“SOA”,SOA就是那個時代的“全渠道中臺”

34efe84a-c38d-11ec-bce3-dac502259ad0.png

十二、網(wǎng)易嚴(yán)選數(shù)據(jù)中臺體系

數(shù)據(jù)中臺的核心職責(zé)是高效地賦能數(shù)據(jù)前臺為業(yè)務(wù)提供價值。要想理解數(shù)據(jù)中臺先要理解數(shù)據(jù)前臺,上文說到的搜索、推薦、BI 報表、數(shù)據(jù)大屏等都屬于數(shù)據(jù)前臺。

351192b0-c38d-11ec-bce3-dac502259ad0.jpg

— 04 —

6種行業(yè)數(shù)據(jù)中臺解決方案

352edc94-c38d-11ec-bce3-dac502259ad0.png

▲地產(chǎn)行業(yè)解決方案

3541b238-c38d-11ec-bce3-dac502259ad0.png

▲證券行業(yè)解決方案

355e00fa-c38d-11ec-bce3-dac502259ad0.png

▲零售行業(yè)解決方案

35985502-c38d-11ec-bce3-dac502259ad0.png

▲制造行業(yè)解決方案

35d7b922-c38d-11ec-bce3-dac502259ad0.png

▲傳媒行業(yè)解決方案

361681de-c38d-11ec-bce3-dac502259ad0.png

▲檢務(wù)行業(yè)解決方案

寫在最后的話 建設(shè)數(shù)據(jù)中臺,實現(xiàn)企業(yè)或機構(gòu)數(shù)據(jù)資產(chǎn)的高效管理和數(shù)據(jù)價值最大化,為機構(gòu)帶來了數(shù)據(jù)平臺化的運營機制,有望解決應(yīng)用開發(fā)與數(shù)據(jù)開發(fā)速度不匹配的問題。利用數(shù)據(jù)中臺,可以將機構(gòu)的核心技術(shù)或團(tuán)隊凝聚在一起,建設(shè)機構(gòu)內(nèi)強大的數(shù)據(jù)開發(fā)、運營等團(tuán)隊,提升機構(gòu)的團(tuán)隊的硬實力和軟實力。

雖然一個良好的架構(gòu)對一個信息系統(tǒng)的后期擴(kuò)容及運維有重要作用,但總體架構(gòu)設(shè)計只是數(shù)據(jù)中臺建設(shè)的第一步,每一個功能模塊還有很大的細(xì)化空間,如不同類型數(shù)據(jù)的存儲技術(shù)選型、數(shù)據(jù)安全合規(guī)審計技術(shù)、數(shù)據(jù)模型設(shè)計等。在具體項目中,數(shù)據(jù)共享與安全保護(hù)的平衡點、新技術(shù)的引用等,都需要進(jìn)一步細(xì)化研究。

審核編輯 :李倩

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 數(shù)據(jù)
    +關(guān)注

    關(guān)注

    8

    文章

    7254

    瀏覽量

    91780
  • 數(shù)據(jù)處理
    +關(guān)注

    關(guān)注

    0

    文章

    627

    瀏覽量

    29154

原文標(biāo)題:6000字長文,終于將數(shù)據(jù)中臺架構(gòu)體系講明白了

文章出處:【微信號:IndustryIOT,微信公眾號:工業(yè)互聯(lián)網(wǎng)前線】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    多節(jié)點并行處理架構(gòu)

    多節(jié)點并行處理架構(gòu)(如MPP架構(gòu))通過分布式計算和存儲實現(xiàn)高性能數(shù)據(jù)處理,其核心設(shè)計及典型應(yīng)用如下: 一、核心架構(gòu)特征 非共享
    的頭像 發(fā)表于 06-12 08:18 ?119次閱讀
    多節(jié)點并行處理<b class='flag-5'>架構(gòu)</b>

    光伏電站無人機巡檢系統(tǒng)平臺的設(shè)計架構(gòu)

    電站不同的運維管理需求。 根據(jù)光伏電站的運維管理工作內(nèi)容,光伏電站無人機巡檢系統(tǒng)平臺從多個層面建設(shè)系統(tǒng)平臺架構(gòu),能夠全方位、智能化的實現(xiàn)電站的運維管理。其設(shè)計架構(gòu)包含設(shè)備層、數(shù)據(jù)采集
    的頭像 發(fā)表于 05-07 11:23 ?240次閱讀
    光伏電站無人機巡檢系統(tǒng)平臺的設(shè)計<b class='flag-5'>架構(gòu)</b>

    B11 BMS分類架構(gòu)及關(guān)鍵技術(shù)from: 敏老唐

    目錄:?01 PACK 分類及 BMS 需求特點?02 BMS 架構(gòu)分類及典型應(yīng)用場景?03 各類 BMS 原理框圖及特點?04 BMS 關(guān)鍵功能及技術(shù)地圖?
    發(fā)表于 05-02 10:57

    汽車電氣架構(gòu)的電源架構(gòu)

    隨著汽車電子化、智能化的快速發(fā)展,汽車電氣架構(gòu)(E/E架構(gòu))已成為現(xiàn)代汽車的核心技術(shù)之一。
    的頭像 發(fā)表于 03-29 11:25 ?362次閱讀

    NVIDIA Blackwell數(shù)據(jù)手冊與NVIDIA Blackwell架構(gòu)技術(shù)解析

    NVIDIA Blackwell數(shù)據(jù)手冊與NVIDIA Blackwell 架構(gòu)技術(shù)解析
    的頭像 發(fā)表于 03-20 17:19 ?691次閱讀

    物聯(lián)網(wǎng)平臺解決方案:實現(xiàn)設(shè)備智能管理與數(shù)據(jù)安全

    的設(shè)計與實施對于推動物聯(lián)網(wǎng)技術(shù)的廣泛普及和深度應(yīng)用至關(guān)重要。 一、關(guān)鍵要素 1.平臺架構(gòu)設(shè)計:平臺需兼顧靈活性、可擴(kuò)展性和安全性。一個典型的物聯(lián)網(wǎng)平臺架構(gòu)包括設(shè)備接入層、數(shù)據(jù)處理層、應(yīng)
    的頭像 發(fā)表于 03-14 16:35 ?516次閱讀

    科力銳分布式架構(gòu)災(zāi)備云入選中國電子技術(shù)標(biāo)準(zhǔn)化研究院典型案例

    近期,由工業(yè)和信息化部直屬單位中國電子技術(shù)標(biāo)準(zhǔn)化研究院主辦的2024云計算產(chǎn)業(yè)和標(biāo)準(zhǔn)應(yīng)用大會在北京成功召開。科力銳作為災(zāi)備系統(tǒng)云計算架構(gòu)領(lǐng)域的積極探索者和貢獻(xiàn)者,憑借在災(zāi)備系統(tǒng)云計算架構(gòu)標(biāo)準(zhǔn)化建設(shè)
    的頭像 發(fā)表于 03-03 16:44 ?462次閱讀
    科力銳分布式<b class='flag-5'>架構(gòu)</b>災(zāi)備云入選中國電子技術(shù)標(biāo)準(zhǔn)化研究院<b class='flag-5'>典型</b>案例

    新能源汽車電機試驗臺架遠(yuǎn)程運維管理系統(tǒng)解決方案

    。電機試驗臺架能夠模擬電機在實際運行各種工況,如不同的轉(zhuǎn)速、扭矩、溫度等條件,對電機的性能進(jìn)行全面、精準(zhǔn)的測試。 隨著新能源汽車產(chǎn)業(yè)的擴(kuò)張,電機試驗臺架的數(shù)量急劇增加。大型新能源汽
    的頭像 發(fā)表于 02-27 16:00 ?290次閱讀
    新能源汽車電機試驗<b class='flag-5'>臺架</b>遠(yuǎn)程運維管理系統(tǒng)解決方案

    ADS1282的數(shù)據(jù)手冊給出的測量地震波的典型參考電路為什莫REF5025的GND要接-2.5V?

    ADS1282的數(shù)據(jù)手冊給出的測量地震波的典型參考電路為什莫REF5025的GND要接-2.5V?
    發(fā)表于 01-23 07:00

    電機臺架環(huán)境試驗箱采購指南

    在電機制造和研發(fā)領(lǐng)域,電機臺架環(huán)境試驗箱是不可或缺的重要設(shè)備。它不僅能夠幫助工程師全面評估電機在不同環(huán)境下的性能表現(xiàn),還能為電機的設(shè)計優(yōu)化、質(zhì)量控制和故障診斷提供寶貴的數(shù)據(jù)支持。因此,選擇一款合適的電機臺架環(huán)境試驗箱至關(guān)重要。本
    的頭像 發(fā)表于 12-13 09:42 ?604次閱讀
    電機<b class='flag-5'>臺架</b>環(huán)境試驗箱采購指南

    發(fā)動機試驗臺架遠(yuǎn)程管理運維系統(tǒng)方案

    發(fā)動機試驗臺架是在實驗室環(huán)境下對發(fā)動機進(jìn)行物理性能測試的重要設(shè)備,能夠模擬發(fā)動機的實際運行環(huán)境,對發(fā)動機進(jìn)行各種性能測試,如常溫起動實驗、怠速實驗、功率及燃油消耗實驗、滑油消耗實驗、雙點火降轉(zhuǎn)速實驗
    的頭像 發(fā)表于 12-01 16:28 ?490次閱讀

    輪胎試驗臺架遠(yuǎn)程監(jiān)控物聯(lián)網(wǎng)解決方案

    輪胎試驗臺架是一種專門用于測試輪胎性能的設(shè)備,它能夠在不同的條件下對輪胎進(jìn)行各種試驗和測量,以評估其性能、耐久性和安全性。通常來說,輪胎質(zhì)量檢驗企業(yè)需要配合汽車廠家的要求,在固定時間的周期內(nèi)對輪胎
    的頭像 發(fā)表于 11-19 10:44 ?532次閱讀
    輪胎試驗<b class='flag-5'>臺架</b>遠(yuǎn)程監(jiān)控物聯(lián)網(wǎng)解決方案

    智能網(wǎng)聯(lián)汽車云控系統(tǒng)第1部分:系統(tǒng)組成及基礎(chǔ)平臺架構(gòu)

    智能網(wǎng)聯(lián)汽車云控系統(tǒng) 第1部分 系統(tǒng)組成及基礎(chǔ)平臺架構(gòu)
    發(fā)表于 11-18 14:44 ?7次下載

    電動汽車充電樁測試臺架的相關(guān)介紹

    電動汽車充電一直是一個令人擔(dān)憂的問題。作為電動汽車充電的基礎(chǔ)設(shè)施,充電樁的性能和質(zhì)量的穩(wěn)定性對電動汽車用戶非常重要。測試臺架廣泛用于測試和評估充電樁的性能,在本文中,我們將關(guān)于電動汽車充電樁測試臺架
    的頭像 發(fā)表于 08-12 17:06 ?902次閱讀
    電動汽車充電樁測試<b class='flag-5'>臺架</b>的相關(guān)介紹

    【定制配件】PinFin Cooling Master一體化臺架測試系統(tǒng)

    功能和用途用來測試各種類型封裝的功率器件,平臺里面可以放置各種定制工裝,如:平面式的coolingplate液冷板,帶振翅式pinfin功率器件模塊的PinFinCoolingMaster三合一
    的頭像 發(fā)表于 07-13 08:35 ?556次閱讀
    【定制配件】PinFin Cooling Master一體化<b class='flag-5'>臺架</b>測試系統(tǒng)
    主站蜘蛛池模板: 侵犯希崎中文字幕在线 | 午夜性刺激免费视频观看不卡专区 | 在线天堂资源www中文在线 | 亚洲bt欧美bt高清bt777 | 一级a级国产不卡毛片 | 欧美伦理一区二区三区 | 欧美大片一区二区 | 欧美色视频在线观看 | 四虎永久在线精品国产免费 | 日韩天堂 | 波多野结衣在线免费视频 | 成年人一级毛片 | 91大神在线视频观看 | 最新人妖shemaletube人妖 最新日本免费一区二区三区中文 | 香蕉网影院在线观看免费 | 人人做人人插 | avbobo在线| 免费网站成人亚洲 | bt天堂资源在线种子 | 午夜三级理论在线观看视频 | 中文成人在线 | 四虎在线精品 | 极品丰满翘臀后进啪啪 | 麻生希痴汉电车avop130 | 国产老头和美女在线观看 | 欧美无遮挡国产欧美另类 | 狠狠色丁香婷婷 | 三级毛片在线播放 | 久久久这里有精品999 | 免费视频色 | 成年在线视频 | 久久亚洲欧美成人精品 | 一级一级特黄女人精品毛片 | 国内夫妇交换性经过实录 | 免费欧美黄色网址 | 色噜噜色偷偷 | 国产四虎 | 456性欧美欧美在线视频 | 四虎影院免费网址 | 国产三级精品在线 | aa1在线天堂|