大數(shù)據(jù)技術(shù)內(nèi)涵持續(xù)進(jìn)行延伸，經(jīng)過(guò)十三五的發(fā)展，已從面向海量數(shù)據(jù)的存儲(chǔ)、處理、分析等基礎(chǔ)技術(shù)，延展到面向海量數(shù)據(jù)的管理治理、流通交易等新興關(guān)鍵技術(shù)。大數(shù)據(jù)管理治理類技術(shù)實(shí)現(xiàn)數(shù)據(jù)整合、集成，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的管理，助力提升數(shù)據(jù)質(zhì)量與可用性。大數(shù)據(jù)流通交易類技術(shù)實(shí)現(xiàn)安全合規(guī)下的數(shù)據(jù)共享及交易，助力提升數(shù)據(jù)流通性。

一

大數(shù)據(jù)管理治理技術(shù)

數(shù)據(jù)管理相關(guān)的概念和方法論近年來(lái)備受關(guān)注，在大數(shù)據(jù)浪潮下越來(lái)越多的政府、企業(yè)等組織開(kāi)始關(guān)注如何管理好、使用好數(shù)據(jù)，從而使數(shù)據(jù)能夠藉由應(yīng)用和服務(wù)轉(zhuǎn)化為額外價(jià)值。大數(shù)據(jù)管理技術(shù)包括元數(shù)據(jù)管理、數(shù)據(jù)集成、數(shù)據(jù)建模等，通過(guò)匯聚盤(pán)點(diǎn)數(shù)據(jù)和提升數(shù)據(jù)質(zhì)量，增強(qiáng)數(shù)據(jù)的可用性和易用性，進(jìn)一步釋放數(shù)據(jù)資產(chǎn)的價(jià)值。

1 .元數(shù)據(jù)管理：****

** 幫助用戶理解數(shù)據(jù)關(guān)系和相關(guān)屬性**

元數(shù)據(jù)管理是對(duì)數(shù)據(jù)采集、存儲(chǔ)、加工和展現(xiàn)等數(shù)據(jù)全生命周期的描述信息，幫助用戶理解數(shù)據(jù)關(guān)系和相關(guān)屬性。 元數(shù)據(jù)管理工具可以了解數(shù)據(jù)資產(chǎn)分布及產(chǎn)生過(guò)程。實(shí)現(xiàn)元數(shù)據(jù)的模型定義并存儲(chǔ)，在功能層包裝成各類元數(shù)據(jù)功能，最終對(duì)外提供應(yīng)用及展現(xiàn)；提供元數(shù)據(jù)分類和建模、血緣關(guān)系和影響分析，方便數(shù)據(jù)的跟蹤和回溯。

元數(shù)據(jù)管理方面比較有代表性的開(kāi)源軟件和數(shù)據(jù)管理平臺(tái)主要有Apache Atlas，Data Hub。 Apache Atlas是Hadoop社區(qū)為解決Hadoop生態(tài)系統(tǒng)的元數(shù)據(jù)治理問(wèn)題而產(chǎn)生的開(kāi)源項(xiàng)目，它為Hadoop集群提供了包括數(shù)據(jù)分類、集中策略引擎、數(shù)據(jù)血緣、安全和生命周期管理在內(nèi)的元數(shù)據(jù)管理核心能力。Apache Atlas與Hadoop關(guān)系緊密，深度集成了Hadoop大數(shù)據(jù)組件。Data Hub是由LinkedIn的數(shù)據(jù)團(tuán)隊(duì)開(kāi)源的一款提供元數(shù)據(jù)搜索與發(fā)現(xiàn)的工具，2.0版本支持的數(shù)據(jù)源包括LDAP，Hive，Kafka，MySQL，DB2，F(xiàn)irebird，SQL Server，Oracle，Postgres，SQLite，ODBC等，實(shí)現(xiàn)的功能主要包括元數(shù)據(jù)、數(shù)據(jù)血緣、權(quán)限描述、生命周期等。

2.數(shù)據(jù)集成：

** 實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源的一致性**

數(shù)據(jù)集成是要將互相關(guān)聯(lián)的分布式異構(gòu)數(shù)據(jù)源集成到一起，使用戶能夠以透明的方式訪問(wèn)這些數(shù)據(jù)源。 集成是指維護(hù)數(shù)據(jù)源整體上的數(shù)據(jù)一致性、提高信息共享利用的效率；透明的方式是指用戶無(wú)需關(guān)心如何實(shí)現(xiàn)對(duì)異構(gòu)數(shù)據(jù)源數(shù)據(jù)的訪問(wèn)，只需關(guān)心以何種方式訪問(wèn)何種數(shù)據(jù)。

數(shù)據(jù)集成方面比較有代表性的開(kāi)源軟件和數(shù)據(jù)管理平臺(tái)主要有的DATAX，Kettle。 DATAX是阿里開(kāi)源的異構(gòu)數(shù)據(jù)源離線同步工具，致力于實(shí)現(xiàn)包括關(guān)系型數(shù)據(jù)庫(kù)(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各種異構(gòu)數(shù)據(jù)源之間穩(wěn)定高效的數(shù)據(jù)同步功能，實(shí)現(xiàn)了高效的標(biāo)簽識(shí)別以及數(shù)據(jù)去冗余。Kettle是一款國(guó)外開(kāi)源的ETL工具，純java編寫(xiě)，可以在Window、Linux、Unix上運(yùn)行，綠色無(wú)需安裝，數(shù)據(jù)抽取高效穩(wěn)定。

3.數(shù)據(jù)建模：

** 基于數(shù)據(jù)構(gòu)建科學(xué)模型解決實(shí)際問(wèn)題**

數(shù)據(jù)建模指對(duì)現(xiàn)實(shí)世界各類數(shù)據(jù)的抽象組織，確定數(shù)據(jù)庫(kù)需管轄的范圍、數(shù)據(jù)的組織形式等直至轉(zhuǎn)化成現(xiàn)實(shí)的數(shù)據(jù)庫(kù)。 將經(jīng)過(guò)系統(tǒng)分析后抽象出來(lái)的概念模型轉(zhuǎn)化為物理模型后，在數(shù)據(jù)建模工具中建立數(shù)據(jù)庫(kù)實(shí)體以及各實(shí)體之間關(guān)系的過(guò)程（實(shí)體一般是表）。

數(shù)據(jù)建模方面比較有代表性的開(kāi)源軟件和數(shù)據(jù)管理平臺(tái)主要有Erwin、PowerDesigner。 ERwin全程ERwin Data Modeler，是CA公司(Computer Associates) 的一款優(yōu)秀建模工具，歷經(jīng)數(shù)年的開(kāi)發(fā)和維護(hù)，享有很高的市場(chǎng)占有率。用戶使用ERwin可以可視化的設(shè)計(jì)維護(hù)數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)，并對(duì)企業(yè)內(nèi)部各種數(shù)據(jù)源模型進(jìn)行統(tǒng)一規(guī)劃管理。PowerDesigner是Sybase公司的CASE工具集，使用它可以方便地對(duì)管理信息系統(tǒng)進(jìn)行分析設(shè)計(jì)，幾乎包括了數(shù)據(jù)庫(kù)模型設(shè)計(jì)的全過(guò)程。利用Power Designer可以制作數(shù)據(jù)流程圖、概念數(shù)據(jù)模型、物理數(shù)據(jù)模型，還可以為數(shù)據(jù)倉(cāng)庫(kù)制作結(jié)構(gòu)模型，也能對(duì)團(tuán)隊(duì)設(shè)計(jì)模型進(jìn)行控制。

4.數(shù)據(jù)管理平臺(tái)

目前以上三類技術(shù)多集成于數(shù)據(jù)管理平臺(tái)，作為開(kāi)展數(shù)據(jù)管理的統(tǒng)一工具。 但是數(shù)據(jù)管理平臺(tái)仍存在自動(dòng)化、智能化程度低的問(wèn)題，實(shí)際使用中需要人工進(jìn)行數(shù)據(jù)建模、數(shù)據(jù)標(biāo)準(zhǔn)應(yīng)用、數(shù)據(jù)剖析等操作，帶來(lái)居高不下的人力成本。 更加自動(dòng)化智能化的數(shù)據(jù)管理平臺(tái)需求迫切，可助力數(shù)據(jù)管理工作高效進(jìn)行。 在基于機(jī)器學(xué)習(xí)的人工智能技術(shù)不斷進(jìn)步的情況下，將有關(guān)技術(shù)應(yīng)用于數(shù)據(jù)管理平臺(tái)的各項(xiàng)職能，以減少人力成本提高治理效率成為當(dāng)下數(shù)據(jù)管理平臺(tái)研發(fā)者關(guān)注的重點(diǎn)。

數(shù)據(jù)建模、數(shù)據(jù)標(biāo)簽、主數(shù)據(jù)發(fā)現(xiàn)、數(shù)據(jù)標(biāo)準(zhǔn)應(yīng)用成為幾個(gè)主要的數(shù)據(jù)管理+AI應(yīng)用方向。 數(shù)據(jù)建模方面，機(jī)器學(xué)習(xí)技術(shù)通過(guò)識(shí)別數(shù)據(jù)特征，推薦數(shù)據(jù)主題分類，進(jìn)一步實(shí)現(xiàn)自動(dòng)化建立概念數(shù)據(jù)模型，同時(shí)，對(duì)表間關(guān)系的識(shí)別將大大降低逆向數(shù)據(jù)建模的人力成本，便于對(duì)數(shù)據(jù)模型的持續(xù)更新。數(shù)據(jù)標(biāo)準(zhǔn)應(yīng)用方面，基于業(yè)務(wù)含義、數(shù)據(jù)特征、數(shù)據(jù)關(guān)系等維度的相似度判別，在數(shù)據(jù)建模時(shí)匹配數(shù)據(jù)標(biāo)準(zhǔn)，不僅提升了數(shù)據(jù)標(biāo)準(zhǔn)的應(yīng)用覆蓋面，也減少了數(shù)據(jù)標(biāo)準(zhǔn)體系的維護(hù)成本。數(shù)據(jù)剖析方面，基于機(jī)器學(xué)習(xí)的人工智能技術(shù)可通過(guò)分析問(wèn)題數(shù)據(jù)和學(xué)習(xí)數(shù)據(jù)質(zhì)量知識(shí)庫(kù)，提取數(shù)據(jù)質(zhì)量評(píng)估維度和數(shù)據(jù)質(zhì)量稽核規(guī)則，并識(shí)別關(guān)聯(lián)數(shù)據(jù)標(biāo)準(zhǔn)，實(shí)現(xiàn)自動(dòng)化的數(shù)據(jù)質(zhì)量事前、事中、事后管理。華為、浪潮、數(shù)夢(mèng)工場(chǎng)、數(shù)瀾科技、Datablau等數(shù)據(jù)管理平臺(tái)供應(yīng)商也在各自的產(chǎn)品中不斷更新自動(dòng)化智能化的數(shù)據(jù)管理功能。

二

大數(shù)據(jù)流通交易技術(shù)

數(shù)據(jù)確權(quán)、數(shù)據(jù)定價(jià)和數(shù)據(jù)安全是數(shù)據(jù)流通交易領(lǐng)域的三大核心內(nèi)容。其中數(shù)據(jù)確權(quán)需要明確數(shù)據(jù)資產(chǎn)的產(chǎn)權(quán)劃分，數(shù)據(jù)定價(jià)在數(shù)據(jù)確權(quán)的基礎(chǔ)上評(píng)估數(shù)據(jù)價(jià)值及收益分配，兩者更側(cè)重于法律和經(jīng)濟(jì)層面，目前依然處于持續(xù)探索階段。從技術(shù)角度看，最主要的是要保障流通交易過(guò)程中的數(shù)據(jù)安全，保證共享數(shù)據(jù)不被第三方獲取、隱私數(shù)據(jù)不被共享方獲取、原始數(shù)據(jù)不被共享方獲取。

1.身份認(rèn)證：

** 保證共享數(shù)據(jù)不被第三方獲取**

數(shù)據(jù)流通過(guò)程中涉及到的網(wǎng)絡(luò)數(shù)據(jù)傳輸安全需求與其他場(chǎng)景類似， 目前網(wǎng)絡(luò)身份認(rèn)證技術(shù)發(fā)展比較成熟，可以確保網(wǎng)絡(luò)用戶身份的真實(shí)、合法和唯一性，防止非法人員進(jìn)入系統(tǒng)， 通過(guò)各種違法操作獲取不正當(dāng)利益、非法訪問(wèn)受控信息、惡意破壞系統(tǒng)數(shù)據(jù)的完整性等情況的發(fā)生。常用網(wǎng)絡(luò)身份認(rèn)證方式如下：

a）靜態(tài)密碼認(rèn)證。 靜態(tài)密碼方式是指以用戶名及密碼認(rèn)證的方式，用戶名/密碼方式是最簡(jiǎn)單、最常用的身份認(rèn)證方法。

b）動(dòng)態(tài)口令認(rèn)證。 動(dòng)態(tài)口令是應(yīng)用最廣的一種身份識(shí)別方式，基于動(dòng)態(tài)口令認(rèn)證的方式主要有動(dòng)態(tài)短信密碼和動(dòng)態(tài)口令牌（卡）兩種方式，口令一次一密。

c）USBKey認(rèn)證。 采用軟硬件相結(jié)合、一次一密的強(qiáng)雙因子認(rèn)證模式。每一個(gè)USBKey都具有硬件PIN碼保護(hù)，用戶只有同時(shí)取得了USBKey和用戶PIN碼，才可以登錄系統(tǒng)。

d）生物識(shí)別認(rèn)證。 通過(guò)可測(cè)量的身體或行為等生物特征信息進(jìn)行身份認(rèn)證，包括指紋識(shí)別、視網(wǎng)膜識(shí)別、聲音識(shí)別等。

e）CA認(rèn)證。 證書(shū)頒發(fā)機(jī)構(gòu)（CA，CertificateAuthority）負(fù)責(zé)發(fā)放和管理數(shù)字證書(shū)的權(quán)威機(jī)構(gòu)，并作為電子商務(wù)交易中受信任的第三方，承擔(dān)公鑰體系中公鑰的合法性檢驗(yàn)的責(zé)任。CA機(jī)構(gòu)的數(shù)字簽名使得攻擊者不能偽造和篡改證書(shū)。

2.數(shù)據(jù)脫敏、差分隱私：

** 保證隱私數(shù)據(jù)不被共享方獲取**

全球隱私保護(hù)合規(guī)監(jiān)管日趨嚴(yán)格，一方面促進(jìn)了數(shù)據(jù)權(quán)利主體和數(shù)據(jù)處理行為組織者的隱私保護(hù)意識(shí)的覺(jué)醒，但同時(shí)也加重了企業(yè)對(duì)數(shù)據(jù)流通與協(xié)作合法合規(guī)的擔(dān)憂。目前在數(shù)據(jù)流通中保護(hù)隱私數(shù)據(jù)方面應(yīng)用較多的技術(shù)主要有數(shù)據(jù)脫敏和差分隱私。

數(shù)據(jù)脫敏（Data Masking）是利用脫敏規(guī)則將一些敏感的信息（比如身份證號(hào)碼、客戶的賬號(hào)、密碼、地址、電話等信息）進(jìn)行數(shù)據(jù)的變形，通過(guò)對(duì)這些敏感信息的變形，最終對(duì)這些敏感信息實(shí)現(xiàn)有效、可靠的保護(hù)。 利用數(shù)據(jù)脫敏技術(shù)，可有針對(duì)性地保護(hù)與當(dāng)前分析無(wú)關(guān)的信息，并保證分析挖掘的有效進(jìn)行。通常的脫敏手段包括泛化、抑制和擾亂三種。泛化是指使用一般值來(lái)替代生產(chǎn)數(shù)據(jù)，使生產(chǎn)數(shù)據(jù)的局部特征得到保留，因此泛化后的數(shù)據(jù)是具有不可逆性的，具體方法包括數(shù)據(jù)截?cái)唷⑵迫≌⒁?guī)整等。抑制是指對(duì)生產(chǎn)數(shù)據(jù)的部分信息進(jìn)行隱藏，從而實(shí)現(xiàn)對(duì)生產(chǎn)數(shù)據(jù)值的轉(zhuǎn)換，既隱藏技術(shù)，具體方法包括掩碼等。擾亂是指對(duì)生產(chǎn)數(shù)據(jù)加入噪聲來(lái)進(jìn)行干擾，使生產(chǎn)數(shù)據(jù)發(fā)生扭曲及改變，生產(chǎn)數(shù)據(jù)被擾亂后，其分布特征仍保留不變，具體方法包括加密、重排等。

差分隱私（Differential Privacy，DP）是針對(duì)統(tǒng)計(jì)數(shù)據(jù)庫(kù)的隱私泄露問(wèn)題提出的一種新的隱私定義，旨在提供一種當(dāng)從統(tǒng)計(jì)數(shù)據(jù)庫(kù)查詢時(shí)，最大化數(shù)據(jù)查詢的準(zhǔn)確性，同時(shí)最大限度減少識(shí)別其記錄的機(jī)會(huì)。

傳統(tǒng)的差分隱私方案大多為中心化的差分隱私方案，即數(shù)據(jù)通常都是由可信第三方添加噪聲。但在實(shí)際應(yīng)用中為了減少對(duì)可信第三方的需求，近年來(lái)也提出了一些去中心化的隱私保護(hù)方案，如本地差分隱私等。本地差分隱私（Local Differential Privacy，LDP）是在基于不可信第三方的前提下，客戶端在數(shù)據(jù)被收集和聚合前，在本地對(duì)數(shù)據(jù)進(jìn)行差分隱私保護(hù)。本地差分隱私已經(jīng)被谷歌、蘋(píng)果和微軟等公司用于保護(hù)用戶隱私。但是相較于傳統(tǒng)中心化差分隱私，本地差分隱私方案對(duì)數(shù)據(jù)添加的噪聲更大，在面向數(shù)據(jù)統(tǒng)計(jì)時(shí)數(shù)據(jù)的可用性更低。

3.多方安全計(jì)算、聯(lián)邦學(xué)習(xí)、可信執(zhí)行環(huán)境：

** 保證原始數(shù)據(jù)不被共享方獲取**

與土地、設(shè)備、資金等其他資產(chǎn)不同，數(shù)據(jù)作為一種新型資產(chǎn)要素具有很強(qiáng)的可復(fù)制性。為了保障自身的商業(yè)利益，在數(shù)據(jù)流通交易過(guò)程中，數(shù)據(jù)方往往不希望原始數(shù)據(jù)流出到他人手中而失去對(duì)數(shù)據(jù)的唯一控制權(quán)。針對(duì)多方數(shù)據(jù)協(xié)同計(jì)算的場(chǎng)景，保障數(shù)據(jù)不流出或少流出的技術(shù)主要包括多方安全計(jì)算、聯(lián)邦學(xué)習(xí)、可信計(jì)算環(huán)境。

多方安全計(jì)算（Secure Multi-Party Computation，MPC）由姚期智在1982年提出，指參與者在不泄露各自隱私數(shù)據(jù)情況下，利用隱私數(shù)據(jù)參與保密計(jì)算，共同完成某項(xiàng)計(jì)算任務(wù)。 當(dāng)前，多方安全計(jì)算技術(shù)已成為現(xiàn)代密碼學(xué)的重要分支。該技術(shù)可以使多個(gè)非互信主體在數(shù)據(jù)相互保密的前提下進(jìn)行高效數(shù)據(jù)融合計(jì)算，最終實(shí)現(xiàn)數(shù)據(jù)的所有權(quán)和數(shù)據(jù)使用權(quán)相互分離，使數(shù)據(jù)“可用而不可見(jiàn)”，并控制數(shù)據(jù)的用途和用量。多方安全計(jì)算涉及的隱私保護(hù)技術(shù)和算法非常多，可分為秘密分享、混淆電路、不經(jīng)意傳輸、同態(tài)加密等四大類及其他技術(shù)，其中每類又可細(xì)分出很多不同的算法。

聯(lián)邦學(xué)習(xí)（Federated Learning）由谷歌于2016年提出，旨在保障大數(shù)據(jù)交換時(shí)的信息安全、保護(hù)終端數(shù)據(jù)和個(gè)人數(shù)據(jù)隱私、保證合法合規(guī)的前提下，在多參與方或多計(jì)算結(jié)點(diǎn)之間開(kāi)展高效率的機(jī)器學(xué)習(xí)。

根據(jù)聯(lián)合建模的數(shù)據(jù)提供者提供的樣本和特征的重疊情況，可將聯(lián)邦學(xué)習(xí)分為橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)和遷移聯(lián)邦學(xué)習(xí)三大類。橫向聯(lián)邦學(xué)習(xí)也稱“特征對(duì)齊的聯(lián)邦學(xué)習(xí)”，適用于數(shù)據(jù)提供方的數(shù)據(jù)特征重疊很多但樣本重疊較少的場(chǎng)景。

縱向聯(lián)邦學(xué)習(xí)也稱“樣本對(duì)齊的聯(lián)邦學(xué)習(xí)”，適用于數(shù)據(jù)提供方的樣本重疊很多，但數(shù)據(jù)特征重疊較少的場(chǎng)景。遷移聯(lián)邦學(xué)習(xí)適用于數(shù)據(jù)提供方的樣本和特征重疊都較少的場(chǎng)景。與多方安全計(jì)算相似，聯(lián)邦學(xué)習(xí)能夠保障計(jì)算過(guò)程中多個(gè)數(shù)據(jù)方的隱私數(shù)據(jù)不泄露。區(qū)別在于，聯(lián)邦學(xué)習(xí)僅適應(yīng)于機(jī)器學(xué)習(xí)建模場(chǎng)景，此外，聯(lián)邦學(xué)習(xí)可能使用多方安全計(jì)算的中數(shù)據(jù)保護(hù)算法，也可能使用了其他算法。

可信執(zhí)行環(huán)境（Trusted Execution Environment，TEE）通過(guò)硬件技術(shù)來(lái)對(duì)數(shù)據(jù)進(jìn)行隔離保護(hù)，將數(shù)據(jù)分類處理。 支持TEE的CPU中，會(huì)有一個(gè)特定的區(qū)域，該區(qū)域的作用是給數(shù)據(jù)和代碼的執(zhí)行提供一個(gè)更安全的空間，并保證他們的機(jī)密性和完整性。因?yàn)門EE提供了一個(gè)與外部環(huán)境隔離的特征環(huán)境（有時(shí)也稱為“安全飛地”）保存用戶的敏感數(shù)據(jù)，TEE可以直接獲取外部環(huán)境的信息，而外部環(huán)境獲取TEE的信息。目前引入可信執(zhí)行環(huán)境較為成熟的技術(shù)有ARM的TrustZone和Intel的SGX等。

本文部分原載于《中國(guó)金融科技運(yùn)行報(bào)告》