說(shuō)實(shí)在的，這個(gè)概念有些過(guò)于高大上，從大的方面包括、、強(qiáng)化學(xué)習(xí)等等，而深度學(xué)習(xí)又包括圖像識(shí)別、語(yǔ)音識(shí)別、自然語(yǔ)言處理、預(yù)測(cè)分析;機(jī)器學(xué)習(xí)則包括監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)，監(jiān)督學(xué)習(xí)又細(xì)分為回歸、分類(lèi)、決策樹(shù)等等。理論上人工智能什么都能做，什么都能迎合的上。

　　關(guān)鍵數(shù)據(jù)質(zhì)量管理實(shí)在太接地氣了，以至于大家都理解為數(shù)據(jù)質(zhì)量檢查規(guī)則定義、數(shù)據(jù)質(zhì)量檢查規(guī)則腳本、檢查規(guī)則執(zhí)行引擎、數(shù)據(jù)質(zhì)量檢查規(guī)則執(zhí)行情況監(jiān)控，數(shù)據(jù)質(zhì)量檢查報(bào)告;而數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則無(wú)非就是一致性、準(zhǔn)確性、性、真實(shí)性、及時(shí)性、關(guān)聯(lián)性、完整性的一堆校驗(yàn)，再大白話(huà)一些無(wú)非就是語(yǔ)句。

　　而本人面臨的還不是基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)質(zhì)量管理，數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，用于支持管理決策，數(shù)據(jù)倉(cāng)庫(kù)的集成性和面向主題兩個(gè)特性決定了數(shù)據(jù)是有天然血緣關(guān)系的，血緣關(guān)系的存在是數(shù)據(jù)質(zhì)量追溯的前提，能夠抽絲剝繭一層層梳理，簡(jiǎn)而言之，目的性就是為了保障端到端的數(shù)據(jù)準(zhǔn)確性。

　　剛?cè)肼氹娦胚\(yùn)營(yíng)商的時(shí)候，主要負(fù)責(zé)經(jīng)營(yíng)分析系統(tǒng)的流量業(yè)務(wù)和數(shù)據(jù)業(yè)務(wù)，初步統(tǒng)計(jì)過(guò)經(jīng)分系統(tǒng)有七八千張表、幾千個(gè)存儲(chǔ)過(guò)程，從接口層到存儲(chǔ)層到中間表再到匯總層再到報(bào)表層，設(shè)計(jì)上倒也很合理，在不懂業(yè)務(wù)的情況下，為了快速上手，曾經(jīng)花了3個(gè)月時(shí)間去閱讀一百來(lái)張中間表的數(shù)百個(gè)存儲(chǔ)過(guò)程，形成了幾份人肉血緣關(guān)系文檔，再過(guò)一年基本就可以設(shè)計(jì)數(shù)據(jù)模型了，這是個(gè)笨方法，但也是最快速的辦法。

　　入職新公司后，每年推陳出新一大堆新概念，但基本上落地的很少，數(shù)據(jù)中心、數(shù)字平臺(tái)、數(shù)據(jù)平臺(tái)、數(shù)據(jù)中臺(tái)、數(shù)據(jù)湖、物聯(lián)網(wǎng)服務(wù)器、人工智能服務(wù)器平臺(tái)，云化重構(gòu)，昨天閱讀到一篇文章，說(shuō)數(shù)據(jù)湖就是懶人數(shù)據(jù)倉(cāng)庫(kù)，公司非常想挖掘現(xiàn)有和歷史的業(yè)務(wù)數(shù)據(jù)，但是還沒(méi)有詳細(xì)的規(guī)劃如何分析。所以需要先保存數(shù)據(jù)，在考慮以后的分析，畢竟對(duì)于很多公司來(lái)說(shuō)，數(shù)據(jù)就是巨大的資產(chǎn)。畢竟數(shù)據(jù)湖既新潮又解決不了實(shí)際問(wèn)題，而且、mpp既廉價(jià)容量又大，關(guān)鍵是規(guī)避了數(shù)據(jù)質(zhì)量和企業(yè)數(shù)據(jù)模型，我想大概就是這個(gè)原因吧。

　　本人要面臨的是什么呢，一大堆業(yè)務(wù)系統(tǒng)，一些半集中化的報(bào)表系統(tǒng)，ETL工具五花八門(mén)，有ETL工具，有DBLink抽取的，有ogg同步的，業(yè)務(wù)系統(tǒng)之間靠主數(shù)據(jù)和SOA進(jìn)行數(shù)據(jù)協(xié)作，就像任何早期系統(tǒng)一樣，初衷設(shè)計(jì)是好的，實(shí)際落地都會(huì)大打折扣，于是出現(xiàn)了數(shù)據(jù)質(zhì)量問(wèn)題，數(shù)據(jù)質(zhì)量問(wèn)題又分解為技術(shù)問(wèn)題和數(shù)據(jù)問(wèn)題，技術(shù)問(wèn)題當(dāng)然是追究系統(tǒng)建設(shè)的原因了，當(dāng)然也無(wú)法追究，畢竟上線(xiàn)那么多年了，數(shù)據(jù)問(wèn)題要追究業(yè)務(wù)部門(mén)錄入人員和使用人員的責(zé)任，就涉及到數(shù)據(jù)認(rèn)責(zé)，數(shù)據(jù)認(rèn)責(zé)又牽涉到各方利益，所以巴拉巴拉的。

　　但是工作還得做啊，盡人事聽(tīng)天命嘛，個(gè)人認(rèn)為數(shù)據(jù)質(zhì)量問(wèn)題短期內(nèi)解決數(shù)據(jù)同源問(wèn)題，長(zhǎng)期目標(biāo)是為了解決企業(yè)數(shù)據(jù)模型問(wèn)題，畢竟數(shù)據(jù)質(zhì)量核查過(guò)程是了解數(shù)據(jù)的過(guò)程，了解數(shù)據(jù)的過(guò)程就是不斷熟悉業(yè)務(wù)的過(guò)程，熟悉業(yè)務(wù)自然就會(huì)站在業(yè)務(wù)人員的角度去考慮企業(yè)數(shù)據(jù)模型問(wèn)題。

　　前面是講了數(shù)據(jù)質(zhì)量問(wèn)題的目標(biāo)，當(dāng)然要數(shù)據(jù)質(zhì)量問(wèn)題不可避免要涉及到制度機(jī)制、平臺(tái)工具、運(yùn)營(yíng)團(tuán)隊(duì)。

　　一、基于數(shù)據(jù)管理能力成熟度和公司數(shù)據(jù)管理過(guò)程中的問(wèn)題制定一系列實(shí)際可操作可落地的數(shù)據(jù)管理制度。

　　二、關(guān)于數(shù)據(jù)認(rèn)責(zé)，要基于業(yè)務(wù)場(chǎng)景開(kāi)展嘗試，而不是胡子眉毛一把抓

　　三、建立一套綜合數(shù)據(jù)質(zhì)量平臺(tái)，為數(shù)據(jù)質(zhì)量提供自動(dòng)、自助、智能化的平臺(tái)支撐，數(shù)據(jù)還是要集中的，不集中什么都治不了

　　四、搭建一套數(shù)據(jù)閉環(huán)管理流程，自下而上收集問(wèn)題處理問(wèn)題

　　五、有一套數(shù)據(jù)治理組織架構(gòu)，這個(gè)一般雷聲大雨點(diǎn)小，那就從自我做起吧，一個(gè)數(shù)據(jù)運(yùn)營(yíng)團(tuán)隊(duì)和相關(guān)分工還是要的。

　　搞到最后，還是少不了錢(qián)，有錢(qián)不是萬(wàn)能的，沒(méi)錢(qián)是萬(wàn)萬(wàn)不能的，制度、平臺(tái)、團(tuán)隊(duì)都是靠錢(qián)的。

　　前面講了一堆數(shù)據(jù)質(zhì)量的事情，怎么解決ai服務(wù)器的問(wèn)題呢？其實(shí)也借鑒了一些網(wǎng)上的部分，當(dāng)然自己也反復(fù)思考，為了工作夜不能寐。

　　數(shù)據(jù)質(zhì)量的問(wèn)題主要發(fā)生在源端、傳輸過(guò)程和目標(biāo)端，這話(huà)說(shuō)起來(lái)容易，實(shí)施起來(lái)難，幾萬(wàn)張表上百萬(wàn)字段估計(jì)一輩子耗進(jìn)去都脫身不出來(lái)，怎么辦，靠人工智能和浪潮服務(wù)器專(zhuān)家的經(jīng)驗(yàn)。