去年9月，百分點公司發(fā)布了“全球首款”大數(shù)據(jù)操作系統(tǒng)BD-OS（基于Lambda架構(gòu)）。日前，百分點技術(shù)副總裁劉譯璟和百分點BD-OS產(chǎn)品高級研發(fā)總監(jiān)線劉國棟接受CSDN記者采訪，結(jié)合BD-OS的設(shè)計、研發(fā)和架構(gòu)，對大數(shù)據(jù)技術(shù)演進及應(yīng)用實踐的趨勢進行了解讀。
　　所謂“全球首款”，意味著Hadoop、Storm、Spark等當前主流大數(shù)據(jù)技術(shù)的相關(guān)從業(yè)者幾乎聽說過“大數(shù)據(jù)操作系統(tǒng)”的存在（之所以說“幾乎”，是因為Intel曾把Hadoop視為大數(shù)據(jù)操作系統(tǒng)，Apache Hadoop的一位committer聯(lián)合創(chuàng)立的海綿數(shù)據(jù)公司也曾推出一款名為Sponge的大數(shù)據(jù)操作系統(tǒng)，但百分點認為BD-OS首先實現(xiàn)了理論的突破）。那么，BD-OS的研發(fā)的意義何在？在百分點看來，一言蔽之，就是填補底層技術(shù)到數(shù)據(jù)應(yīng)用之間的鴻溝。基于百分點的實踐，劉譯璟和劉國棟從大數(shù)據(jù)生命周期的角度闡述了這個核心觀點，并介紹了BD-OS的一些應(yīng)用案例。
　　百分點眼中的大數(shù)據(jù)
　　劉譯璟介紹了百分點對大數(shù)據(jù)的認識。他認為，在整個信息化的方向上，有五個大的趨勢：云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、社會化和移動化。在這個數(shù)據(jù)世界里，大數(shù)據(jù)處于大腦的地位，要把這些數(shù)據(jù)進行收集加工轉(zhuǎn)化成信息，甚至轉(zhuǎn)化成知識，最后再通過物聯(lián)網(wǎng)的技術(shù)反饋到現(xiàn)實世界中，不斷地產(chǎn)生更多的價值。
　　大數(shù)據(jù)最核心的技術(shù)是跟人工智能的相關(guān)知識是緊密相關(guān)的，包括知識表示、自然語言理解、機器學習，還有相關(guān)的圖象語音識別、機器人，這都屬于這個范圍，但是為了實現(xiàn)人工智能，特別是機器學習，要處理相當多的數(shù)據(jù)需要有一些足夠堅實的底層架構(gòu)來支持。像Hadoop技術(shù)的誕生，原因就是在搜索相關(guān)的智能應(yīng)用里，原有的技術(shù)不能支撐了，所以說，大數(shù)據(jù)的發(fā)展一定是跟著業(yè)務(wù)或者跟著智能化的技術(shù)發(fā)展的。
　　整個大數(shù)據(jù)的產(chǎn)業(yè)主要分成四個方面，第一是底層的基礎(chǔ)技術(shù)和基礎(chǔ)架構(gòu)。第二是在基礎(chǔ)架構(gòu)上構(gòu)建各種分析的無論是算法模型等等。第三層次，在分析之上更多結(jié)合到行業(yè)和業(yè)務(wù)的應(yīng)用。當然還有很重要的一點是這里面產(chǎn)生的數(shù)據(jù)。BD-OS主要偏向于基礎(chǔ)軟件的層次，但是包含了很多分析應(yīng)用方面的工具。
　　整個大數(shù)據(jù)產(chǎn)業(yè)的趨勢發(fā)展有六個特點。
　　更多往具體的應(yīng)用里做，一定會形成行業(yè)的應(yīng)用。雖然現(xiàn)在很多大數(shù)據(jù)方面服務(wù)過的企業(yè)還是偏向通用化，但是最終的業(yè)務(wù)價值一定是在行業(yè)應(yīng)用里產(chǎn)生的。
　　服務(wù)化，通過服務(wù)的方式為企業(yè)和消費者提供服務(wù)，而不是提供最原始的軟件或者IT基礎(chǔ)設(shè)施。
　　云計算是未來的骨骼，所有的應(yīng)用都會上到云端，所以云端化是未來的一個趨勢。
　　企業(yè)已經(jīng)不單單需要一個大數(shù)據(jù)的底層和大數(shù)據(jù)某一個存儲的方案，而是想要從數(shù)據(jù)獲取到大數(shù)據(jù)的全鏈條的端到端的整體的解決方案，企業(yè)越來越務(wù)實。
　　大數(shù)據(jù)一定變的更加的實用。實用化的四個方面：第一，最基礎(chǔ)只是說描述，比如在做一些基礎(chǔ)的監(jiān)控等等方面。第二個方面是診斷，發(fā)現(xiàn)里面的一些問題，把這些問題找出來。第三是做一些預(yù)測，預(yù)測未來整個的趨勢，是向好還是向壞，如果向壞的話可能問題發(fā)生在什么地方。最高級的一點，就是建議性的一些分析，不止是發(fā)現(xiàn)問題、發(fā)現(xiàn)趨勢，還要告訴企業(yè)和用戶應(yīng)該怎么適應(yīng)這種變化。
　　低成本化一直是大數(shù)據(jù)的一個方向。
　　一個企業(yè)或者一個組織如果想真的應(yīng)用大數(shù)據(jù)，必須具備如下條件：
　　時代：相關(guān)的時代必須要到來，即不僅有信息化系統(tǒng)的基礎(chǔ)，有很多客戶，還要進入到互聯(lián)網(wǎng)的時代，有較高的數(shù)據(jù)化的程度。
　　理念：很多企業(yè)主覺得數(shù)據(jù)是核心資產(chǎn)，原因是他認為數(shù)據(jù)只有買才能得來，而不是自己的經(jīng)營過程需要數(shù)據(jù)化。如果是這樣，說到底他并不認為數(shù)據(jù)能對他的業(yè)務(wù)產(chǎn)生核心的變化。所以需要真真切切地認為數(shù)據(jù)能夠產(chǎn)生最大的價值。
　　理論：從現(xiàn)實的業(yè)務(wù)，到時候可以建模型，中間有非常大的鴻溝，這個鴻溝包括數(shù)據(jù)如何采集如何建模以及如何把一個業(yè)務(wù)問題轉(zhuǎn)化成真正的數(shù)據(jù)的問題，這其實是需要有相當多的經(jīng)驗和人做這件事。這是最麻煩的一件事，只有業(yè)務(wù)變換成了數(shù)學問題，底層的技術(shù)才能實現(xiàn)。比如地震預(yù)測，數(shù)據(jù)界并沒有把它完全用理論解釋清楚，顯然沒有任何技術(shù)手段可以實踐這件事。
　　技術(shù)：理論問題解決完以后，要通過一些基礎(chǔ)的技術(shù)手段來落地。比如說有一些基礎(chǔ)架構(gòu)，或者軟件包的形式來實現(xiàn)。
　　BD-OS就是解決理論以及技術(shù)這兩方面的問題，把消費者數(shù)據(jù)化，并驅(qū)動企業(yè)數(shù)據(jù)化的經(jīng)營。百分點大數(shù)據(jù)產(chǎn)品分為三層，最底下的大數(shù)據(jù)的技術(shù)層，主要解決的是數(shù)據(jù)的采集獲取以及數(shù)據(jù)如何分析建模這一套東西，以及數(shù)據(jù)如何運用到具體的業(yè)務(wù)上，提供這些基本的接口。中間的管理，最后流程的末端能看到用戶標簽管理以及商品的標簽管理，用戶畫像和產(chǎn)品畫像就是通過數(shù)據(jù)的方式來描述人，也就是人工智能領(lǐng)域的知識表示。有了數(shù)據(jù)化的消費者的描述以后，將來要做的事情把他應(yīng)用到具體的業(yè)務(wù)里。百分點支持三大類的業(yè)務(wù)：個性化推薦引擎、自動化營銷引擎和、大數(shù)據(jù)分析引擎。
　　

普通下載普通下載

相關(guān)電子資料下載