大數據處理的三大流程流程

數據采集

定義：利用多種輕型數據庫來接收發自客戶端的數據，并且用戶可以通過這些數據庫來進行簡單的查詢和處理工作。

特點和挑戰：并發系數高。

使用的產品：MySQL，Oracle，Hbase，Redis和 MongoDB等，并且這些產品的特點各不相同。

統計分析

定義：將海量的來自前端的數據快速導入到一個集中的大型分布式數據庫 或者分布式存儲集群，利用分布式技術來對存儲于其內的集中的海量數據 進行普通的查詢和分類匯總等，以此滿足大多數常見的分析需求。

特點和挑戰：導入數據量大，查詢涉及的數據量大，查詢請求多。

使用的產品：InfoBright，Hadoop（Pig和Hive），YunTable， SAP Hana和OracleExadata，除Hadoop以做離線分析為主之外，其他產品可做實時分析。

挖掘數據

定義：基于前面的查詢數據進行數據挖掘，來滿足高級別 的數據分析需求。

特點和挑戰：算法復雜，并且計算涉及的數據量和計算量都大。

使用的產品：R，Hadoop Mahout。

大數據的價值

如果從企業決策的角度來看，在任何行業，任何領域，通過推動數據化或大數據演算提升企業決策和企業戰略實施的，仍然是人的大腦。唯一的區別是，從前依靠豐富的企業經驗和信息整合能力來決策的領導層，如今依靠的是高性能并行的計算機處理技術來處理海量的數據集，分布式的演算出最終的戰略決策。利用這樣的科技，就可以大大提升領導決策的精準度和效率。

而其實大數據的作用已經不僅僅是為各類決策提供幫助，它甚至能夠用海量的數據塑造個體，用戶分析將不再適用，因為大數據甚至可以塑造用戶。

大數定理告訴我們，在試驗不變的條件下，重復試驗多次，隨機事件的頻率近似于它概率。“有規律的隨機事件”在大量重復出現的條件下，往往呈現幾乎必然的統計特性。數據本身不產生價值，如何分析和利用大數據對業務產生幫助才是關鍵。隨著計算機的處理能力的日益強大，你能獲得的數據量越大，你能挖掘到的價值就越多。

如果銀行能及時地了解風險，我們的經濟將更加強大。

如果醫院能夠更早發現疾病，我們的身體將更加健康。

如果電信公司能夠降低成本，我們的話費將更加便宜。

如果交通動態天氣能夠掌握，我們的出行將更加方便。

如果商場能夠動態調整庫存，我們的商品將更加實惠。

從商業角度來看，從繁雜龐大的數據中挖掘、分析用戶的行為習慣和喜好，研發出更符合用戶偏好的產品和服務，并結合用戶需求有針對性地調整和優化產品，以優化用戶體驗，最終獲得商業利益，就是大數據在商業社會的價值。

拋開商業，利用大數據預測可能的災難，利用大數據分析癌癥可能的引發原因并找出治療方法，都是未來能夠惠及人類的事業。

最終，我們都將從大數據分析中獲益。

在大數據時代，不再依賴于采樣的人們可以獲得并分析更多的數據，更清楚地發現樣本無法揭示的細節信息，隨著計算機處理能力的日益強大，人工智能機器學習系統的不斷升級，龐大的數據給人們帶來的價值成倍攀升。

實驗的不斷反復、大數據的日漸積累讓人類不斷發現各種規律，從而能夠預測未來。