大數據需要特殊的技術，主要包括大規模并行處理（MPP）數據庫、數據挖掘網絡、分布式文件系統、分布式數據庫、云計算平臺、互聯網和可擴展的存儲系統。大數據技術分為整體技術和關鍵技術兩個方面。

1.整體技術

整體技術主要有數據采集、數據存取、基礎架構、數據處理、統計分析、數據挖掘、模型預測和結果呈現等。

2.關鍵技術

大數據處理關鍵技術一般包括：大數據采集、大數據預處理、大數據存儲及管理、大數據分析及挖掘、大數據展現和應用（大數據檢索、大數據可視化、大數據應用、大數據安全等）。

（1）大數據采集技術：數據采集是通過RFID射頻技術、傳感器以及移動互聯網等方式獲得的各種類型的結構化及非結構化的海量數據。大數據采集一般分為大數據智能感知層和基礎支撐層： 大數據智能感知層：主要包括數據傳感體系、網絡通信體系、傳感適配體系、智能識別體系及軟硬件資源接入系統。實現對結構化、半結構化、非結構化的海量數據的智能化識別、定位、跟蹤、接入、傳輸、信號轉換、監控、初步處理和管理等。必須著重攻克針對大數據源的智能識別、感知、適配、傳輸、接入等技術。

基礎支撐層：提供大數據服務平臺所需的虛擬服務器，結構化、半結構化及非結構化數據的數據庫及物聯網絡資源等基礎支撐環境。重點攻克分布式虛擬存儲技術，大數據獲取、存儲、組織、分析和決策操作的可視化接口技術，大數據的網絡傳輸與壓縮技術，大數據隱私保護技術等。

（2）大數據預處理技術：大數據預處理主要完成對已接收數據的抽取、清洗等操作。

抽取：因獲取的數據可能具有多種結構和類型，數據抽取過程可以將這些復雜的數據轉化為單一的或者便于處理的構型，以達到快速分析處理的目的。

清洗：對于大數據，并不全是有價值的，有些數據并不是我們所關心的內容，而另一些數據則是完全錯誤的干擾項，因此要對數據通過過濾“去噪”從而提取出有效數據。

（3）大數據存儲及管理技術：大數據存儲與管理要用存儲器把采集到的數據存儲起來，建立相應的數據庫，并進行管理和調用。要解決大數據的可存儲、可表示、可處理、可靠性及有效傳輸等幾個關鍵問題。

（4）大數據分析及挖掘技術：數據分析及挖掘技術是大數據的核心技術。主要是在現有的數據上進行基于各種預測和分析的計算，從而起到預測的效果，滿足一些高級別數據分析的需求。數據挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機實際數據中，提取隱含在其中的、人們事先不知道的但又是潛在有用的信息和知識的過程。

（5）數據展現和應用：大數據技術能夠將隱藏于海量數據中的信息挖掘出來，從而提高各個領域的運行效率。在我國，大數據重點應用于以下三大領域：商業智能、政決策和公共服務。

審核編輯 ：李倩