數據采集

數據采集（DAQ），是指從傳感器和其它待測設備等模擬和數字被測單元中自動采集非電量或者電量信號，送到上位機中進行分析，處理。數據采集系統是結合基于計算機或者其他專用測試平臺的測量軟硬件產品來實現靈活的、用戶自定義的測量系統。

數據采集，又稱數據獲取，是利用一種裝置，從系統外部采集數據并輸入到系統內部的一個接口。數據采集技術廣泛應用在各個領域。比如攝像頭，麥克風，都是數據采集工具。

被采集數據是已被轉換為電訊號的各種物理量，如溫度、水位、風速、壓力等，可以是模擬量，也可以是數字量。采集一般是采樣方式，即隔一定時間（稱采樣周期）對同一點數據重復采集。采集的數據大多是瞬時值，也可是某段時間內的一個特征值。準確的數據測量是數據采集的基礎。數據量測方法有接觸式和非接觸式，檢測元件多種多樣。不論哪種方法和元件，均以不影響被測對象狀態和測量環境為前提，以保證數據的正確性。數據采集含義很廣，包括對面狀連續物理量的采集。在計算機輔助制圖、測圖、設計中，對圖形或圖像數字化過程也可稱為數據采集，此時被采集的是幾何量（或包括物理量，如灰度）數據。

在互聯網行業快速發展的今天，數據采集已經被廣泛應用于互聯網及分布式領域，數據采集領域已經發生了重要的變化。首先，分布式控制應用場合中的智能數據采集系統在國內外已經取得了長足的發展。其次，總線兼容型數據采集插件的數量不斷增大，與個人計算機兼容的數據采集系統的數量也在增加。國內外各種數據采集機先后問世，將數據采集帶入了一個全新的時代。

現在談論大數據已經沒有新意了，形形色色的產品、平臺和公司都貼滿大數據標簽，但大數據卻并沒有掀起預期颶風，甚至還被冠以“偽命題”污名。

本末倒置，數據采集才是大數據產業的基石。都在說大數據應用、大數據價值挖掘，卻不想，沒有數據何來應用、價值一說。就好比不開采石油，一味想得到汽油。當然，石油開采并不容易，各行各業包括政府部門的信息化建設都是封閉式進行，海量數據被封在不同軟件系統，數據源多種多樣，數據量大、更新快。

大數據時代最不缺的就是數據。但面對數據資源，如何開采？用什么工具開采？如何以最低成本的開采？

數據采集方法

今天就和大家討論3種軟件系統的數據采集方法，重點關注實現過程與各自的優缺點。

一、軟件接口方式

各個軟件廠商提供數據接口，實現數據采集匯聚。

實現過程：

· 協調多方軟件廠商工程師到場，了解所有系統業務流程以及數據庫相關的表結構設計等，細節推敲，確定可行性方案；

· 編碼

· 測試、調試階段

· 交付使用

接口對接方式的數據可靠性與價值較高，一般不存在數據重復的情況；數據通過接口實時傳輸，滿足數據實時性的要求。

接口對接方式的缺點是接口開發費用高；協調各個軟件廠商，協調難度大、投入人力大；擴展性不高，如：由于業務需要各軟件系統開發出新的業務模塊，其和大數據平臺之間的數據接口也需做相應修改和變動，甚至要推翻以前的所有數據接口編碼，工作量大、耗時長。

二、開放數據庫方式

實現數據的采集匯聚，開放數據庫是最直接的一種方式。

兩個系統分別有各自的數據庫，同類型的數據庫之間是比較方便的：

1. 如果兩個數據庫在同一個服務器上，只要用戶名設置的沒有問題，就可以直接相互訪問，需要在from后將其數據庫名稱及表的架構所有者帶上即可。select * from DATABASE1.dbo.table1

2. 如果兩個系統的數據庫不在一個服務器上，建議采用鏈接服務器的形式處理，或者使用openset和opendatasource的方式，這個需要對數據庫的訪問進行外圍服務器的配置。

而不同類型的數據庫之間的連接就比較麻煩，需要做很多設置才能生效，這里不做詳細說明。

開放數據庫方式可以直接從目標數據庫中獲取需要的數據，準確性高，實時性也能得到保證，是最直接、便捷的一種方式。

但開放數據庫方式也需要協調各個軟件廠商開放數據庫，難度大；一個平臺如果同時連接多個軟件廠商的數據庫，并實時獲取數據，這對平臺性能也是巨大挑戰。不過，出于安全性考慮，軟件廠商一般不會開放自己的數據庫。

三、基于底層數據交換的數據直接采集方式

通過獲取軟件系統的底層數據交換、軟件客戶端和數據庫之間的網絡流量包，基于底層IO請求與網絡分析等技術，采集目標軟件產生的所有數據，將數據轉換與重新結構化，輸出到新的數據庫，供軟件系統調用。

技術特點如下：

1. 無需原軟件廠商配合；

2. 實時數據采集，數據端到端的響應速度達秒級；

3. 兼容性強，可采集匯聚Windows平臺各種軟件系統數據；

4. 輸出結構化數據，作為數據挖掘、大數據分析應用的基礎；

5. 自動建立數據間關聯，實施周期短、簡單高效；

6. 支持自動導入歷史數據，通過I/O人工智能自動將數據寫入目標軟件；

7. 配置簡單、實施周期短。

基于底層數據交換的數據直接采集方式，擺脫對軟件廠商的依賴，不需要軟件廠商配合，不僅需要投入大量的時間、精力與資金，不用擔心系統開發團隊解體、源代碼丟失等原因導致系統數據采集成死局。

直接從各式各樣的軟件系統中開采數據，源源不斷獲取精準、實時的數據，自動建立數據關聯，輸出利用率極高的結構化數據，讓不同系統的數據源有序、安全、可控的聯動流通，提供決策支持、提高運營效率、產生經濟價值。