實時數據無處不在，由嵌入多種技術的傳感器生成，包括自動駕駛汽車、制造設備和醫療設備。但“實時”對于工程決策的真正意義是什么，更重要的是，如何使用實時數據？

許多工程師可能認為這些數據的主要用途是預測性維護，監控產生所述數據的設備的長期生存能力。雖然這肯定是此類數據的一種潛在用途，但它不是主要用途。實時數據最好由機器學習模型處理，該模型能夠在收到數據后盡快分析該數據。然后，這些數據用于生成快速或“實時”發送到數據庫、儀表板或設備的見解。

然而，工程師面臨的一個共同挑戰是處理實時數據，因為原始形式的數據過于混亂，無法進行有效分析。使用機器學習模型來處理這些數據是有幫助的，但更重要的是，工程師必須在將實時數據放入這些模型之前有效地準備好實時數據。

考慮汽車發動機的溫度計。從理論上講，從儀表收集的數據每秒捕獲一個溫度。但是發動機的溫度是由多個傳感器測量的，每個傳感器的測量速率略有不同——稱為采樣率或時間步長——必須將其同步到單個數據集中，然后才能通過模型進行分析。那么，工程師應該從哪里開始使用實時數據呢？

嘗試同步數據

在宏觀層面上，同步數據的目標與同步手表的目標相同——將一個不同的時間與另一個時間對齊，以便它們一起流動。在微觀層面上，目標是將多個不同的數據點——本質上是由幾個不同步的手表測量的秒數——實時組合到一個數據集中。然而，每個數據點都非常小，而且它們之間的差距如此細小，以至于將它們同步在一起需要仔細準備。

同步實時數據的第一步是對齊。它可以幫助工程師從一個期望的目標開始——一個特定的時間步長或采樣率，例如每小時或每 10 秒。但是，實時數據模型通常設計為一次僅處理 1 秒的數據。因此，同步原始設備數據需要創建一個運行在 0 到 1 秒之間的時間向量，時間步長為 0.001 秒，然后“重新采樣”數據以匹配新時間。

考慮到這一點，下一步是數據同步藝術的真正所在，因為工程師必須決定如何填充時間不匹配的數據點。這通常通過重新采樣原始數據來完成。幾種常見的重采樣方法包括最近鄰、聚合和插值，最佳選擇取決于初始時間向量對齊和應用要求。

當工程師不確定數據集之間的時間對齊時，一種常見的解決方案是用恒定值或缺失數據填補空白。這在涉及許多傳感器時尤其有用，因為探索和可視化生成的數據可以幫助確定如何繼續分析其余數據。如果時間緊密對齊，則可以使用任何提到的重采樣方法。如果時間沒有緊密對齊，工程師應該聚合或插入數據。

想象一下將每小時數據轉換為每日數據。如何在單個數據點中表示 24 小時內的所有數據？在這種情況下，一個合適的例子是數據聚合，比如每日平均值。對于非數字數據，模式、計數或最近鄰方法更常見。

在處理實時傳感器數據時，尤其是在時間稍微不對齊的情況下，許多工程師使用插值，因為它有助于提供數據趨勢的知識，因為要填充的時間空間更少。如果在處理實時傳感器數據時點距離較遠，則多項式或樣條插值法是一種更準確的方法。

下面是使用溫度、壓力和電流傳感器預測設備故障的示例。

圖 1：流式工作流示意圖

在此示例中，消息服務處理原始傳感器數據，然后將其應用于模型，該模型用于實時生成預測。一旦生成預測，模型就會更新并應用于下一組實時傳感器數據。這些結果會不斷地、重復地實時發送到儀表板。

實時數據和普通數據的區別

準備實時數據的過程可能聽起來很有挑戰性。然而，對于工程師來說，內置到大多數數據科學平臺的 API 和模塊中已經足夠普遍了。由于與數據科學平臺的共同集成，在遵循此過程時，在使用實時傳感器數據構建模型之前，通常需要考慮最少的額外數據準備注意事項。

一個這樣的考慮應該是規劃一個系統，這意味著在構建任何東西之前捕獲所有需求并建立參數。此外，在流程早期構建完整的流式原型也很有幫助，因為它允許工程師在分析實時數據的同時返回調整算法。時間窗口可能是另一個值得考慮的好參數，因為它們通常控制有多少數據進入系統。

在構建模型時，工程師通常會對數據集進行平滑和下采樣。對于實時數據，添加了頻域，在模型分析數據之前創建了一個要考慮的新參數。一旦原始數據被組織成具有匹配時間的單個數據集，額外的分析就更容易執行。

總體而言，隨著自動駕駛汽車和醫療設備以及制造設備和其他設備繼續嵌入各種傳感器，實時數據將變得更加普遍。隨著工程師希望繼續提供有價值的基于數據的系統洞察力，有效地導航傳感器數據的“實時”方面將非常重要。

審核編輯：郭婷