歡迎關注虹科,為您提供最新資訊!
導讀
虹科CSS的CANedge數據記錄儀專為汽車和工業領域的工程師設計,旨在通過監控現場資產來支持研發、診斷和預測性維護。為了將這些數據轉化為直觀的可視化信息,工程師們通常依賴于Grafana儀表板。本文將深入探討實現這一目標所涉及的工作流程,并展示如何通過Grafana-Athena集成技術,巧妙應對用戶在數據可視化過程中遇到的一系列挑戰。
Grafana儀表板
01 亟待解決的五大難題
- 如何解碼原始二進制日志文件?
虹科CANedge數據記錄儀以MDF(*.MF4)格式記錄原始CAN數據,包括帶有時間戳的“CAN ID”和“數據字節”。為了使這些數據對用戶可讀,需要通過軟件/API工具和CAN(DBC)數據庫文件進行解碼。
- 如何實現跨TB數據的低成本可視化?
一臺虹科CANedge物聯網設備每月可能產生超過50GB的數據,甚至累積至TB級別,而將這些數據存儲在基于云的時間序列數據庫中的成本過高。同時,數據查詢的速度也應相當快,以便用戶能夠有效地處理數據。
- 如何保留原始報文時間戳?
CAN網絡中的每個報文都有其獨特的時間光柵,集成方案必須保留這些原始時間戳,以便用戶能夠查看從秒到月的數據。
- 如何讓用戶自主部署?
虹科CSS不提供服務器或服務托管,而是讓用戶自行設置。這要求部署過程簡單,以適應對數據敏感性有嚴格要求的用戶。
- 如何保持不可知性?
虹科CANedge設備支持多種數據收集方式,例如,用戶可使用虹科CANedge1將數據記錄到SD卡中,以便離線使用,也可以使用虹科CANedge2/CANedge3通過 WiFi/LTE(4G)將數據收集到S3服務器中。因此,集成方案需要能夠適應這些不同的后端存儲選項。
02 虹科Grafana-Athena集成解決方案
為了應對上述集成挑戰,虹科CSS推出了“Grafana-Athena”儀表板集成方案,提供了一種高效且用戶友好的數據可視化方案。
集成方案的設置步驟
■ 數據上傳 :虹科CANedge記錄儀將CAN/LIN數據上傳至AWS S3的“input bucket”。
■ 觸發Lambda函數 :日志文件上傳后,自動觸發一個Lambda函數。
■ ** 數據解碼** :Lambda函數使用DBC文件將原始數據解碼為Parquet格式。
■ 數據存儲 :解碼后的Parquet文件被寫入AWS S3的“output bucket”。
■ 數據可視化 :Grafana通過亞馬遜Athena插件,將“data lake”中的數據進行可視化。
■ 快速部署 :整個設置可以在15分鐘內自動部署完成,無需任何編碼工作。
虹科Grafana-Athena的部署過程完全由用戶自主完成, 即使是沒有Grafana或AWS使用經驗的用戶也能輕松上手 。虹科CSS為此提供了即插即用的AWS CloudFormation堆棧,以及詳細的部署指導。
用戶只需將DBC文件和Lambda函數壓縮包上傳至S3 input bucket,然后使用CloudFormation堆棧模板部署Lambda函數、S3 input bucket、Athena和Glue。部署完成后,用戶將獲得必要的憑據,以便在Grafana云數據源設置中驗證Athena的憑證。無需擔心Parquet數據湖的構建細節,因為這一切都由虹科CSS Electronics預制的AWS Lambda函數自動完成,同時確保數據湖按日期進行最佳分區。
03 五大顯著優勢
高性能與低成本查詢
傳統的Grafana-InfluxDB集成在處理大規模數據時成本較高。相比之下,虹科Grafana-Athena集成通過AWS S3存儲和Athena的無服務器查詢, 顯著降低了成本 ,同時保持了高效的查詢性能。
無需編碼,15分鐘內完成部署
利用AWS CloudFormation模板和預配置的Lambda函數, 用戶可以在15分鐘內完成部署 ,無需任何編程知識,大大簡化了部署流程。
無縫跨時間尺度分析
用戶可以輕松地在Grafana中進行跨年或跨毫秒的數據查詢和分析,得益于data lake中保留的原始時間戳和Grafana的即時重新采樣功能。
多功能數據湖與SQL接口
基于S3的Parquet data lake不僅支持Grafana可視化,還可以直接用于Python/Matlab查詢和Excel報告,提供了一個全面的數據分析平臺。
靈活的部署選項
本文主要探討了Amazon Athena集成方案,這是由于虹科CSS的多數用戶已經采用AWS S3來存儲CANedge2/CANedge3設備生成的數據。
除了Athena,還可以考慮以下替代方案:
■ Grafana-ClickHouse: ClickHouse是一個開源的分析數據庫,能夠提供與Athena相似的性能。它支持在本地磁盤或自托管的S3兼容存儲(如MinIO)上進行數據可視化,并通過Grafana的ClickHouse數據源插件輕松集成。
■ Grafana-BigQuery: 對于使用谷歌云服務的用戶,BigQuery提供了一個與Amazon Athena功能相似的解決方案。通過BigQuery數據源插件,用戶可以便捷地將BigQuery與Grafana集成,實現數據的可視化分析。
04 應用案例:原型車隊數據可視化
一位汽車OEM的工程師負責監控50輛原型車的CAN數據,目的是進行深入的后期診斷分析。通過部署虹科CANedge3數據記錄儀,工程師能夠自動收集關鍵的車輛運行數據。
數據收集與處理
■ 自動化數據上傳: 利用3G/4G蜂窩網絡,虹科CANedge3設備將二進制日志文件自動上傳至公司專用的AWS S3服務器。
■ 數據處理: 存儲在S3 input bucket中的日志文件觸發一個Lambda函數,該函數使用相應的DBC文件自動解碼數據,并將解碼后的數據轉換為Parquet格式,存儲在另一個S3 output bucket中。
數據可視化與分析
■ 定制Grafana面板: 用戶現在可以利用定制的Grafana儀表板,通過Athena插件直接查詢Parquet data lake中的數據。
■ 多維度分析: 這種設置為工程師提供了強大的工具,不僅可以進行實時監控,還可以進行深入的診斷、基準測試和統計分析,從而優化車輛性能和設計。
通過這種集成方案,汽車OEM能夠實現數據的高效管理和分析,加速研發流程,提高原型車測試的質量和效率。
采用Grafana-Athena集成方案,虹科成功為用戶實現了顯著的成本節約,成本降低超過95%。這一集成不僅優化了數據管理和可視化流程,還為其他企業在處理大規模數據時提供了一種經濟高效的Grafana面板可視化策略。更多相關信息,歡迎咨詢虹科工作人員。
虹科是一家在通訊領域,尤其是汽車電子和智能自動化領域擁有超過15年經驗的高科技公司,致力于為客戶提供CAN/CAN FD、LIN、車載以太網、TSN等全方位的一站式智能互聯解決方案。
審核編輯 黃宇
-
CAN
+關注
關注
57文章
2769瀏覽量
464387 -
記錄儀
+關注
關注
1文章
472瀏覽量
21777
發布評論請先 登錄
相關推薦
評論