阿里云原生多模數據庫 Lindorm 針對工業物聯網數據高并發寫入,實時存取等特點,創新性地融合時序、索引、寬表等多模引擎能力,為存儲、分析低價值密度、高通量、高實時性的工業物聯網監控數據提供了高性價比的最優解決方案,大幅度降低了數據存儲和存儲系統運維成本。
圖撲軟件(Hightopo)成立于 2013 年,總部位于廈門,在北京、上海、天津、大連、 青島等地設有分支機構。公司聚焦工業物聯網監控運維可視化應用領域,為客戶提供從咨詢、設計、實施到售后的全方位可視化管理支持服務。圖撲軟件專注基于Web 的 2D 和 3D 圖形界面組件技術,致力于讓完全獨立自主知識產權的 HT for Web 軟件走向世界之巔。公司系列產品 HT for Web 已應用于電信、電力、交通、水利、石化、制造、醫療、工控等行業場景。
業務要求與挑戰
5G、云計算、邊緣計算等智能、互聯技術的快速發展,推動了工業物聯網IIoT場景下各種軟件、硬件傳感器數量激增,與之對映的采集數據量和數據類型快速增長,導致數據存儲、檢索難度更大。現有解決方案中,通常依賴自建單ElasticSearch檢索引擎或OpenTSDB、Prometheus等時序引擎搭建數據存儲,而采集數據類型多樣化使得單模引擎存儲方案技術復雜且運維成本高,市場需要新一代云原生且具備多模檢索能力的存儲系統。
某著名IT咨詢公司預測,工業物聯網市場規模在2025年可能達到3.7萬億美元,但統計數據顯示,現在只有不到30%的供應商從中盈利,大多數企業都陷入了技術陷阱之中。新技術在創造新機遇帶動產業升級的同時也帶來了新的技術挑戰,更加復雜的系統架構和更高的性能、穩定性要求制約了工業物聯網系統實施落地,企業需要專業技術公司來幫助解決數據采集、傳輸、存儲、分析及可視化全鏈數據處理系統建設難點。
解決方案
廈門圖撲軟件致力于解決工業物聯網全鏈路數據處理最后一公里的數據可視化環節技術難點。面向工業物聯網IIoT場景,圖撲軟件提供監控系統監控可視化解決方案,其產品可用于快速創建和部署,高度可定制化,并具有強大交互功能的拓撲圖形及表盤圖表等應用,非常適用于實時監控系統的界面呈現,廣泛應用于電信網絡拓撲和設備管理,以及電力、燃氣等工業自動化 (HMI/SCADA) 領域。
對于需要實時采集海量數據的生產線、風電廠和智能交通態勢感知數據的場景,為了實現實時數據采集、存儲、索引和聚合,原存儲方案中采用了ElasticSearch、Prometheus、Hbase分別存儲從現場傳感器、第三方系統和用戶終端設備采集的時序指標、日志、用戶體驗、網絡流量等數據,隨著數據量增加,可視化展示界面場景復雜化,數據存儲和運維成本激增,檢索難度快速上升,嚴重制約了交付效果。
針對存儲層面臨的問題,廈門圖撲軟件基于阿里云Lindorm云原生多模數據庫改造存儲層架構,以單庫多模超融合模式存儲全量采集的監控數據(技術方案對比如2所示),極大地簡化了存儲層架構,進而降低了運維成本。利用Lindorm自研的數據壓縮存儲和存儲優化能力,海量低價值密度的監控數據存儲成本也有大幅度降低。
為適應日趨復雜化多樣化的終端設備、邊緣設備、傳感器以及第三方系統數據源采集、上報的異構數據,如圖所示,阿里云Lindorm在云端單實例融合了寬表、索引、時序等多種數據引擎能力,通過阿里云DTS/DMS或第三方開源數據交換/ETL軟件(如Apache nifi、Sqoop等)打通多引擎數據交互通道,根據應用場景業務來適配數據。面向上層數據可視化、分析系統,Lindorm提供更為便捷的開發期SDK和REST API數據對接方案,同時兼容OpenTSDB、Prometheus、Hbase等原生接口,無縫對接主流生態,進一步簡化了圖撲軟件集成部署成本。
目前圖撲軟件聯合阿里云端支撐某行業領先泛在電力物聯網及智能樓宇行業客戶實現終端設備傳感器云端數據采集、存儲、檢索,實現并發量100萬TPS以上的傳感器采集數據的并發寫入,最高存儲時序時間線40萬能力,節約數據存儲和系統維護成本達6成,實現效果如圖4、圖5所示。
fqj
評論