5G、IoT、AI等眾多新技術的涌現(xiàn)，人們的工作和生活都發(fā)生了極大的變化，一個智能數據時代正在到來。這不僅進一步凸顯了大數據的底座價值，也給數據的分析利用帶來了更多的挑戰(zhàn)。

在今日的在華為云TechWave大數據專題日上，華為云人工智能領域總裁賈永利解讀了最新的發(fā)展趨勢，分享了FusionInsight智能數據湖解決方案等華為云在大數據技術上的實踐與創(chuàng)新，以幫助千行百業(yè)“管好數據、用好數據”，充分釋放數據的價值。

數據分析利用面臨多重挑戰(zhàn)

回首從90年代到今天，人類經歷了PC時代、互聯(lián)網時代、移動互聯(lián)網時代，隨著不同技術的演進，數據也發(fā)生了巨大的變化。

賈永利解讀說，首先，數據的規(guī)模越來越大。近年來，無論是面向ToB領域、還是ToC領域，隨著技術的發(fā)展、需求的增長，企業(yè)、個人、設備都在時時刻刻產生數據，數據的體積越來越大。

同時，數據種類越來越多，逐步走向多樣性。除了我們熟悉的結構化數據，出現(xiàn)了更多的非結構化數據，比如視頻、圖像、語音、文本等，并且這些多樣性的數據需要用多樣性的算力去處理，這也給數據處理帶來了更加復雜的挑戰(zhàn)。

第三，應用對數據處理的時效性要求越來越高。很多場景下，我們需要數據進入系統(tǒng)時就可以被查詢、被分析，這個時間差要求越來越短。比如在工業(yè)領域，設備的持續(xù)數據處理要求就非常高；在金融領域，交易信息、風控信息對數據處理的時延要求亦遠超以往。

最后，對于數據融合分析的要求也越來越高。很多場景下，我們希望不止分析當前數據，更希望歷史數據和實時數據進行聯(lián)合分析，隨著分析和交易越發(fā)緊密、融合，分析的結果、規(guī)則越來越多地被注入到實時交易系統(tǒng)中。

不同行業(yè)的數據特點與訴求

在解讀數據變化以及隨之而來的挑戰(zhàn)的同時，賈永利亦在發(fā)言中剖析了不同行業(yè)數據的特點與他們的訴求。

以運營商為例，隨著5G的到來，產生的數據、需要處理的數據顯著增加。有預測認為，5G的到來將帶來至少8倍以上的數據體積膨脹，那么就需要很多處理系統(tǒng)，需要從單集群走向多集群——能不能處理好數據成為一個首要目標。

從廣大政企行業(yè)來看，越來越多的多樣性數據如何統(tǒng)一處理，是否遵循同一套標準、規(guī)范，從而能夠讓整個數據在處理過程中可管可控，更高效協(xié)同不同組織、不同廠家進行開發(fā)，也極為關鍵。而像金融領域、工業(yè)領域對數據處理的實時性要求極為苛刻，為了避免業(yè)務中斷過程造成的損失，實時性就成為了核心訴求。

此外，為了高效挖掘數據價值，千行百業(yè)的數據融合分析已成大勢所趨。是否可以通過一站式的分析平臺，全局使用一份數據，從而能夠更全面、精準地進行分析，從海量數據中找到客戶真正想要的價值，變得越來越重要。

圍繞數據全生命周期提供整體解決方案

為了應對企業(yè)面臨的各種挑戰(zhàn)，在數據域，華為云提出了FusionInsight智能數據湖解決方案，圍繞客戶“采、存、算、管、用”等數據全生命周期提供整體解決方案。

從架構上來看，華為云FusionInsight智能數據湖解決方案是一個開放的架構，充分利用了數據域的處理能力和云自身的云原生（Cloud-Native）能力進行融合，率先做到了真正的基于云原生存算分離的架構和實現(xiàn)，讓數據規(guī)模可管理不再是一個難題。

華為云FusionInsight智能數據湖方案主要包含MRS大數據、GaussDB（DWS）數據倉庫、GES圖計算、一站式數據運營平臺DAYU等云服務。其中，華為云FusionInsight MRS大數據、GaussDB（DWS）數據倉庫，可助力客戶在數字化轉型中構建堅實的數據底座，并通過HetuEngine數據虛擬化引擎簡化用數，提高效率。

同時，為標準化多樣性數據，一站式數據運營平臺DAYU向下可接入日志、文本、視頻、音頻、圖片等各類型數據，基于多樣性算力與CarbonData實現(xiàn)全局一份數據的統(tǒng)一格式存儲；向上為伙伴開發(fā)50+數據集成開發(fā)API，使能數據，攜手生態(tài)伙伴打造各行業(yè)應用。

目前，華為云FusionInsight已廣泛應用于政府、金融、運營商、大企業(yè)、互聯(lián)網等行業(yè)，攜手800多家合作伙伴，為全球60多個國家和地區(qū)的3000多家政企客戶提供服務。

華為云重磅發(fā)布實時數倉產品

為響應政企用戶在IoT和運維監(jiān)控等場景下對數據倉庫時效性的需求，華為云發(fā)布了GaussDB（DWS） 實時數倉新品，引入了HetuEngine和CarbonDate兩個重要引擎，具備快、易、簡、省四大特點。

HetuEngine可以幫助企業(yè)構建一個虛擬化數據分析引擎，有了這個引擎就可以分析多元、多域更為復雜場景下的數據。CarbonDate可以圍繞數據的存儲進行一系列優(yōu)化和數據格式組織，從而實現(xiàn)全局一份數據、以統(tǒng)一的格式存儲，能夠給北向提供更加豐富的開發(fā)API，使數據集成更容易、使用更高效。

在“快”方面，GaussDB（DWS）實時數倉時序數據單機入庫性能支持每秒10萬條數據、每秒60萬條流數據持續(xù)計算入庫，并可線性擴展。這樣無論在工業(yè)領域、金融領域，抑或物聯(lián)網領域，都可以解決很多目前所無法解決的問題。

在“易”方面，GaussDB（DWS） 實時數倉支持基于SQL完成復雜流式計算語義定義，簡化開發(fā)。以Druid監(jiān)控的一個場景為例，僅用150行SQL代碼就實現(xiàn)了原有1900行Druid腳本同樣的功能，實現(xiàn)超過十倍的提升。

在“簡”方面，GaussDB（DWS） 實時數倉實現(xiàn)了1 = N。在一個平臺內，同時實現(xiàn)Flink/Spark Streaming（流數據處理）+Druid（流數據預聚合）+InfluxDB（時序數據處理），簡化了開發(fā)和運維工作。

在“省”方面，時序數據經過實時數倉的自適應壓縮算法，最高可達40:1的壓縮比，將多維度行列存儲優(yōu)化，數據冷熱溫自動分區(qū)，從而極大地減少存儲空間，節(jié)省用戶成本。

“華為云將圍繞數據持續(xù)進行創(chuàng)新，聯(lián)合客戶和合作伙伴，通過更好的技術，幫助千行百業(yè)真正管好自己的數據、用好自己的數據，釋放數據的價值。”在發(fā)言的最后，賈永利如是說道。

責任編輯：gt