在瞬息萬變的信息時代，成功從數據中獲取有價值信息的企業(yè)，將在競爭日益激烈的市場中保持其獨有的競爭力。對于以數據為驅動力的企業(yè)來說，可能會對隱藏在海量數據中的業(yè)務和客戶有著比較全面的認知，同時，這也是為什么智能虛擬化技術致力于消除數據孤島的原因。

數據湖是大勢所趨嗎？

未來，數據只會變得更加多樣化、動態(tài)化和分散化。許多企業(yè)試圖收集他們全部的數據，并通過將全部數據拋入一個數據湖中來使其可訪問，數據湖可以以其原始格式來保存數據，直到需要進行分析為止。

這種做法或多或少還是有說服力的，大部分公司是可以承擔得起數據科學家收集，翻譯并分析數據湖中各種類型數據的費用。

對數據即存即取的需求已日趨強烈！

企業(yè)間競相收集和分析盡可能多的數據，旨在獲得與同行相比哪怕是很微小的競爭優(yōu)勢。傳統的數據湖無法處理新出現的數據源和正在創(chuàng)建的新的本地數據庫。

查詢必須匹配用戶正在使用的特定數據庫，因此用戶擁有的數據庫越多，就需要使用更多的查詢語言。重要的是，在一個數據湖中集成不同的數據，仍然需要人工處理以使其具備可訪問性和可讀性，這項工程對于數據工程師和數據科學家來說是非常耗時的。

數據湖缺乏靈活性，在數據驅動的經濟中將不再適用

因此，許多企業(yè)正在把目光轉向數據虛擬化，以優(yōu)化其分析和BI。BI和數據正連接他們所有的數據，并使其可從一個地方讀取和訪問。

并非所有的數據虛擬化都是相同的。

數據虛擬化創(chuàng)建了一個軟件虛擬化層，該層集成了所有跨企業(yè)的數據。無論數據的格式是什么，或者數據駐留在哪一個筒倉、服務器或云中，數據都會被轉換成一種通用的業(yè)務語言，并可以從單個門戶訪問。

從理論上講，這賦予了組織一個共享的數據湖，所有不同的業(yè)務單位和業(yè)務用戶都可以立即訪問他們需要的數據。擁有快速訪問權限，使企業(yè)能夠為共享目的做出數據驅動的決策。

然而，很多數據虛擬化解決方案并沒有達到分析的理想效果。這有幾個關鍵原因：

01、專有格式

不少數據虛擬化供應商會將所有數據合并且轉換成一種專有格式。雖然合并允許將數據集成到單個視圖的單個位置，但供應商的專有格式常常將數據簡化為最小的公共分母狀態(tài)。

公共分母狀態(tài)可能致使某些數據出現偏差，失去特定的功能，甚至在轉換的過程中丟失。有些數據還可能要求其原始數據庫的上下文是關聯的。因此，用戶可能會從錯誤的數據中汲取信息，并做出適得其反的商業(yè)決策。

02、BI工具不兼容

BI工具對于企業(yè)來說是一筆金額相當大的投資。大多數企業(yè)級公司在不同部門擁有幾種不同類型的BI工具。例如，一個部門可能使用Tableau，而另一個部門可能使用MicrosoftPowerBI或Excel。

要讓大數據分析在企業(yè)中充分發(fā)揮作用，前提是不管用戶喜歡使用什么工具，數據都是易于發(fā)現，并能被所有的用戶訪問。

許多供應商使用的專用數據格式可能無法與公司已經投入的技術進行互操作。不同的工具使用不同的查詢語言，顯示數據的方式也各不相同。當定義不一致的數據被集成時，分析過程中可能會出現代價慘痛的失誤。

選擇合適的BI工具對于盡量減少業(yè)務中斷，最大限度地提高用戶的生產力至關重要。

03、查詢限制

隨著數據不斷增長和技術的快速發(fā)展，查詢會變得越來越復雜，這對于分析工作負載和處理大規(guī)模數據來說并不太理想。管理的數據源越多，就越需要更多的數據工程來支持快速、交互式的查詢。

分布式連接移動大量數據并不適用于交互式查詢。它給企業(yè)基礎結構帶來了不可預測和不可接受的壓力，而簡單的數據緩存對于動態(tài)查詢環(huán)境和當今的數據大小來說是不夠的。

當將BI和AI工作負載添加到混合工作負載中時，性能會迅速下降，從而促使最終用戶尋找其他直接訪問數據的路徑，這就使數據虛擬化沒有利好可言。

除了這些擴展缺陷之外，傳統的虛擬化產品在解決分析用例方面表現的也很差強人意。

擴展大型且復雜的數據服務需要對細節(jié)有深入了解：有關數據的統計、所涉及的數據庫、共享資源的負載、數據使用者的用例和意圖、安全性約束等。

虛擬化解決方案需要為用戶提供其數據的業(yè)務整體視圖，包括層次結構、度量、維度、屬性和時間序列。

數據虛擬化應該提供什么？

大多數數據虛擬化解決方案的發(fā)展步伐與今天的數據集和數據科學實踐不同，仍然依賴于傳統的數據聯合方法和簡單的緩存技術。然而，還有更多的下一代智能數據虛擬化專為當今復雜且對時間敏感的BI需求而設計。

如果你的數據虛擬化解決方案沒有提供以下功能，那就說明它不夠智能。

01、自主數據工程

人類永遠不可能是完美的；幸運的是，計算機可以。

鑒于現代數據體系結構的復雜性，人類面對這一問題根本是就束手無策，至少不能以現在保持競爭力所需的速度進行運算。這就是數據虛擬化解決方案需要提供自主的數據工程的原因。

自主數據工程可以根據無數的連接和計算結果自動推斷出優(yōu)化結果，而這是人腦無法達到的。機器學習(ML)是用來剖析公司的所有數據并檢查它是如何被查詢并集成到整個組織的所有用戶正在構建的數據模型中的。

自動化數據工程可盡可能節(jié)省大量的資金和資源，同時釋放數據工程師來執(zhí)行對組織更有價值的更復雜的任務。

02、加速結構

智能數據虛擬化還可以自動實現將數據放入特定的數據庫，從而達到最佳的性能。

有許多類型的數據和不同的格式比較適合這些數據。

智能數據虛擬化可以基于生成最佳性能的位置自動決定將數據放在哪個平臺上。不同的數據平臺具有不同的優(yōu)勢。例如，如果用戶的數據模型和查詢正在處理時間序列數據，那么智能數據虛擬化將在數據庫中放置一個針對時間序列數據進行優(yōu)化的加速結構。從而自動獲悉哪個數據庫具有哪些優(yōu)勢，然后加以利用，不同數據庫類型的可變性都能將其轉化為優(yōu)勢。

加速度結構可節(jié)省大量云運營成本。根據用戶正在使用的平臺，可能會對數據庫的存儲大小、運行的查詢數量、查詢中正在移動的數據、問題中的行數、查詢的復雜性或其他變量收取費用。

例如，使用GoogleBigQuery，需要支付的金額與數據庫的大小以及查詢的復雜程度成正比。

當用戶自動使用加速結構進行性能和成本優(yōu)化時，只對在加速聚合中使用的查詢數據收取費用，而不是對整個數據庫的大小。

03、自動數據建模

下一代數據虛擬化不僅提供對數據的轉換和訪問，智能數據虛擬化還可以自動獲悉每個數據平臺的功能和局限性。它會自動識別哪些信息是可用的，以及如何在建立模型時將其與其他數據合并和集成。

智能數據虛擬化可以對用于創(chuàng)建舊版報表的數據模型和查詢進行逆向運作，因此用戶可以繼續(xù)使用相同的報表，而不必重新構建數據模型或查詢。例如，如果用戶在舊系統中創(chuàng)建了一個TPS報告，則仍然可以能夠在新系統中檢索到它。

有些查詢可能是在舊數據基礎上運行的，但它們仍然可以在新系統上運行，而無需任何重寫。

04、支持自助服務

近年來，IT的很多方面變得“大眾化”了--也就是說，技術的進步(尤其是云計算)使它們變得“大眾化”。使得那些沒有廣泛技術基礎的外行人也可以使用這些技術。雖然分析和商業(yè)智能已經落后于民主化趨勢，但是BI工具現在越來越適合普通大眾使用。

BI的使用引導了一種新的“自助服務”分析文化的發(fā)展，在這種文化中，業(yè)務用戶可以使用自己喜歡的BI工具直接訪問和分析數據，而不必依賴數據工程師或數據分析人員。

自助分析正迅速成為企業(yè)中優(yōu)化大數據分析的必要手段。

例如，假設銷售部門保存有關于前一年的支出的數據，但希望使用關于多個領域的客戶行為模式的數據來進行補充?；蛘?，營銷部門需要發(fā)起一場基于賬戶的營銷活動，目標是那些被認為最有可能更換供應商的公司。

通過自助服務分析，銷售或營銷部門的業(yè)務用戶可以訪問這些數據，并使用恰當的工具調用這些數據。自助分析被使用，而不是依賴于訓練有素的數據工程師來為BI工具獲取數據，以及數據科學家來建模和預測。

借助自助服務動態(tài)，組織中的每個部門都可以將自己的經驗和專業(yè)知識應用于BI，從而實現全新的便利性。

智能數據虛擬化提供了一個業(yè)務邏輯層，它實際上將所有數據轉換為一種公共業(yè)務語言，這種語言既與源無關，也與工具無關。有了邏輯層，就意味著業(yè)務用戶可以使用他們喜歡的任何BI工具，且不必屈從于BI軟件的單一標準。

無論用戶使用什么工具或使用多少工具，所有數據都是可訪問的，并且所有查詢都將返回一致的答案。標準和邏輯的解釋使企業(yè)具備共享數據智能和自助服務文化的能力，而這種文化在當今數據驅動的業(yè)務環(huán)境中變得越來越必要。

05、安全保障

在追求數據用戶化的過程中，無論便利性和成本效益如何，都不能犧牲安全性和合規(guī)性。

眾所周知，虛擬化層會帶來安全風險。但是，使用下一代智能數據虛擬化，數據將繼承了所有數據庫的安全和治理策略。透明的管理過程意味著用戶的權限和策略保持不變。

通過跟蹤數據的源頭和用戶身份，將所有現有的安全和隱私信息保存到各個用戶。

即使在使用具有不同的安全政策的多個數據庫時，這些策略也可以被無縫地合并，并且自動應用于全局安全和遵從協議。在采用智能數據虛擬化之后，不需要采取其他步驟來確保安全性和遵從性。

數據虛擬化必須隨著其他IT部門的發(fā)展而發(fā)展

對企業(yè)而言，擁有用戶化的數據和擁有可讀、可訪問和可靠的數據同樣重要，但現如今，不少公司都陷于海量數據的泥淖。越來越多的分布式模型以動態(tài)和多樣化的格式和用例添加到數據中。（子午物聯ziwuiot.com）如果用戶無法快速找到并分析所需數據，并確信它們的準確性和最新性，BI質量就會下降，從而導致基于數據的決策不夠理想。

因此，數據虛擬化需要不斷發(fā)展以應對這些新的挑戰(zhàn)和復雜性，這樣它才能真正地用于大數據分析。

如果數據虛擬化解決方案不能提供自主的數據工程，加速結構，如自動數據建模，自助服務分析，就存在問題了。用戶需要無后顧之憂的安全性和遵從性，或者是平臺語言的多維語義層。如果沒有這些流程，那么數據虛擬化解決方案就一定不夠智能。
責任編輯；zl