在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

作為一個快速簡便的數據倉庫,Snowflake可以動態擴展

存儲D1net ? 來源:lq ? 2019-09-22 09:11 ? 次閱讀

作為一個快速簡便的數據倉庫,Snowflake可以動態擴展,以便在企業需要時為其提供所需的性能。

數據倉庫,也稱為企業數據倉庫(EDW),是用于分析的高度并行的SQL或NoSQL數據庫。它們允許企業從多個源導入數據,并從數PB的數據中快速生成復雜的報告。

數據倉庫和數據集市之間的區別在于,數據集市通常僅限于單個主題和單個部門。數據倉庫和數據湖之間的區別在于數據湖以其自然格式(通常是blob或文件)存儲數據,而數據倉庫將數據存儲為數據庫。

Snowflake簡介

Snowflake是一個完全關聯的ANSI SQL數據倉庫,它是從頭開始為云計算而構建的。它的架構將計算與存儲分開,這樣即使在查詢運行時,用戶也可以在不延遲或中斷的情況下動態地擴展。當用戶需要的時候,就能得到其所需要的性能,而且只需要為其所使用的計算資源支付費用。Snowflake目前運行在亞馬遜網絡服務和微軟Azure云平臺上。

Snowflake是一個具有矢量化執行的全列數據庫,使它能夠處理最苛刻的分析工作負載。Snowflake的自適應優化可以確保查詢自動獲得最佳性能,而無需管理索引、分發鍵或優化參數。

Snowflake憑借其獨特的多集群共享數據架構可以支持無限制的并發性。這允許多個計算集群在同一數據上同時運行,而不會降低性能。Snowflake甚至可以自動擴展以通過其多集群虛擬倉庫功能處理不同的并發需求,在峰值負載期間透明地添加計算資源,并在負載減少時縮小規模。

Snowflake的競爭對手

Snowflake在云端的競爭對手包括Amazon Redshif、Google BigQuery和Microsoft Azure SQL數據倉庫。其他主要競爭對手,如Teradata、Oracle Exadata,MarkLogic和SAP BW/4HANA,可以安裝在云端、內部部署和設備上。

Amazon Redshift

Amazon Redshift是一個快速可擴展的數據倉庫,可讓用戶分析數據倉庫和Amazon S3數據湖中的所有數據。用戶使用SQL查詢Redshift。Redshift數據倉庫是一個可以使用并發查詢負載自動部署和刪除容量的集群。但是,所有集群節點都在同一可用區中進行配置。

Microsoft Azure SQL數據倉庫

Microsoft Azure SQL數據倉庫是一個基于云計算的數據倉庫,它使用Microsoft SQL引擎和MPP(大規模并行處理)快速運行跨PB數據的復雜查詢。通過使用簡單的PolyBase T-SQL查詢將大數據導入SQL數據倉庫,然后使用大規模并行處理(MPP)的強大功能運行高性能分析,用戶可以將Azure SQL數據倉庫用作大數據解決方案的關鍵組件。

Azure SQL數據倉庫在全球40個Azure云區域中可用,但給定的倉庫服務器僅存在于單個云區域中。用戶可以按需擴展數據倉庫性能,但任何正在運行的查詢都將被取消并回滾。

Google BigQuery

Google BigQuery是一個無服務器,高度可擴展且經濟高效的云計算數據倉庫,內置GIS查詢、內置BI引擎和內置的機器學習功能。BigQuery可以快速運行數PB的SQL查詢,并且可以直接加入公共或包含數據的商業數據集。

用戶只能在創建時設置BigQuery數據集的地理位置。查詢中引用的所有表必須存儲在同一位置的數據集中。這也適用于外部數據集和存儲桶。外部Google Cloud Bigtable數據的位置還有其他限制。在默認情況下,查詢與數據在同一區域中運行。

其運行的地點可以是特定的地方,如弗吉尼亞州北部,也可以是更大的地理區域,如歐盟或美國。要將BigQuery數據集從一個區域移動到另一個區域,用戶必須將其導出到與數據集位于同一位置的Google云存儲桶,將存儲桶復制到新位置,然后將其加載到新位置的BigQuery中。

Snowflake架構

Snowflake使用虛擬計算實例來滿足其計算需求,并使用存儲服務來持久存儲數據。 Snowflake無法在私有云基礎設施(內部部署或托管)上運行。

沒有要執行的安裝,也沒有配置。所有維護和調整均由Snowflake處理。

Snowflake使用中央數據存儲庫來存儲可從數據倉庫中的所有計算節點訪問的持久數據。同時,Snowflake使用大規模并行處理(MPP)計算集群處理查詢,其中集群中的每個節點在本地存儲整個數據集的一部分。

當數據加載到Snowflake中時,Snowflake會將該數據重新組織為其內部壓縮的列式格式。內部數據對象只能通過SQL查詢訪問。用戶可以通過其Web UI、CLI(SnowSQL),來自Tableau等應用程序的ODBC和JDBC驅動程序,通過編程語言的本機連接器以及BI和ETL工具的第三方連接器連接到Snowflake。

Snowflake架構圖。需要注意,虛擬倉庫的CPU資源可以獨立于數據庫存儲進行擴展。

Snowflake功能

安全和數據保護。Snowflake提供的安全功能因版本而異。甚至標準版也提供所有數據的自動加密功能,并支持多因素身份驗證和單點登錄。企業版增加了加密數據的定期重新密鑰,企業版增加了對HIPAA和PCI DSS的支持。用戶可以選擇數據的存儲位置,這有助于符合歐盟GDPR法規。

標準和擴展SQL支持。Snowflake支持SQL:1999中定義的大多數DDL和DML,以及事務,一些高級SQL功能以及SQL:2003分析擴展(窗口函數和分組集)的部分內容。它還支持橫向和物化視圖、聚合函數、存儲過程和用戶定義的函數。

工具和接口。值得注意的是,Snowflake允許用戶從GUI或命令行控制虛擬倉庫。這包括創建、調整大小(零停機時間)、暫停和刪除倉庫。在查詢運行時調整倉庫大小非常方便,尤其是當用戶需要加速花費太多時間的查詢時。然而,任何其他EDW軟件都沒有實現。

連接Snowflake具有Python、Spark、Node.js、Go、.Net、JDBC、ODBC和dplyr-snowflakedb的連接器和/或驅動程序,這是在GitHub上維護的開源dplyr包擴展。

數據導入和導出。Snowflake可以加載各種數據和文件格式。那包括壓縮文件;分隔數據文件;JSON、Avro、ORC、Parquet和XML格式;Amazon S3數據源;本地文件。它可以批量加載和卸載表格,以及從文件中連續批量加載。

數據共享。Snowflake支持與其他Snowflake帳戶安全地共享數據。通過使用零拷貝表克隆簡化了這一過程。

Snowflake的價格因版本和地點而異。其功能因版本而異,VPS實例目前僅在AWS上可用。

Snowflake教程

Snowflake提供了不少教程和視頻。一些教程幫助用戶入門,一些教程探索特定主題,還有一些可以演示功能。

建議用戶完成《Snowflake免費試用實踐實驗室指南》中描述的實踐。這應該足以導入一些真實數據,并測試一些查詢。

這個教程大量使用Snowflake工作表,這是在Web UI中運行命令和SQL的便捷方式。除其他外,其中包括數據加載、查詢、結果緩存和克隆、半結構化數據以及恢復數據庫對象的時間旅行。

實踐教程中的Snowflake工作表(右上角)。模式信息位于左上角,查詢結果位于左下角,帶有時序的查詢歷史記錄位于右下角。

總的來說,發現Snowflake令人印象深刻。原以為它會很笨重,但事實并非如此。實際上,它的許多數據倉庫操作都比人們預期的要快得多,當有一個數據倉庫似乎在緩步前行時,可以在不中斷正在發生的事情的情況下進行干預,并增加數據倉庫的大小。

Snowflake數據倉庫配置對話框。有各種各樣的大小,有幾種選項可以自動進行集群擴展。

大部分擴展都可以自動化。在創建數據倉庫時(參見上面的屏幕截圖),可以選擇允許多個集群,設置擴展策略的選項、自動掛起的選項,以及自動恢復選項。默認的自動掛起時間為10分鐘,這使得數據倉庫在空閑時間超過該時間時不會消耗資源。自動恢復幾乎是即時的,只要對數據倉庫進行查詢就會發生。

考慮到Snowflake提供30天的免費試用期,有400美元的信用額度,而且不需要安裝任何軟件,用戶應該能夠確定Snowflake是否適合其目的,而無需任何現金支出。

費用:2美元/信用額外加上23美元/TB/月的存儲空間,并且存儲空間需要預付費。一個信用額度等于一個節點*小時,按秒計費。更高級別的計劃成本更加昂貴。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據
    +關注

    關注

    8

    文章

    7247

    瀏覽量

    91302
  • 數據集
    +關注

    關注

    4

    文章

    1223

    瀏覽量

    25315

原文標題:Snowflake將成為在云中變得更好的數據倉庫

文章出處:【微信號:D1Net11,微信公眾號:存儲D1net】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    IBM收購Hakkoda Inc.,擴展數據專業能力以推動客戶的AI轉型

    能力,幫助客戶準備好數據以推動 AI 驅動的業務運營。 Hakkoda 在數據資產遷移、現代化和變現方面擁有領先的能力,并且是屢獲殊榮的 Snowflake 合作伙伴。此次收購增強了 IBM 滿足
    的頭像 發表于 04-08 19:32 ?583次閱讀

    如何使用Java語言快速開發套智慧工地系統(源碼)

    使用Java語言快速開發套智慧工地系統,可以遵循以下步驟和策略: 1、確定系統架構 微服務架構:采用Spring Cloud構建微服務,每個服務負責
    的頭像 發表于 01-09 17:39 ?657次閱讀

    HarmonyOS Next 應用元服務開發-應用接續動態配置遷移快速啟動目標應用

    快速啟動目標應用,默認情況下,發起遷移后不會立即拉起對端的目標應用,而是等待遷移數據從源端傳輸到對端后才會拉起應用。若應用希望在用戶發起接續后立即被拉起,減少等待時間,提升體驗,可以
    發表于 12-31 09:58

    擴展您的串口設備 EU104數據轉發芯片可獨立設置通訊速率和參數 將1UART接口擴展為4

    擴展您的串口設備 EU104數據轉發芯片可獨立設置通訊速率和參數 將1UART接口擴展為4 EU104是
    的頭像 發表于 12-23 11:27 ?384次閱讀

    醫藥倉庫溫濕度監控系統應用

    醫藥倉庫作為藥品儲存的主要場所,其環境條件的控制直接影響到藥品的質量和療效,以保持其穩定性和有效性。因此,建立高效、可靠的醫藥倉庫溫濕度
    的頭像 發表于 12-17 16:16 ?597次閱讀

    XKCON祥控倉庫存儲環境溫濕度在線監測系統能夠取代人工巡檢,實現遠程倉庫存儲環境溫濕度變化的實時

    倉庫作為儲物的場所,其環境溫濕度會隨著季節更替而發生變化,這種變化會對存儲物品的質量與安全產生較大的影響。因此,倉庫的溫濕度數據就成為倉儲安全監管的
    的頭像 發表于 11-20 11:20 ?490次閱讀
    XKCON祥控<b class='flag-5'>倉庫</b>存儲環境溫濕度在線監測系統能夠取代人工巡檢,實現遠程<b class='flag-5'>倉庫</b>存儲環境溫濕度變化的實時

    探索RFID應急物資倉庫管理的創新應用

    在緊急救援行動中,時間就是生命。傳統的應急倉庫管理方法由于缺乏實時數據和自動化流程,往往導致響應速度慢和資源分配不當。快速有效的倉庫管理和物資調配對于救援工作的成功至關重要。而 RFI
    的頭像 發表于 11-14 16:44 ?490次閱讀

    云計算在大數據分析中的應用

    和處理大規模的數據集。通過云計算平臺,用戶可以快速構建數據倉庫,將海量數據進行存儲、管理和分析。這種能力使得企業能夠高效地處理PB級別的
    的頭像 發表于 10-24 09:18 ?1048次閱讀

    多功能數據采集背夾廣泛應用于用于倉庫、物流運輸等行業

    隨著信息技術的飛速發展,多功能數據采集背夾作為種創新型的智能設備,正逐步在倉庫、物流運輸等行業中展現其巨大的應用價值。這種設備以其便攜性、高效性和多功能性,成為現代企業管理中不可或缺
    的頭像 發表于 09-12 14:49 ?698次閱讀
    多功能<b class='flag-5'>數據</b>采集背夾廣泛應用于用于<b class='flag-5'>倉庫</b>、物流運輸等行業

    二維掃描PDA用于倉庫管理

    在現代物流與倉儲行業的快速發展中,二維掃描PDA作為項革命性技術,正逐步成為倉庫管理的核心工具。其卓越的信息化與自動化能力,不僅重塑了倉庫
    的頭像 發表于 09-10 14:22 ?597次閱讀
    二維掃描PDA用于<b class='flag-5'>倉庫</b>管理

    哪些關鍵點在使用動態IP作為服務器地址時需要考慮?

    在考慮使用動態IP作為服務器地址時,有幾個關鍵點需要考量,同時也有些實戰策略可以幫助優化網絡性能和SEO。 、考量因素: IP地址變化:
    的頭像 發表于 08-23 10:58 ?484次閱讀

    藥品倉庫溫濕度監控系統

    藥品倉庫作為藥品儲存的主要場所,需要特定的溫度和濕度條件,其環境條件的控制直接影響到藥品的質量和療效,以保持其穩定性和有效性。因此,建立高效、可靠的藥品
    的頭像 發表于 07-26 10:12 ?617次閱讀

    文詳解動態多點VPN技術

    應用上它具有如下優勢:分支之間可動態建立隧道傳輸數據,當兩分支在同城市,而中心在另城市時,分支之間直接發送
    發表于 07-26 06:07

    數據倉庫數據庫的主要區別

    數據倉庫數據庫是兩在信息技術領域中常見的概念,它們在數據管理和分析方面發揮著重要作用。盡管它們在某些方面有相似之處,但它們在設計、目的和功能上存在顯著差異。本文將介紹
    的頭像 發表于 07-05 14:57 ?898次閱讀

    打開esp-idf的任意component時,vscode會自動導入該component的git倉庫,怎么解決?

    當我打開esp-idf 的任意component時,vscode會自動導入該component的git倉庫,導致vscode的源碼管理非常擁擠,請問這有什么辦法解決嗎?還是我vscode設置不對導致? 希望大家能指導指導,
    發表于 06-21 07:39
    主站蜘蛛池模板: 伊人不卡久久大香线蕉综合影院 | 日韩美女拍拍免费视频网站 | 性生活一区 | 高清视频免费 | 欧美性猛交xxx嘿人猛交 | 午夜色视频在线观看 | 色接久久 | 美女网战色 | 天天射夜夜操 | 色综合久久天天综合观看 | 人人做人人澡人人人爽 | 日本欧美视频 | 天天操天天插天天射 | 黄色大片日本 | 亚洲欧洲一区二区三区在线 | 久久久久久久综合狠狠综合 | 欧美色图久久 | 亚洲一区欧美二区 | 日本天天色 | 免费人成观看在线网 | 欧美爱爱帝国综合社区 | 老师我好爽再深一点好大 | 人人看人人添人人爽 | 日本怡红 | 国产欧美视频在线 | 欧美区亚洲区 | 经典三级影院 | 成人福利在线视频 | 美女又爽又黄视频 | 国产女乱淫真高清免费视频 | 国产一区二区精品 | 国产大片91精品免费观看不卡 | 你懂的在线免费观看 | 视频一区二区三区在线观看 | 1000部啪啪| 老师受不了了好硬好大 | 欧美色图日韩色图 | 午夜视频在线观看国产www | 天天舔天天干天天操 | 五月天婷婷免费观看视频在线 | 狠狠激情五月综合婷婷俺 |