在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

對象存儲適合AI和機器學習工作負載的三個原因

如意 ? 來源:51cto ? 作者:51cto ? 2020-07-06 09:27 ? 次閱讀

各種各樣的企業在加快AI機器學習項目,但要真正發揮潛力,需要克服重大的技術障礙。雖然計算基礎架構常常是關注的重點,但存儲同樣重要。這三個主要的原因表明了為什么對象存儲(而不是文件存儲或塊存儲)特別適合AI和機器學習工作負載:

1. 可擴展性——有龐大且多樣的數據源可供學習時,AI和機器學習最有效。數據科學家利用這些豐富的數據來訓練領域模型。在“大數據的五個V”(容量、種類、速度、準確性和價值)中,前兩個(容量和種類)最重要。簡而言之,AI和機器學習依賴大量多樣化的數據(圖像、文本、結構化和半結構化數據),構建有用的模型、提供準確的結果并最終提供業務價值。

對象存儲是最具擴展性的存儲架構,特別適合支持AI和機器學習所需的大量數據。對象存儲旨在通過橫向擴展方法支持無限增長,使企業組織能夠通過隨時隨地添加節點來擴大部署范圍。由于對象存儲使用單個全局命名空間,也可以同時跨多個地方進行這種擴展。另一方面,文件和塊系統通常采用縱向擴展方法。這意味著這種平臺通過為單個節點添加更多計算資源實現縱向擴展,這種方法最終受到限制。它們無法通過部署額外節點來增加計算資源以高效地橫向擴展。

2. API——健壯靈活的數據API對于AI和機器學習很重要,如前所述,AI和機器學習使用多種類型的數據。存儲平臺需要支持API以容納各種數據。此外,AI和機器學習方面的創新日益在公共云上完成,但是仍有相當一部分的AI和機器學習在本地或私有云中進行,這取決于使用場合的具體情況(比如說,科學研究和醫療保健等領域的容量密集型工作負載往往最適合私有云)。這意味著企業需要在公共云和本地/私有云中都支持工作負載的存儲API。

文件和塊存儲平臺在它們支持的API方面受到限制,部分原因是它們是較舊的架構。相比之下,對象存儲使用云端更高級的API,這種API旨在以應用程序為中心,并支持比文件和塊存儲更廣泛的API,包括版本控制、生命周期管理、加密、對象鎖定和元數據。此外,支持AI和機器學習使用場景的新對象存儲API(比如支持流數據和海量數據集的查詢)也有可能。

由于對象存儲API圍繞Amazon S3實現了標準化,更容易整合本地和公共云中的軟件。企業可以輕松地將部署的AI和機器學習從本地/私有云環境擴展到公共云,或者將云原生的AI和機器學習工作負載遷移到本地環境,功能不會減損。這種雙模式方法使企業能夠以合作、可互換的方式利用本地/私有云和公共云上的資源。

由于S3 API已成為對象存儲事實上的標準,許多軟件工具和庫都可以充分利用該API。這允許共享代碼、軟件和工具,促進AI/機器學習社區更快速的開發。例子包括流行的機器學習平臺,比如擁有內置S3 API的TensorFlow和Apache Spark。

3.元數據——與API一樣,使用AI和機器學習的企業利用無限制、可自定義的元數據顯得至關重要。元數據就是關于數據的數據——從最基本的層面上講,某個數據何時在何地創建、創建者是誰。但是元數據可以描述更多信息:用戶可以創建任意的元數據標簽來描述他們需要的任何屬性。

數據科學家需要豐富的元數據來查找特定數據以構建和使用AI和機器學習模型。隨著更多信息添加到數據中,元數據注釋便于逐步積累知識。

文件和塊存儲僅支持有限的元數據,比如上述基本屬性。這在很大程度上歸結為可擴展性,因為文件和塊系統無力支持快速無縫的增長,如果存儲系統為依賴龐大數據集的AI和機器學習應用程序支持豐富的元數據,自然會出現這種情況。然而,對象存儲支持無限制的、完全可自定義的元數據,從而更容易找到用于AI和機器學習算法的數據,并從中獲得更準確的信息。

以一家醫院針對X射線圖像使用圖像識別應用程序為例:有了元數據,可以使用TensorFlow模型來分析添加到對象存儲系統的每個圖像,然后為每個圖像分配細化的元數據標簽(比如,傷病類型、基于骨骼大小或生長情況來判斷患者的年齡或性別)。然后可以針對該元數據訓練TensorFlow模型,并加以分析,對患者獲得新的寶貴信息(比如說,二三十歲的女性比五年前更容易患骨骼疾病)。

幾乎每家《財富》 500強公司都在大張旗鼓地搞AI和機器學習,可以想象這些技術在可預見的將來將是最重要的企業IT項目。然而,AI/機器學習項目要獲得回報,企業就要使用合適的存儲基礎架構。由于可擴展性、支持各種API(尤其是S3)和豐富的元數據,對象存儲可謂是AI和機器學習的最佳支柱。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 存儲
    +關注

    關注

    13

    文章

    4359

    瀏覽量

    86205
收藏 人收藏

    評論

    相關推薦

    對象存儲是什么結構類型?

    對象存儲屬于非結構化數據存儲架構,采用扁平化命名空間結構。其核心通過唯一標識符(ObjectID)定位數據對象,突破傳統文件系統的層級目錄限制,形成"桶-
    的頭像 發表于 02-10 11:14 ?17次閱讀

    HPC工作負載管理的關鍵要素

    HPC工作負載管理是一復雜而精細的過程,涉及資源分配、作業調度、性能監控與優化以及故障處理與恢復等多個關鍵要素。下面,AI部落小編帶您了解HPC
    的頭像 發表于 02-08 09:53 ?38次閱讀

    IBM Storage -?支持AI應用場景的數據存儲軟硬件解決方案

    為了解決數據和工作負載在各地分散的現狀,需要實現對存儲在分布式文件和對象存儲系統中的大量非結構化數據的高速訪問。IBM Storage利用人
    的頭像 發表于 12-30 15:00 ?199次閱讀
    IBM Storage -?支持<b class='flag-5'>AI</b>應用場景的數據<b class='flag-5'>存儲</b>軟硬件解決方案

    深度學習工作負載中GPU與LPU的主要差異

    ,一新的競爭力量——LPU(Language Processing Unit,語言處理單元)已悄然登場,LPU專注于解決自然語言處理(NLP)任務中的順序性問題,是構建AI應用不可或缺的一環。 本文旨在探討深度學習
    的頭像 發表于 12-09 11:01 ?2021次閱讀
    深度<b class='flag-5'>學習</b><b class='flag-5'>工作</b><b class='flag-5'>負載</b>中GPU與LPU的主要差異

    關于對象存儲和云硬盤區別,你了解多少?

    掛載到云服務器上使用,適合高性能、低延遲的數據庫和文件系統存儲。選擇哪種方案應根據具體業務需求和數據類型決定。UU云小編將從定義特點、使用方式與共享、存儲與訪問特性、應用場景等四方面
    的頭像 發表于 11-01 10:57 ?210次閱讀

    AI大模型與傳統機器學習的區別

    多個神經網絡層組成,每個層都包含大量的神經元和權重參數。 傳統機器學習 :模型規模相對較小,參數數量通常只有幾千到幾百萬,模型結構相對簡單。 二、訓練數據需求 AI大模型 :需要大規
    的頭像 發表于 10-23 15:01 ?1136次閱讀

    使用帶有三個DC-DC模塊的UCC39002的48VIN、12VOUT負載共享系統

    電子發燒友網站提供《使用帶有三個DC-DC模塊的UCC39002的48VIN、12VOUT負載共享系統.pdf》資料免費下載
    發表于 10-22 10:23 ?0次下載
    使用帶有<b class='flag-5'>三個</b>DC-DC模塊的UCC39002的48VIN、12VOUT<b class='flag-5'>負載</b>共享系統

    RISC-V如何支持不同的AI機器學習框架和庫?

    RISC-V如何支持不同的AI機器學習框架和庫?還請壇友們多多指教一下。
    發表于 10-10 22:24

    AI引擎機器學習陣列指南

    云端動態工作負載以及超高帶寬網絡,同時還可提供高級安全性功能。AI 和數據科學家以及軟硬件開發者均可充分利用高計算密度的優勢來加速提升任何應用的性能。AI 引擎
    的頭像 發表于 09-18 09:16 ?482次閱讀
    <b class='flag-5'>AI</b>引擎<b class='flag-5'>機器</b><b class='flag-5'>學習</b>陣列指南

    機器人語言系統包括三個基本狀態

    機器人語言系統(有時也被稱為機器人語言操作系統)確實包括三個基本狀態,這些狀態是機器人程序運行和管理的核心組成部分。它們分別是: 監控狀態 :在此狀態下,系統負責對
    的頭像 發表于 09-04 09:24 ?667次閱讀

    LM258A兩上電后燒穿,三個不正常工作是什么原因導致的?

    您好 客戶在使用LM258AD/SOIC-8,小批100臺,遇到兩上電后燒穿,三個不正常工作。原理圖如下, VDD± 12V,輸出DC 2.5V,麻煩問下,可能是什么原因,有沒有好
    發表于 08-02 11:54

    簡述極管的三個工作區域

    極管的三個區域,通常指的是其在不同工作條件下的狀態區域,即截止區、放大區和飽和區。這三個區域定義了極管在不同電壓和電流條件下的行為特性,
    的頭像 發表于 07-29 10:50 ?4208次閱讀

    可調變阻器三個引腳怎么區分

    的區分對于正確使用可調變阻器至關重要。本文將介紹可調變阻器的三個引腳的區分方法。 一、可調變阻器的工作原理 在了解可調變阻器的三個引腳之前,我們首先需要了解其工作原理。可調變阻器主要由
    的頭像 發表于 07-24 11:12 ?1516次閱讀

    機器人視覺可以分為哪三個部分?

    機器人視覺是機器人技術中的一重要分支,它涉及到圖像處理、計算機視覺、機器學習等多個領域。機器
    的頭像 發表于 07-04 11:17 ?743次閱讀

    籬笆三個樁——記晶體極管的發明

    籬笆三個樁——記晶體極管的發明
    的頭像 發表于 05-12 08:14 ?895次閱讀
    一<b class='flag-5'>個</b>籬笆<b class='flag-5'>三個</b>樁——記晶體<b class='flag-5'>三</b>極管的發明
    主站蜘蛛池模板: 黄色大片日本 | 欧美18性精品 | 色综合久久九月婷婷色综合 | 天天狠狠| 啪啪91视频 | 悠悠影院欧美日韩国产 | 亚1州区2区三区4区产品 | 男人的视频网站 | 亚洲卡1卡2卡新区网站 | 六月婷婷七月丁香 | 国产二区三区 | 久久免费福利视频 | 精品美女在线观看 | 免费香蕉视频国产在线看 | 1024手机免费看片 | 人成xxxwww免费视频 | 色久月 | 狠狠做深爱婷婷久久一区 | 激情丁香婷婷 | 特黄免费| 免费的很黄很色的床小视频 | 亚洲激情视频网站 | 深爱五月综合网 | 天堂网www天堂在线资源链接 | 中文字幕卡二和卡三的视频 | 成人国产精品一级毛片了 | 好紧好爽的午夜寂寞视频 | 人人干网| 国产成人精品曰本亚洲78 | 日本又粗又长一进一出抽搐 | 婷婷射丁香 | 午夜免费啪啪 | 国产亚洲美女精品久久久久狼 | 非常黄的网站 | 精品特级毛片 | 欧美在线观看www | 免费视频现线观看 | 中国china体内裑精亚洲毛片 | 日本一区二区高清免费不卡 | 你懂得网址在线观看 | 天天精品视频在线观看资源 |