在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

如何跨AIoT數據管道實施NVMe-oF共享存儲

倩倩 ? 來源:百度粉絲網 ? 2020-09-11 14:03 ? 次閱讀

到2023年,物聯網IoT)預計將包含近300億個互聯設備。這些物聯網設備可在網絡上創建和傳輸大量數據。但是數據所有者如何從傳輸的數據中獲得情報?那就是AIoT誕生的地方,即人工智能(AI)和IoT的結合。

AIoT將智能處理功能添加到IoT設備收集的各種大型數據集中。它使企業能夠分析數據并提供見解。如今,AIoT在互聯用例(例如用于遠程患者監控和預防醫學的醫療保健)中仍然存在;在制造業中的機器人領域;在自動駕駛汽車中;在網絡監控中;并在諸如C3.ai數字轉化研究所的研究中努力減輕流行病并防止未來的傳染病爆發。對于需要深度篩選大量數據以執行深度學習算法的任何用例,AIoT是一種功能強大的工具。它是自我學習,自我監控和自我修復。AIoT使預測決策具有很高的預測精度,遠遠超過了人類。

AIoT面臨的挑戰是系統涉及具有多個階段的復雜數據管道。企業不僅需要處理來自物聯網的數據的數量,種類,速度和準確性,還需要在實現AI解決方案時保持模型質量,數據訪問延遲,吞吐量和數據緩存功能。如果優化了計算系統以快速處理數據,那么除非建立正確的計算,存儲和內存組合,否則將數據導入這些系統可能會成為瓶頸。

存儲是關鍵基礎,需要解決AIoT數據管道的所有階段,從攝取到數據準備再到模型訓練和推理,并仔細考慮TCO,性能和功耗要求。它還需要滿足AI工作負載不斷變化的需求。企業正在轉向NVMe閃存來滿足AI所需的高吞吐量和低延遲,但是讓我們通過基于結構的NVMe(NVMe-oF)進一步邁出一步

一種新方法–共享存儲

一種新方法是將可組合的分解基礎架構(CDI)與NVMe閃存,GPU池和大容量存儲系統結合使用,以在動態的,軟件定義的應用程序環境中實現快速響應時間和AI的擴展需求。

CDI會從物理上分解資源(計算,網絡,存儲和GPU),并根據特定應用程序的需要將它們匯總在一起。這樣可以靈活,獨立地擴展資源,以滿足AI工作負載不斷變化的需求。

可組合存儲將大大提高企業調配和優化其數據基礎架構以滿足動態應用程序需求的靈活性和靈活性。

CDI允許在許多主機之間共享和擴展存儲,網絡和計算資源。與融合系統不同,當數據隨著服務器容量的增長而增長時,它避免了后續數據進出GPU服務器本地SSD的延遲。它可以立即訪問共享閃存中經過訓練的模型和數據,并可以快速響應。

選擇存儲解決方案時,具有NVMe閃存的開放式可組合基礎架構可以跨團隊無縫分配共享存儲池,以提高效率,成本和CIO關心的KPI指標。

如何跨AIoT數據管道實施NVMe-oF共享存儲

實施AI計劃時,重要的是設計一種存儲基礎架構,以支持前所未有的AIoT數據量。優化TCO和效率的一種方法是查看AI工作負載的每個階段,以確定哪種存儲類型最適合每個階段。NVMe-oF共享存儲幾乎適用于AIoT工作流程的所有階段:

接收 – 接收階段需要具有速度和規模,以維持從IoT系統傳入的數據的數量和速度。要提取到臨時著陸區,可以使用NVMe存儲平臺或大容量存儲系統(基于HDD,對象或云存儲),而要提取到集中式,全局可訪問的容量層,則可以使用大容量存儲系統。為了吸收到高性能層(無論是在本地還是在云上部署),都需要NVMe閃存來進行實時分析。

數據準備 –數據準備階段的主要重點應該放在數據質量上。就成本和性能而言,NVMe存儲平臺也是一個不錯的選擇。或者,您可以選擇閃存和HDD的混合選件,以提供性能和更高容量的好處。

模型訓練 -模型訓練階段對已實現的AI解決方案的模型質量,數據訪問延遲,吞吐量和數據緩存功能敏感。這需要低延遲,面向吞吐量,可擴展的高性能存儲層,并且NVMe-oF存儲平臺非常適合滿足這些需求。

推論 –推論階段同樣需要低數據訪問延遲,吞吐量響應時間和數據緩存功能。當模型訓練和推理階段訪問分解架構中的一個共享存儲時,它們在很大程度上是相互依賴的。例如,如果推理評分較差,則需要對模型進行重新訓練,并且在模型訓練結束之前,無法生成推理。因此,對兩者使用相同類型的共享存儲池是有意義的。

備份/還原 –在備份階段,大容量HDD,對象存儲或云存儲最適合存儲和按需訪問舊模型和數據。通常需要從備份中還原舊模型以進行推理或重新訓練,以滿足新的傳入IoT數據的需求,因此最好利用近線或在線備份解決方案。

適用于AIoT的NVMe-oF可組合分解基礎架構

NVMe-oF正在統一如何大規模共享,組合和管理存儲,以滿足不斷變化的應用程序和工作負載的需求。使用NVMe閃存的可組合分解基礎架構允許IT即時分配存儲,以支持AI每個階段的AIoT實施。

我們將繼續看到越來越多地采用可組合的分布式存儲解決方案,這些解決方案可以有效地在以太網結構上擴展,并為各種數據中心應用程序提供NVMe設備的全部性能潛力。可組合存儲將大大提高企業配置和優化其數據基礎架構的靈活性和靈活性,以滿足AIoT及其數據中心KPI的動態應用需求。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據集
    +關注

    關注

    4

    文章

    1223

    瀏覽量

    25281
  • 物聯網設備
    +關注

    關注

    1

    文章

    239

    瀏覽量

    20144
  • AIoT
    +關注

    關注

    8

    文章

    1481

    瀏覽量

    32053
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    NVMe協議研究掃盲

    /SAS SSD相比具有卓越的性能優勢,云平臺和數據中心已經開始為大量I/O密集型應用程序提供NVMe SSD。隨著NVMe協議的不斷完善,推出了NVMe-oF
    發表于 06-02 23:28

    NVMe協議簡介2

    通過PCIe進行,使用PCIe的存儲讀寫TLP請求。指令的提交與完成機制如圖1所示,圖中展示的指令提交與完成步驟如下: 圖1 NVMe指令提交與完成步驟圖 (1)主機控制器向提交隊列寫入一個或多個提交命令
    發表于 05-15 23:15

    NVMe協議簡要分析

    具有更高的吞吐量、更快的訪問速度和更低的功耗,已經被廣泛應用于各種計算領域和存儲系統。 1. NVMe隊列 NVMe協議采用成對的提交隊列(Submission Queue,SQ)和完成隊列
    發表于 05-15 00:34

    NVME控制器設計1

    , 實現指令的組裝和分配; 當接收到完成隊列中的正常完成條目時, 指令控制模塊提取其中的指令 ID進行注銷。隊列管理模塊實現NVMe提交隊列和完成隊列的存儲、 門鈴機制、 仲裁機制,以及隊列的創建和刪除
    發表于 04-24 09:45

    hyper-v 集群,hyper-v集群的共享存儲

    面對日益龐大的業務體系,如同面對廣袤的疆土,批量管理就像是睿智的統治者,實現對每一寸土地的有效掌控。今天小編要講解hyper-v集群的共享存儲。 ? ?配置Hyper-V集群的共享存儲
    的頭像 發表于 02-08 11:25 ?462次閱讀
    hyper-v 集群,hyper-v集群的<b class='flag-5'>共享</b><b class='flag-5'>存儲</b>

    Aigtek功率放大器在管道診斷中的具體應用

    在現代工業生產中,管道作為傳輸物質的重要工具,其安全性、穩定性和效率性對生產過程具有重大影響。管道是一種常見的管道故障,指的是管道在支撐
    的頭像 發表于 01-02 13:55 ?304次閱讀
    Aigtek功率放大器在<b class='flag-5'>管道</b>懸<b class='flag-5'>跨</b>診斷中的具體應用

    存儲技術未來演進:NVMe over Fabrics (NVMeoF)

    眾所周知,NVMe 是一個邏輯設備接口規范,NVM代表非易失性存儲器(Non-Volatile Memory)的首字母縮略字,是固態硬盤(SSD)的常見的閃存形式。SSD 通常分為兩類接口:SATA
    的頭像 發表于 11-16 10:44 ?1655次閱讀
    <b class='flag-5'>存儲</b>技術未來演進:<b class='flag-5'>NVMe</b> over Fabrics (NVMeoF)

    一文詳解 ALINX NVMe IP 特性

    - ALINX NVMe?IP - 在當下數據驅動的時代,企業對高性能存儲解決方案的需求不斷增加。NVMe AXI IP 憑借其支持大數據
    的頭像 發表于 11-14 13:59 ?607次閱讀
    一文詳解 ALINX <b class='flag-5'>NVMe</b> IP 特性

    PCIe與NVMe存儲的關系

    在現代計算機系統中,存儲技術的發展對于提高整體性能至關重要。PCI Express(PCIe)和NVMe(Non-Volatile Memory Express)是兩種關鍵技術,它們共同推動了存儲
    的頭像 發表于 11-06 09:29 ?2084次閱讀

    Synology如何使用Nvme固態做存儲空間

    Synology 如何使用Nvme固態做存儲空間
    發表于 10-09 10:55 ?0次下載

    什么是AIoTAIoT現狀如何 ?

    的落地融合。物聯網產生、收集來自不同維度的海量數據存儲于云端、邊緣端,再通過大數據分析以及更高形式的人工智能技術,實現萬物數據化、萬物智聯化。其目的是建構一種更高級形式的智能化生態體
    的頭像 發表于 09-23 10:03 ?2569次閱讀

    基于RDMA技術的Mayastor解決方案

    : 基于NVMe-oF: Mayastor利用NVMe-oF協議,這是一種基于網絡的NVMe訪問方法,允許NVMe設備通過以太網或其他網絡結構進行遠
    的頭像 發表于 08-20 18:47 ?1653次閱讀
    基于RDMA技術的Mayastor解決方案

    國產NVMe SSD擴展卡:驅動存儲新紀元

    NVMe技術的標準化接口使得不同廠商的設備能夠更好地兼容和互操作,提升了存儲系統的靈活性和擴展性。
    的頭像 發表于 08-17 14:59 ?1703次閱讀
    國產<b class='flag-5'>NVMe</b> SSD擴展卡:驅動<b class='flag-5'>存儲</b>新紀元

    谷歌推出革新性的設備共享功能

    7月30日,科技界迎來重大消息,谷歌正式揭曉了其設備體驗領域的里程碑式進展,隆重推出了革新性的設備共享功能,為用戶開啟了前所未有的設備間無縫互動新篇章。   這一創新服務徹底打破了設備界限
    的頭像 發表于 07-30 16:41 ?763次閱讀

    手機主流存儲eMMC、UFS與NVMe的區別

    近幾年,手機影像不斷發展,照片+視頻占據大量存儲空間,在愈發膨脹的微信、手游以及各種APP面前,存儲空間愈發不夠。該存儲空間即是手機存儲容量(ROM),市面上常見的手機快閃記憶體標準共
    的頭像 發表于 07-16 16:42 ?3837次閱讀
    手機主流<b class='flag-5'>存儲</b>eMMC、UFS與<b class='flag-5'>NVMe</b>的區別
    主站蜘蛛池模板: 黄在线观看网站 | 国产大片免费观看资源 | 又粗又长又爽又长黄免费视频 | 婷婷丁香在线观看 | 午夜精品福利在线观看 | 免费观看老外特级毛片 | 欧美一区色 | 成年黄网站免费大全毛片 | 成年人网站免费观看 | 午夜亚洲福利 | 直接在线观看的三级网址 | 婷婷爱五月| 国模小丫大尺度啪啪人体 | 久久伊人草 | 国产一级特黄特色aa毛片 | 2018天天拍拍拍免费视频 | 久久精品免费视频观看 | 理论在线视频 | 久久久久久99 | 五月婷婷深深爱 | 国产福利资源在线 | 中国男女全黄大片一级 | 综合网 色天使 | 丁香啪啪天堂激情婷婷 | 天天操天天干视频 | 丁香婷婷色综合 | 国产性夜夜春夜夜爽 | 天天操天天操天天操香蕉 | xxxx欧美xxxx黑人| 欧美人成在线观看 | 扒开双腿猛进湿润18p | 国内自拍网红在综合图区 | 你懂的网站在线观看网址 | 欧色视频 | 欧美一级特黄啪啪片免费看 | 亚洲男人的天堂成人 | 理论片国产| 婷婷激情小说网 | 日本口工全彩无遮拦漫画大 | 超级毛片 | 91九色麻豆 |