在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

人工智能和對象存儲相遇,將會產生什么化學反應

牽手一起夢 ? 來源:IT168網站 ? 作者:葉毓睿 ? 2020-04-23 17:00 ? 次閱讀

每當看到人工智能(也即AI),我們通常會想到機器人、自動化、圖像語音或視頻識別、算法等高大上的黑科技。而對象存儲則給人一種低調、海量的感覺。是什么原因,讓這兩者相遇,并擦出了火花?

什么是對象存儲?

對象存儲是自包含、自愈合的智能存儲設備,具有容量大、速度快、擴展靈活的特點。每一個對象除了存放數據本身之外,還存放了唯一標識符和數據的元信息,例如創(chuàng)建的日期和時間,屬主,大小,索引,保留周期,QoS等。對象本身使得數據的組織得到了簡化,避免了傳統存儲文件目錄樹形結構的復雜。對象的存放是扁平化地方式保存在bucket(桶)中的,變得更簡單。而且對象的元信息,也方便了檢索。

拿生活中常見的例子來比喻,當圖書館購進新的紙質書籍需要存放時,需要按照圖書分類法(按照圖書的內容、形式、體裁和讀者用途等進行分類),清楚地知道大類、子類和更詳細的分類,才能找到合適的位置上架。文件存儲的數據存放就類似圖書分門別類地存放,如下圖。

當我們逛超市需要存包的時候,盡管有那么多儲物柜,但是大家都覺得存取包很簡單。存的時候,按一下存包按鍵,啪的一聲,一個柜子打開,同時你會得到包含二維碼的紙條,你把包放到柜子里,但是不用記住柜子的位置和編號,瀟灑的離開。當你取包的時候,你刷一下二維碼,也是啪的一聲,放包的柜子自動打開,所存物品唾手可得。對象存儲的數據存放方式就和超市存取包很類似,存儲對象的唯一標識符就相當于那個二維碼。

下圖是對象存儲的一些特點。

人工智能和對象存儲相遇,將會產生什么化學反應

對象存儲特點

不過,我們需要注意的是,文件存儲和對象存儲有著各自適用的場景。下圖列出了分布式文件存儲和分布式對象存儲的區(qū)別:

分布式文件存儲與分布式對象存儲的區(qū)別

當文件數量級過億的時候,文件目錄樹形結構會對數據的讀寫造成巨大的挑戰(zhàn),例如在linux中如果用ls查看文件,可能都要等待幾十分鐘以上。但是,量級沒有如此之大時,因為過去的使用習慣,以及相對成熟的生態(tài),使用文件存儲還是不錯的選擇。

如何避免錯誤理解對象存儲

當我們談對象存儲時,需要注意討論的是存儲接口,還是內部數據組織形式。

1)實際上,討論對象存儲大多數是指存儲接口,是否支持RestFul或S3,也即對象接口的形式來訪問存儲空間。

2)少數情況下,對象存儲指存儲設備的內部數據組織形式。在數據猛增的背景下,越來越多的存儲設備內部采用對象存儲的這種內部數據組織形式。例如VMware vSAN,其實是是一種基于服務器端存儲的共享分布式對象存儲系統,只不過存儲接口主要采用的是SCSI方式;或者具備高可靠、高性能、高安全和易管理的浪潮AS13000,如下圖。

浪潮AS13000G5的對象存儲功能

AI與對象存儲

在許多人的印象中,AI需要大量的算力,是計算密集型的典型應用。而對象存儲大多時候用于海量非結構化數據的存放,備份歸檔,云存儲、企業(yè)云盤、文檔影像或視頻的存儲等。從存儲特征來看,對象存儲的延遲可能較難滿足AI的性能需求;從使用習慣來看,大多數AI用戶都是采用文件接口。

實際上,有計算,就會有存儲,只是或多或少,或快或慢,或過渡或長期保存的區(qū)別。

在微信公眾號浪潮存儲《2020:下一個十年,存儲發(fā)展的趨勢是什么》上篇也即鑒往事篇 一文中,曾提到:

AI所需存儲,可以分為準備、訓練、推理和歸檔等階段,每個階段的IO特征不一樣,對于存儲的要求也不一樣。例如,在推理階段,IO的特征是讀寫混合,并且要求存儲的延時低,能快速響應。

下圖列出了AI各個階段的IO特征,及其對存儲的要求。

AI各個階段的IO特征及存儲需求

綜合考慮用戶使用習慣、性價比、性能和容量,如果能夠取得一個平衡的話,對象存儲能夠用在AI的多個不同階段中,如提取、準備、訓練、歸檔等。

NVIDIA收購SwiftStack用來做什么呢?

首先,我們來看一下做為事實上的標準的AWS S3,從骨子里說,它代表的對象存儲,是一種在線的海量數據較低成本的存儲方式,適合跨地域讀寫;因此,雖然備份歸檔是對象存儲的使用場景之一,但只是做備份歸檔,其實是委屈了對象存儲。

其次,對象存儲的高并發(fā),特別適合前端呈現分布式負載的場景。AI場景的使用,包括AI訓練、AI推理,是由許許多多個任務并發(fā)進行的,任務與任務之間幾乎沒有數據的交互,因此很少考慮存儲通常要顧及的寫一致性。

因此,在我們看來,NVIDIA收購SwiftStack或許有如下幾個原因:

1)NVIDIA欲整合AI基礎架構

NVIDIA是一個非常注重生態(tài)的公司,它的版圖里應該不僅僅是計算以及衍生出來的各個組件,從近兩年的動作來看,NVIDIA想整合整個AI基礎架構。2019年3月11日NVIDIA以69億美元收購 Mellanox;2020年3月6日宣布收購SwiftStack。

2)SwiftStack具備數據跨云管理和高并發(fā)的優(yōu)勢

據報道:“Manuvir Das表示,NVIDIA尤其喜歡SwiftStack的1space技術,該技術可以為忙于處理緩存和分層等任務的GPU助一臂之力。

SwiftStack V7于2019年發(fā)布,提供數PB的規(guī)模,可處理數千個worker節(jié)點同時訪問數據的任務。它提供了超過100GB /秒的吞吐速度,性能和容量都能實現線性擴展。

1space是NVIDIA收購Swiftstack的主要原因,這是一種文件連接件,使云原生應用程序可以通過S3或Swift對象API訪問本地數據或AWS數據,并可以確保不斷向數據提供計算資源”

我個人認為,AI訓練有個特點,它一次性將原始訓練集的數據加載到計算節(jié)點的內存或者SSD后,需要經過一段較長的時間(也即計算或說訓練),才會再次讀取存儲上的數據。因此,對象存儲的延遲可能不會構成障礙,這一點可以通過高并發(fā)來彌補。

3)還可將SwiftStack用于數據提取,或者數據歸檔階段。海量的數據,采用對象存儲是一個不錯的選擇。

4)維護原有使用習慣

NVIDIA內部大量使用SwiftStack來存儲數據,幾年下來,習慣已經養(yǎng)成,而且猜測數據量也非常龐大。通過收購SwiftStack,以免未來受人制肘,也是有可能的。

無論如何,對象存儲在云計算和AI迅猛普及的情況下,一定會迎來它的春天。IDC中國SDS市場數據顯示,2019年對象存儲增長率55.3%,是中國軟件定義存儲市場里增速最快的細分領域。

在中國的對象存儲市場中,浪潮的AS13000做出了貢獻。2019年,AS13000對象存儲成功地在某銀行(國內排名前15)總行的影像系統中部署,并實現了同城容災功能。如下圖所示:

浪潮AS13000對象存儲的實際案例

浪潮分布式存儲在不斷迭代的過程中,除了前面提到的同城容災之外,還開發(fā)了大量的其他高級特性。一是小對象聚合。浪潮對象存儲針對海量小文件場景,通過小對象聚合,節(jié)約HDD的磁盤IO,提升存儲效率。二是讀Cache加速。在卡口圖片、AI計算場景,通過讀Cache加速提升數據讀取效率。三是元數據檢索。在存儲系統內集成索引引擎,實現根據對象元數據多條件模糊檢索對象的技術,有效地提升了海量非結構化數據中“大海撈針”的效率。四是企業(yè)級WORM,滿足企業(yè)客戶數據的法規(guī)性要求,結合應用特點,靈活設置寬限期和保護期。此外,還有存儲OS加固、桶策略配置等等。

展望未來

受“新冠疫情”影響,在線化、數字化、分散化、自動化等新形態(tài)新模式,也對AI、大數據中心(含計算、存儲、網絡和安全)等的發(fā)展提出了迫切的需求。

疫情趨勢預測、風險預警、醫(yī)療資源和物質的預測和調配,要做到快速、準確、科學的判斷,需要和AI結合。

另外,非接觸的服務和工作、自動化、快速分析決策和響應的需求等,將會爆發(fā)。例如,人臉識別(包括免摘口罩的人臉識別)、AI輔助診斷、應急管理、安防監(jiān)控、知識圖譜、基因研究、醫(yī)藥研發(fā)、金融服務、智能配送、各行各業(yè)的無人值守(例如零售)、物流運輸、個人畫像、軌跡追蹤、輿情分析等等。

我們相信,作為新基建的一部分,包含AI和存儲在內的信息基礎設施將迎來更好更快的發(fā)展。

責任編輯:gt

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯系本站處理。 舉報投訴
  • 接口
    +關注

    關注

    33

    文章

    8897

    瀏覽量

    153036
  • 存儲
    +關注

    關注

    13

    文章

    4478

    瀏覽量

    86960
  • 人工智能
    +關注

    關注

    1804

    文章

    48509

    瀏覽量

    245321
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    變頻制冷機配套反應化學反應提供冷源

    以下是關于變頻制冷機配套反應化學反應提供冷源的技術分析及實踐要點,結合行業(yè)應用與搜索結果進行總結:一、變頻制冷機工作原理與優(yōu)勢1、動態(tài)制冷匹配變頻技術通過調節(jié)壓縮機轉速,實時匹配反應器的熱負荷變化
    的頭像 發(fā)表于 04-09 13:16 ?104次閱讀
    變頻制冷機配套<b class='flag-5'>反應</b>器<b class='flag-5'>化學反應</b>提供冷源

    流動化學和微反應技術特點1

    反應器是微加工或其他結構化的設備,至少有一個(特性)尺寸小于1毫米。通常使用的最小結構是幾十微米,但也有尺寸更小的例外。微反應技術利用微反應器進行化學反應工程。流動
    的頭像 發(fā)表于 02-28 14:05 ?294次閱讀

    什么是電化學微通道反應

    化學微通道反應器概述 電化學微通道反應器是一種結合了電化學技術和微通道反應器優(yōu)點的先進
    的頭像 發(fā)表于 01-22 14:34 ?333次閱讀

    原子的結構在化學反應中的作用

    化學反應是物質世界中最基本的現象之一,它們構成了我們周圍環(huán)境和生命過程的基礎。在化學反應中,原子是不可分割的基本單位,它們通過化學鍵的斷裂和形成來實現物質的轉化。 原子的基本結構 原子由位于中心
    的頭像 發(fā)表于 12-17 15:23 ?1150次閱讀

    電荷守恒定律在化學反應中的作用

    在自然界中,電荷守恒定律是一個基本的物理原理,它規(guī)定了電荷既不會被創(chuàng)造,也不會被消滅,只能從一個物體轉移到另一個物體,或者從物體的一部分轉移到另一部分。這一定律在化學反應中尤為重要,因為它保證了
    的頭像 發(fā)表于 12-16 14:43 ?1603次閱讀

    嵌入式和人工智能究竟是什么關系?

    嵌入式和人工智能究竟是什么關系? 嵌入式系統是一種特殊的系統,它通常被嵌入到其他設備或機器中,以實現特定功能。嵌入式系統具有非常強的適應性和靈活性,能夠根據用戶需求進行定制化設計。它廣泛應用于各種
    發(fā)表于 11-14 16:39

    TPM遇上機器人:效率革命,從“人機協作”的化學反應開始!

    的璀璨明珠——智能機器人相遇,一場關于效率提升的“化學反應”悄然上演,不僅重塑了生產線的面貌,更深刻地改變了我們對未來工廠的認知。具體如天行健企業(yè)管理咨詢公司下文所述: 一、TPM TPM,這一源自日本的生產管理理念,自誕生以來
    的頭像 發(fā)表于 10-30 10:05 ?436次閱讀

    《AI for Science:人工智能驅動科學創(chuàng)新》第6章人AI與能源科學讀后感

    幸得一好書,特此來分享。感謝平臺,感謝作者。受益匪淺。 在閱讀《AI for Science:人工智能驅動科學創(chuàng)新》的第6章后,我深刻感受到人工智能在能源科學領域中的巨大潛力和廣泛應用。這一章詳細
    發(fā)表于 10-14 09:27

    《AI for Science:人工智能驅動科學創(chuàng)新》第一章人工智能驅動的科學創(chuàng)新學習心得

    周末收到一本新書,非常高興,也非常感謝平臺提供閱讀機會。 這是一本挺好的書,包裝精美,內容詳實,干活滿滿。 《AI for Science:人工智能驅動科學創(chuàng)新》這本書的第一章,作為整個著作的開篇
    發(fā)表于 10-14 09:12

    risc-v在人工智能圖像處理應用前景分析

    RISC-V在人工智能圖像處理領域的應用前景十分廣闊,這主要得益于其開源性、靈活性和低功耗等特點。以下是對RISC-V在人工智能圖像處理應用前景的詳細分析: 一、RISC-V的基本特點 RISC-V
    發(fā)表于 09-28 11:00

    人工智能ai 數電 模電 模擬集成電路原理 電路分析

    人工智能ai 數電 模電 模擬集成電路原理 電路分析 想問下哪些比較容易學 不過好像都是要學的
    發(fā)表于 09-26 15:24

    人工智能ai4s試讀申請

    目前人工智能在繪畫對話等大模型領域應用廣闊,ai4s也是方興未艾。但是如何有效利用ai4s工具助力科研是個需要研究的課題,本書對ai4s基本原理和原則,方法進行描訴,有利于總結經驗,擬按照要求準備相關體會材料??茨芊裼兄谌腴T和提高ss
    發(fā)表于 09-09 15:36

    名單公布!【書籍評測活動NO.44】AI for Science:人工智能驅動科學創(chuàng)新

    ! 《AI for Science:人工智能驅動科學創(chuàng)新》 這本書便將為讀者徐徐展開AI for Science的美麗圖景,與大家一起去了解: 人工智能究竟幫科學家做了什么? 人工智能將如何改變我們所生
    發(fā)表于 09-09 13:54

    報名開啟!深圳(國際)通用人工智能大會將啟幕,國內外大咖齊聚話AI

    8月28日至30日,2024深圳(國際)通用人工智能大會暨深圳(國際)通用人工智能產業(yè)博覽會將在深圳國際會展中心(寶安)舉辦。大會以“魅力AI·無限未來”為主題,致力于打造全球通用人工智能領域集產品
    發(fā)表于 08-22 15:00

    FPGA在人工智能中的應用有哪些?

    FPGA(現場可編程門陣列)在人工智能領域的應用非常廣泛,主要體現在以下幾個方面: 一、深度學習加速 訓練和推理過程加速:FPGA可以用來加速深度學習的訓練和推理過程。由于其高并行性和低延遲特性
    發(fā)表于 07-29 17:05
    主站蜘蛛池模板: 久久久免费的精品 | 亚洲视频一区 | 四虎在线精品免费高清在线 | 狠狠ri| 亚洲人成网站色7777 | 欧美日韩在线一本卡 | 一卡二卡≡卡四卡亚洲高清 | 亚洲邪恶天堂影院在线观看 | 五月丁香六月综合缴清无码 | 亚洲视频一区二区 | bt种子天堂| 亚洲一区欧美二区 | 午夜精品久久久久久影视riav | 亚洲乱亚洲乱妇41p国产成人 | 三级日韩 | 无夜精品久久久久久 | 一级毛片ab片高清毛片 | 天天看天天碰 | 国产女在线 | 香港三级在线视频 | 亚洲一区二区三区精品视频 | 国产精品天天操 | 性视频在线| 亚洲热热久久九九精品 | 国产精品久久久久久久久久免费 | 色天使美国 | 色综合色综合色综合色综合 | 国产色网站 | 黄色刺激网站 | 成人午夜啪啪免费网站 | 国产成人高清精品免费5388密 | 91在线操 | 日本色高清 | 黄蓉h肉辣文大全 | 九九热最新 | 免费网站黄色 | 免费人成网址在线观看国内 | 日本偷偷操 | 欧美性生活一级 | 日本三级视频在线 | 天堂在线视频精品 |