只聞其名,不見其形,從小聽到大的”黑洞“,終于讓我們在有生之年見到了它的真容,只能說幽暗的宇宙美麗也調皮,長久以來人類關于黑洞的探索,在這一刻終于得到影像印證。相信很多人心中都有一個疑惑,為黑洞拍張照片需要兩年時間?究其原因一個字“難”!難在哪?“數據”!
首先,望遠鏡觀測到的數據量非常龐大,2017年時8個望遠鏡的數據量達到了10PB,2018年又增加了格陵蘭島望遠鏡,龐大的數據量讓數據處理的難度不斷加大,且在數據處理的過程當中還伴隨著不少技術難題。
這張“沖洗”出的照片,蘊含著復雜的后期數據處理分析,而這一過程中涉及的數據量之多,處理難度之大都是前所未有的。那有沒有辦法,盡快揭開宇宙神秘的面紗?有沒有辦法,在面對龐大數據量的時候,我們有更高效快捷的方式去處理它們呢?
強勢應對海量數據 內存分析放大招
就拿一張小小的黑洞照片來說,它背后的數據量需要一萬塊500GB硬盤才能裝滿,而這一萬塊硬盤高達半噸之重,這么”重“的數據,分析起來已經夠難,還想要快速分析那更是難上加難!龐大的數據量不應該成為人類進步的絆腳石,恰恰相反,將其中蘊含的價值挖掘出來,我們將擁有無限寶貴資源。
根據IDC預測,到2025年,全球數據量將從2018年的33ZB增加到175ZB,隨著接入大容量數據能力的提高,從這些數據中提取價值的需求勢必也在提升。而這也意味著我們了更廣泛的工具選擇,其中內存分析就是一個絕好的工具,那么它在處理海量數據時到底有多靠譜?
首先,顧名思義,內存分析就是將數據在存儲層向上移動,使其更接近CPU,以便加快內存訪問速度以更快地進行分析,并縮短獲取洞察的時間。所以,倘若那半噸重的數據,運用內存分析或許我們就不會等那么久了。
內存分析的優勢可不少,其中包括降低IT成本、簡化基礎設施、延長運行時間、降低時延、優化數據同步、減少數據副本以及縮短開發周期。此外,更快速地提供大量更深入的實時洞察,從而幫助創造新的機會,以推動和增強服務交付。
光說不練假把式 應用案例來一遍
內存分析如此強大,在助力臨床醫療、零售業、金融服務業、智能運營供應鏈、呼叫中心和客戶流失方面都已全面落地,并表現出色。下面我們就來看看運用內存分析解決行業痛點的兩個真實案例,一睹其風采。
全球領先的專業化學品公司Evonik,致力于實現總體擁有成本(TCO)效率的進一步提升,經過精挑細選,最后采用了內存分析方法解決了實際工作中遇到的難題。現在Evonik可以靈活并更高效地將數據集集成到其SAPHANA*平臺中,并做好存儲大容量數據集的準備。除此之外,一家提供全國廣告產品的ZypMedia公司,借助內存分析確保了每秒處理大約500,000個事務請求,響應時間低至半毫秒,憑借速度和靈活性提供這種高質量服務。
深入了解內存分析傳統架構已力不從心
內存分析已經在如此多的場景順利落地,并幫助企業巧妙化解行業難題,相信好奇的寶寶們心中已經有了一個疑問,如此強大的內存分析,需求一定少不了,這對于IT負責人來說挑戰可不小,因為他們需要從更大的數據集中提取更多價值。此時,不得不考慮他們所采用的架構能否支持內存運營,以及如何滿足目前和將來的需求。
由于架構方面的需求基本取決于組織的能力和經驗,而傳統的架構可能會使用運營數據庫來存儲和管理當前數據,在將這些數據發送到組織數據倉庫進行分析前,需要先對其進行批處理。然而,在許多企業中,這一模式正在逐漸被單一混合事務和分析處理架構取代,如此一來,便可以為一些受益于內存分析的關鍵平臺和應用提供支持。而如果考慮采用HTAP,則需要考慮哪種形式更適合當前業務。然而,內涵式HTAP則更進了一步,其將分析功能嵌入事務本身以影響其結果。
不難發現,更高的工作需求,要求我們必須采用支持實時數據處理和分析的IT基礎設施。那么,到底有沒有一種架構可以完美支持所需內存運行,并能夠滿足目前和將來的需求呢?答案來了,上面提到的化學公司正是借助了英特爾?傲騰TM數據中心級持久內存,改善了實際性能和總體擁有成本;而廣告產品公司則借助英特爾?至強?可擴展處理器,實現了動態廣告投放。
而這一切都要歸功于英特爾?至強?平臺構建內存分析堆棧,讓采集和處理大容量數據能力大大提升,已達到幫助行業實時甚至提前識別趨勢與洞察并做出響應。由此可見,存儲和內存方面的創新型產品,確實將困擾我們的數據難題快速解決消化,不信你接著看,適用于數據中心的英特爾?傲騰TM固態盤,其采用非易失性內存技術,可提供類似DRAM的性能并具有固態盤存儲的持久性。為了推進這一變革,英特爾?傲騰TM數據中心級持久內存,配備全新一代的英特爾?至強?可擴展處理器,將此優勢與CPU內存總線直接結合。這樣一來,可更好地兼顧高容量、經濟性和持久性。
極簡內存分析助力數據資源價值最大化
數據處理能力永遠趕不上生成數據的速度,因此,必須將數據戰略的重點放在充分發揮數據資源的價值上,那么如何將好鋼用在刀刃上呢?為簡化內存分析,英特爾不僅設計并優化了一系列數據中心技術,用以加快數據驅動型洞察,還在存儲架構上做了不小的文章,使得內存容量超出DRAM限制,更好地兼顧性能和成本。如此一來,就可以提供內存分析工作負載通常所需的快速可擴展性和靈活性。除了持續致力于硬件創新外,它們開發了通過基準測試且完全集成的軟件和硬件堆棧,支持特定工作負載,縮短服務交付時間和上市時間。
內存數據庫已不單單是面向特殊分析工作負載的一種昂貴方案,而是在向著實現更廣泛的目標轉變。從人類生活到行業應用,甚至到宇宙探索,人類數據正以指數級增長,面對海量數據,如何充分發揮數據資源價值,基于英特爾?至強?平臺構建的內存分析堆棧給了我們最好的答案。當然我們也相信,未來英特爾將會有更多的創新與探索,為企業數據帶來革新的同時,創造無限可能性。
-
數據
+關注
關注
8文章
7220瀏覽量
89939 -
內存
+關注
關注
8文章
3074瀏覽量
74460 -
架構
+關注
關注
1文章
521瀏覽量
25595
原文標題:一張“黑洞”需要拍兩年?有了它或許就不會讓大家等那么久了
文章出處:【微信號:mcuworld,微信公眾號:嵌入式資訊精選】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
應對海量數據挑戰,如何基于Euro NCAP標準開展高效智駕測試與評估?

利用Minitab應對供應鏈中斷問題
矚目!海量數據再獲2024年度openGauss社區突出貢獻單位

數據可視化與數據分析的關系
海量數據處理需要多少RAM內存
Linux內存泄露案例分析和內存管理分享

云計算在大數據分析中的應用
邏輯內存和物理內存的區別
放大電路的基本分析方法有哪兩種
對放大電路的分析方法介紹
AI訓練狂飆,DDR5集成PMIC護航,內存技術持續助力

評論