大數據指的是創建的數據和供分析的數據的數量與速率迅速增加。
大數據使分析師和數據專家有機會獲得更好的見解,進行更明智的決策,但是它同時也會帶來許多的挑戰:可用的內存可能無法足以處理大數據集,可能需要花太久的時間進行處理或可能流動太快而無法存儲。標準算法通常不能以合理的時間或內存來處理大數據集等等。
目前沒有任何一種單一方法可以處理大數據。為此,MATLAB 提供了許多工具來解決這些挑戰。
在 MATLAB 中處理大數據
1. 64 位計算。
64 位版本的 MATLAB 可迅速增加內存中可保留的數據量——通常可達到任意 32 位程序的 2000 倍。32 位程序限制您只能使用 2 GB 的內存,而 64 位 MATLAB 的內存可以達到操作系統的物理內存限制。對于 Windows 8,臺式機內存為 500 GB,Windows Server 內存為 4 TB。
2. 內存映射的變量。
借助 MATLAB 中的memmapfile函數,您可以將文件或文件的一部分映射到內存中的 MATLAB 變量。這樣,您就可以高效訪問磁盤上由于太大而無法保留在內存中或需要花太長時間而無法加載的大數據集。
3. 磁盤變量。
matfile函數使您可以直接從磁盤上的 MAT 文件訪問 MATLAB 變量(使用 MATLAB 索引命令),無需將全部變量加載到內存。這使您可以在大數據集上進行塊處理,這些大數據集因為太大而無法保存在內存中。
4. 內在的多核數學。
MATLAB 中的許多內置數學函數,如fft、inv和eig都是多線程的。通過并行運行,這些函數充分利用計算機的多核,提供高性能的大數據集計算。
5. GPU 計算。
如果您正在使用 GPU,Parallel Computing Toolbox中的GPU 優化的數學函數可以為大數據集提供更高的性能。
6. 并行計算。
Parallel Computing Toolbox提供并行 for 循環 , 該循環在多核計算機上并行運行您的 MATLAB 代碼和算法。如果您使用MATLAB Distributed Computing Server,則可以在機器群集上并行執行,這些機器可擴展到數千臺計算機。
7. 云計算。
對于數百或數千臺計算機的按需并行處理,您可以在 Amazon Elastic Computing Cloud(亞馬遜彈性計算云)(EC2) 上使用MATLAB Distributed Computing Server并行運行 MATLAB 計算。借助云計算,您無需購買或維護您自己的群集或數據中心就可以處理大數據。
8. 分布式陣列。
使用Parallel Computing Toolbox和MATLAB DistributedComputing Server,您可以處理分布在計算機群集內存中的矩陣和多維數組。使用此方法,您可以針對因太大而無法由單臺計算機內存處理的大數據集,進行存儲和執行計算。
9。 流式算法。
使用系統對象,您可以對因太大或太快而無法保留在內存中的數據傳入流執行流式處理。此外,您還可以使用MATLAB Coder通過 MATLAB 算法生成嵌入式 C/C++ 代碼,并針對高性能實時系統運行產生的代碼。
10. 圖像塊處理。
使用Image Processing Toolbox中的blockproc函數,您可以處理特別大的圖像,方法是每次以模塊的形式高效處理它們。與Parallel Computing Toolbox一起使用時,在多核和 GPU 上并行運行計算。
11. 機器學習。
機器學習有助于通過大數據集提取見解和開發預測性模型。廣泛的機器學習算法,包括Statistics and Machine Learning Toolbox和Neural Network Toolbox中提供的促進式 (boosted) 和袋裝 (bagged) 決策樹、K 均值和分層聚類、k-最近鄰搜索、高斯混合、期望最大化算法、隱馬爾可夫模型和神經網絡。
-
計算機
+關注
關注
19文章
7546瀏覽量
88696 -
機器學習
+關注
關注
66文章
8442瀏覽量
133107 -
大數據
+關注
關注
64文章
8909瀏覽量
137827
發布評論請先 登錄
相關推薦
緩存對大數據處理的影響分析
Simulink與 MATLAB 的結合使用 Simulink中的信號處理方法
上位機系統優化技巧 上位機如何處理大數據
bds 行業發展趨勢分析 bds在大數據中的應用
raid 在大數據分析中的應用
智慧城市與大數據的關系
云計算在大數據分析中的應用
基于Kepware的Hadoop大數據應用構建-提升數據價值利用效能
![基于Kepware的Hadoop<b class='flag-5'>大數據</b>應用構建-提升<b class='flag-5'>數據</b>價值利用效能](https://file1.elecfans.com/web2/M00/09/0E/wKgZomcE21CAHUHqAAET3eiQ6hk257.png)
評論