Intel開源了基于Apache Spark的分布式深度學(xué)習(xí)框架BigDL。BigDL借助現(xiàn)有的Spark集群來運行深度學(xué)習(xí)計算,并簡化存儲在Hadoop中的大數(shù)據(jù)集的數(shù)據(jù)加載。
BigDL適用的應(yīng)用場景主要為以下三種:
1、直接在Hadoop/Spark框架下使用深度學(xué)習(xí)進行大數(shù)據(jù)分析(即將數(shù)據(jù)存儲在HDFS、HBase、Hive等數(shù)據(jù)庫上);
2、在Spark程序中/工作流中加入深度學(xué)習(xí)功能;
3、利用現(xiàn)有的 Hadoop/Spark 集群來運行深度學(xué)習(xí)程序,然后將代碼與其他的應(yīng)用場景進行動態(tài)共享,例如ETL(Extract、Transform、Load,即通常所說的數(shù)據(jù)抽取)、數(shù)據(jù)倉庫(data warehouse)、功能引擎、經(jīng)典機器學(xué)習(xí)、圖表分析等。
-
數(shù)據(jù)存儲
+關(guān)注
關(guān)注
5文章
1000瀏覽量
51785 -
AI
+關(guān)注
關(guān)注
88文章
35476瀏覽量
281207 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5564瀏覽量
122923
發(fā)布評論請先 登錄
用Linux和Apache Hadoop進行云計算

基于Spark和BigDL的深度學(xué)習(xí)技術(shù)的案例解析
第1部分:如何將Bigdl部署為DOCKER容器或虛擬機
第4部分:BIGDL的長短記憶和遞歸神經(jīng)網(wǎng)絡(luò)
第2部分:構(gòu)建具有BIGDL的基本神經(jīng)網(wǎng)絡(luò)模型
Apache Spark的分布式深度學(xué)習(xí)框架BigDL的概述
Apache Ignite上的TensorFlow!分布式內(nèi)存數(shù)據(jù)源

Apache與Weblogic的整合

Apache2+tomcat5.5集群及Apache負載均衡配置實例

物聯(lián)網(wǎng)數(shù)據(jù)上云,正好才是真的好 | Apache Edgent邊緣計算介紹

評論