在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

您好,歡迎來電子發(fā)燒友網! ,新用戶?[免費注冊]

您的位置:電子發(fā)燒友網>源碼下載>數值算法/人工智能>

機器學習工作流編排工具Netflix

大小:0.3 MB 人氣: 2017-10-10 需要積分:1
在Netflix,我們的目標是在你觀看之前預測你想觀看的。為做到這一點,我們每天運行了大量的機器學習(ML)工作流。為了支持建立這些工作流并且有效利用資源,我們開發(fā)了Meson。
  Meson是一個通用的工作流編排和調度框架,用于管理跨異構系統(tǒng)執(zhí)行工作負載的ML管道。它管理著一些ML管道的生命周期,這些ML管道用來構建、訓練并驗證驅動視頻推薦的個性化算法
  Meson的主要目標之一是提高算法實驗的速度,可靠性和可重復性,同時允許工程師使用他們選擇的技術來處理每個步驟。
  增強機器學習管道
  在Netflix內部,Spark、MLlib、Python、R以及Docker在當前一代的機器學習管道中起到了重要作用。
  我們來看看驅動視頻推薦的典型機器學習管道,以及在Meson中它是如何表示和處理的。
  機器學習工作流編排工具Netflix
  (點擊放大圖片)
  工作流包括:
  選擇一組用戶——使用Hive查詢來選擇用于分析的隊列
  清洗/準備數據——一個Python腳本來創(chuàng)建兩組用戶,用于并行路徑
  在并行路徑中,一條使用Spark構建并分析全局模型,使用HDFS作為臨時存儲。
  另一條使用R來構建具體地區(qū)(國家)模型。地區(qū)的數量根據用于分析所選擇的隊列動態(tài)變化。圖中的構建地區(qū)模型和驗證地區(qū)模型步驟對于每個地區(qū)(國家)重復執(zhí)行,在運行時擴展,使用不同的參數集執(zhí)行,如下所示。
  驗證——當兩條路徑收斂時,使用Scala代碼對模型的穩(wěn)定性進行測試。在這個過程中,如果模型不穩(wěn)定,則回到上面的步驟,重復整個過程。
  發(fā)布新模型——使用Docker容器發(fā)布這個新模型,其他生產系統(tǒng)來獲取這個模型。
  機器學習工作流編排工具Netflix
  (點擊放大圖片)
  上圖顯示了上面描述的工作流運行過程。
  用戶集選擇,數據清洗的完成由綠色步驟表示。
  并行路徑正在處理:
  Spark分支完成了模型的生成和驗證。for-each分支分出了4個不同的地區(qū)模型,它們都在處理(黃色)。
  用于模型選擇的Scala步驟是激活的(藍色)。這表明一個或多個輸入分支已經完成,但它還不會安排執(zhí)行,因為還有些輸入分支(a)還沒有開始或(b)正在處理。
  運行時上下文和參數隨著工作流傳遞,用于業(yè)務決策。
  揭開面紗
  讓我們深入幕后場景來了解Meson是如何在不同系統(tǒng)之間統(tǒng)籌,以及生態(tài)系統(tǒng)中不同組件之間的相互影響。工作流有著不同的資源需求和總運行時間期望。我們依靠Apache Mesos這樣的資源管理系統(tǒng)來滿足這些需求。Mesos提供了任務隔離,以及CPU、內存、存儲和其他計算資源的優(yōu)秀抽象。Meson利用這些功能來實現(xiàn)任務的彈性和容錯性。
  

非常好我支持^.^

(0) 0%

不好我反對

(0) 0%

      發(fā)表評論

      用戶評論
      評價:好評中評差評

      發(fā)表評論,獲取積分! 請遵守相關規(guī)定!

      ?
      主站蜘蛛池模板: 欧美日韩你懂的 | 亚洲v视频| aaaaaaa毛片 | 久久国产精品免费网站 | 午夜韩国理论片在线播放 | 色婷婷九月 | 涩狠狠狠狠色 | 亚洲午夜精品久久久久 | 91视频精品| 国产成人精品亚洲 | 狂捣猛撞侍卫攻双性王爷受 | avtom影院永久转四虎入口 | 国产一级毛片国语版 | 美女露出尿口让男人桶爽网站 | 欧美一级艳片视频免费观看 | 精品新一区二区三区四区 | 亚洲精品美女久久久aaa | 在线日韩一区 | 轻点灬大ji巴太粗太长了h | 婷婷亚洲五月琪琪综合 | 日韩亚洲欧美日本精品va | 加勒比视频一区 | 在线观看中文字幕第一页 | 久久久久久久成人午夜精品福利 | 综合久色| 成人免费看片视频色多多 | 九九热在线视频观看这里只有精品 | 欧美黑人巨大日本人又爽又色 | 狠狠色丁香婷婷综合小时婷婷 | 色爱区综合激月婷婷激情五月 | 午夜欧美性欧美 | 激情五月社区 | 被公侵犯肉体中文字幕一区二区 | 日本免费人成黄页在线观看视频 | 免费黄色的视频 | 久久这里只有精品免费播放 | 国产午夜精品久久久久免费视小说 | 四虎欧美 | 韩国理论片2023现在观看 | 久久国产综合 | 男人透女人超爽视频免费 |