在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

機器學習操作正在興起,將解決自動化和協作的問題

如意 ? 來源:企業網D1Net ? 作者:Isaac Sacolick ? 2020-08-26 14:22 ? 次閱讀

對數據科學家來說,給數據打上標簽并開發出一個準確的機器學習模型是很困難的,而且在生產中管理模型也可能會更加令人生畏。識別模型漂移、通過更新數據集來對模型進行再訓練、提高性能以及維護底層技術平臺都是重要的數據科學實踐。如果沒有這些規程,模型就可能會產生嚴重影響業務的錯誤結果。

開發出一個可用于生產的模型并非易事。根據一項機器學習的研究,55%的公司沒有將模型部署到生產當中,40%或更多的公司需要30天以上才能部署一個模型。而即使成功也會帶來新的挑戰,41%的受訪者承認了機器學習模型的版本控制和再現性的困難。

這里的教訓是,一旦機器學習模型被部署到生產中并在業務流程中被使用,新的障礙就又會出現。

模型管理和操作曾經是更先進的數據科學團隊的挑戰。現在的任務則還包括了監控生產機器學習模型的漂移,自動再訓練模型,當漂移顯著時發出警報,以及識別模型何時需要被升級。隨著越來越多的組織投資于機器學習,建立模型管理和操作的意識就變得越來越有必要了。

好消息是,諸如開源的MLFlow和DVC等平臺和庫,以及來自Alteryx、Databricks、Dataiku、SAS、DataRobot、ModelOp等的商業工具,正在使數據科學團隊的模型管理和操作變得更加容易。公共云提供商也分享了一些實踐,比如Azure Machine Learning所提供的MLops。

模型管理和devops之間有一些相似之處。許多人將模型管理和操作稱為MLops,并將其定義為開發和維護機器學習模型所需的文化、實踐和技術。

理解模型管理和操作

為了更好地理解模型管理和操作,需要考慮軟件開發實踐與科學方法的結合。

作為一名軟件開發人員,你知道完成應用程序的版本并將其部署到生產環境中并非是一件易事。而且,一旦應用程序進入生產環境,一個更大的挑戰就開始了。最終用戶希望定期進行增強,底層基礎設施、平臺和庫也需要打補丁和維護。

現在讓我們轉向科學的世界,在那里,其問題也會導致多種假設和重復實驗。你在科學課上學會了維護這些實驗的日志,并能夠跟蹤從一個實驗到下一個實驗調整不同變量的過程。試驗會帶來更好的結果,記錄過程則有助于讓同事相信你已經探索了所有的變量,并且結果是可重復的。

使用機器學習模型進行實驗的數據科學家必須結合來自軟件開發和科學研究的學科。機器學習模型是用Python和R等語言開發的軟件代碼,使用TensorFlow、PyTorch或其他機器學習庫進行構建,運行在Apache Spark等平臺上,并被部署到了云基礎設施上面。機器學習模型的開發和支持需要大量的實驗和優化,數據科學家必須證明他們的模型的準確性。

像軟件開發一樣,機器學習模型也需要不斷的維護和增強。其中的一些可能來自維護代碼、庫、平臺和基礎設施,但是數據科學家還必須關注模型漂移的問題。簡單地說,當新的數據可用,而機器學習模型所提供的預測、聚類、分割和建議又偏離預期結果時,模型漂移就發生了。

成功的模型管理始于開發最佳模型

我與Alteryx的首席數據和分析官Alan Jacobson就組織如何成功地進行機器學習模型開發進行了交談。“為了簡化模型開發,大多數數據科學家所面臨的第一個挑戰是如何確保擁有一個強有力的問題表述。許多復雜的業務問題可以通過非常簡單的分析來解決,但這首先需要以數據和分析能夠有助于回答問題的方式來構建問題。即使使用了最復雜的模型,在這個過程中最困難的部分也通常是如何構建數據,并確保使用的正確輸入處于正常的質量水平。”

我同意Jacobson的觀點。太多的數據和技術實現是從糟糕的或沒有問題的陳述開始的,而且沒有足夠的時間、工具和專業知識來確保足夠的數據質量。組織必須首先從提出一個關于大數據的聰明的問題開始,投資于數據操作,然后使用數據科學中的敏捷方法來迭代解決方案。

監控機器學習模型的模型漂移

獲得一個精確的問題定義對于生產中的模型的持續管理和監控是至關重要的。Jacobson繼續解釋道:“監控模型是一個重要的過程,但想要正確地進行監控就需要對需要監控的目標和潛在的不利影響有深刻的理解。雖然大多數人討論的是監測模型的性能以及隨時間的變化,但在這個領域,更重要和更具挑戰性的是對意外結果的分析。”

理解模型漂移和意外結果的一個簡單方法就是考慮COVID-19對那些使用了大流行前的訓練數據所開發的機器學習模型的影響。基于人類行為的機器學習模型、自然語言處理、消費者需求模型或欺詐模式都受到了大流行期間不斷變化的行為的影響,而這些變化擾亂了人工智能模型。

隨著越來越多的組織開始獲得價值并使數據科學程序日趨成熟,技術提供商也正在發布新的MLops功能。例如,SAS引入了一個特征貢獻指數,能夠幫助數據科學家在沒有目標變量的情況下評估模型。Cloudera則于最近宣布了一項ML監控服務,它可以捕獲技術性能指標和跟蹤模型預測。

MLops還解決了自動化和協作的問題

在開發一個機器學習模型和在生產中監控它之間,還有一些額外的工具、流程、協作和使數據科學實踐能夠得以擴展的能力。一些自動化和基礎設施就像是devops,包括了適用于機器學習模型的基礎設施即代碼和CI/CD(持續集成/持續部署)。還有一些其他的開發人員的能力,例如使用底層培訓數據來對模型進行版本控制,以及搜索模型存儲庫。

MLops更有趣的一面是為數據科學團隊帶來了科學的方法和協作。例如,DataRobot啟用了一個冠軍-挑戰者模型,該模型可以并行運行多個實驗模型,以挑戰生產版本的準確性。SAS希望幫助數據科學家提高進入市場的速度和數據質量。Alteryx則于最近引入了Analytics Hub,以幫助數據科學團隊之間的協作和共享。

所有這些都表明,管理和擴展機器學習需要更多的紀律和實踐,而不是簡單地去要求數據科學家使用Python編寫和測試一個隨機森林、k均值或卷積神經網絡

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 自動化
    +關注

    關注

    29

    文章

    5666

    瀏覽量

    79873
  • 模型
    +關注

    關注

    1

    文章

    3393

    瀏覽量

    49364
  • 機器學習
    +關注

    關注

    66

    文章

    8458

    瀏覽量

    133215
收藏 人收藏

    評論

    相關推薦

    自動化新寵打開人機協同的未來,底層芯片如何賦能協作機器人發展?

    智能、柔性轉變,傳統工業機器人不夠智能,不夠靈活的劣勢愈發明顯。智能柔性發展趨勢下,自動化
    的頭像 發表于 03-17 07:51 ?3961次閱讀
    <b class='flag-5'>自動化</b>新寵打開人機協同的未來,底層芯片如何賦能<b class='flag-5'>協作</b><b class='flag-5'>機器</b>人發展?

    歐姆龍協作機器人滿足機械上下料自動化需求

    協作機器人( cobot )在生產流程中的用途在不斷增多。例如,總部位于芬蘭哈利科(薩洛附近)的專業公司Laser Quality Markings正在使用歐姆龍的協作
    的頭像 發表于 02-05 10:34 ?117次閱讀

    協作機器正在讓工業5.0落地生根

    協作機器人(又稱“cobot”)正在讓工業5.0落地生根。這些交互式機械臂滿足了人們對制造技術不斷增長的需求,不僅能優化自動化作業流程,還能增強人機關系。工業4.0主要依賴大數據和物聯
    的頭像 發表于 12-04 09:26 ?412次閱讀

    探索機器人快換盤技術的未來之路:智能協作的革新

    機器人快換盤技術正經歷變革,AI、機器學習、傳感器、機器視覺及協作技術推動其智能
    的頭像 發表于 09-26 11:26 ?344次閱讀

    工業自動化時代,如何理解“機器換人”和“人機協作

    隨著科技的不斷發展,機器人在我們生活中扮演著越來越重要的角色。傳統的生產方式被智能自動化所取代,這也給“機器換人”這一概念帶來了更加深刻的內涵。但是,在
    的頭像 發表于 09-06 15:08 ?1418次閱讀
    工業<b class='flag-5'>自動化</b>時代,如何理解“<b class='flag-5'>機器</b>換人”和“人機<b class='flag-5'>協作</b>”

    自動化焊接機器人:引領制造業未來的高效工具

    隨著制造業不斷邁向自動化時代,協作機器人以其獨特的靈活性與易用性,正逐步成為焊接領域的新寵。隨著全球對高質量焊接需求的不斷增長與熟練焊工資源的日益稀缺,協作
    的頭像 發表于 08-20 14:36 ?1358次閱讀
    <b class='flag-5'>自動化</b>焊接<b class='flag-5'>機器</b>人:引領制造業未來的高效工具

    瑞薩與NexCOBOT攜手開啟工業自動化新紀元

    了解NexCOBOT,這是一家總部位于中國臺灣的公司,為下一代協作機器人“COBOT”制造安全數字模塊和控制器。這些創新機器正在全球范圍內加速
    的頭像 發表于 07-19 10:06 ?1186次閱讀

    降本增效,法奧機器人助力CNC自動化升級提速

    工業4.0時代,計算機數控機床(CNC)作為工業自動化的核心設備,其“智造升級”迫在眉睫。 法奧協作機器人,以其易編程、快部署、高安全等特點,助力CNC自動化升級提速,讓制造企業在生產
    的頭像 發表于 07-19 09:19 ?1386次閱讀

    機械自動化和電氣自動化區別是什么

    生產過程中的自動化控制和管理。它主要涉及到機械設計、制造、裝配、檢測等環節,通過自動化設備替代人工操作,提高生產效率和產品質量。 電氣自動化 電氣
    的頭像 發表于 07-01 09:33 ?4822次閱讀

    機械自動化自動化的一種嗎

    引言 自動化技術是指利用控制裝置對生產過程進行控制,以實現生產過程的自動化。機械自動化自動化技術的一種,它主要涉及到使用機械設備和控制系統來實現生產過程的
    的頭像 發表于 07-01 09:32 ?1990次閱讀

    工業機器人、PLC與自動化之間的關系

    隨著科技的不斷進步和工業領域的快速發展,自動化已成為現代工業生產的重要趨勢。在這一進程中,工業機器人和PLC(可編程邏輯控制器)作為自動化的兩大核心要素,發揮著至關重要的作用。本文
    的頭像 發表于 06-17 11:10 ?1594次閱讀

    機器視覺技術在工業自動化中的應用

    隨著科技的不斷進步和工業4.0時代的到來,工業自動化已成為現代工業生產的重要趨勢。而機器視覺技術作為工業自動化中的關鍵技術之一,正發揮著越來越重要的作用。機器視覺技術利用攝像機和計算機
    的頭像 發表于 06-17 10:22 ?1027次閱讀

    機械制造與自動化自動化類嗎

    機械制造與自動化自動化領域的一個重要分支,它涉及到機械設計、制造、檢測、控制等多個方面,是現代制造業的核心組成部分。 機械制造與自動化是指利用計算機、機器人、傳感器等
    的頭像 發表于 06-11 11:18 ?1736次閱讀

    工業自動化自動化區別是什么

    工業自動化自動化是兩個密切相關但又有所區別的概念。在這篇文章中,我們詳細探討它們之間的區別,以及它們在現代工業生產中的應用。 一、自動化的定義
    的頭像 發表于 06-11 11:13 ?2006次閱讀

    機器視覺檢測技術在工業自動化中的應用

    隨著科技的飛速發展,工業自動化已成為現代工業生產的核心動力。在這個背景下,機器視覺檢測技術作為工業自動化中的關鍵技術之一,以其高精度、高效率、高可靠性的優勢,在工業自動化領域得到了廣泛
    的頭像 發表于 06-07 12:06 ?1001次閱讀
    主站蜘蛛池模板: 7799国产精品久久久久99 | 天天干夜夜怕 | 免费在线看a | 欧美一级免费在线观看 | 性欧美欧美 | 国产女人又爽又大 | 久久夜色精品国产噜噜小说 | 极品美女啪啪 | 日本黄色小视频在线观看 | 高清视频一区二区 | 好吊日在线 | 天天干视频网站 | 人人做人人爽人人爱 | 奇米欧美| 亚洲一级毛片在线观播放 | 国产精品视频一区国模私拍 | 亚洲国产成人精品久久 | 伊人网络 | 亚洲综合黄色 | 黄 色 片 在 线 看 | 日韩精品一级a毛片 | 欧美成人猛男性色生活 | 成人激情综合网 | 一级毛片日韩a欧美 | 免费在线观看一区二区 | 欧美不卡一区 | 免费精品美女久久久久久久久 | 欧美视频三区 | 国产普通话一二三道 | 国产高清色视频免费看的网址 | 久久精品屋 | 国产大片免费观看资源 | 婷婷激情综合五月天 | 天天拍拍天天爽免费视频 | 宅男666在线永久免费观看 | 国产中文99视频在线观看 | 2021av网站| 天天操夜夜摸 | 五月婷婷丁香六月 | 在线观看你懂的视频 | 亚洲一级免费视频 |