數(shù)據(jù)科學家的空缺以及各公司努力填補這一空白的持續(xù)投入在數(shù)據(jù)科學界并不算什么新聞。然而,擁有計算機科學技能、統(tǒng)計知識和與其特定業(yè)務問題相關(guān)的領(lǐng)域?qū)I(yè)知識的數(shù)據(jù)科學家卻不多見。
一方面,開發(fā)分析模型需要依仗領(lǐng)域的專業(yè)知識和實踐經(jīng)驗進行決斷;另一方面,視具體問題而定,進行數(shù)據(jù)分析可能需要具備傳統(tǒng)的分析技術(shù)(如統(tǒng)計和優(yōu)化)、數(shù)據(jù)特定的技術(shù)(如信號處理和圖像處理)或更新的功能(如機器學習算法)。
事實上,通過在設(shè)計過程中使用統(tǒng)計方法和計算技術(shù)工具,工程師也可以變成數(shù)據(jù)科學家。
以一個機器學習的實際案例來說:
一家大型半導體制造公司的工藝工程師正在考慮采用新方法來確保晶圓各層對準,他們發(fā)現(xiàn)機器學習或可作為預測層間疊加的方法使用。但作為工藝工程師,他們沒有使用這種新技術(shù)的經(jīng)驗。
通過在 MATLAB 中運行不同的機器學習示例,他們能夠識別合適的機器學習算法,對歷史數(shù)據(jù)進行訓練,并將其集成到原型疊加控制器中。靈活的 MATLAB 環(huán)境允許這些工藝工程師應用他們的領(lǐng)域?qū)I(yè)知識來構(gòu)建數(shù)據(jù)模型,從而識別可能未被發(fā)現(xiàn)的系統(tǒng)和隨機錯誤。
可見,為具備領(lǐng)域知識的工程師提供靈活且可擴展的軟件工具,可以幫助工程師快速掌握機器學習新技術(shù)并解決數(shù)據(jù)問題。
隨著技術(shù)的不斷發(fā)展,企業(yè)必須快速攝取、分析、驗證和可視化海量數(shù)據(jù),以便及時提供洞察力,從而抓住商機。如此,領(lǐng)域?qū)<夷軌蜻\用并應用數(shù)據(jù)科學對業(yè)務有明顯的好處,但這不可能一蹴而就。
由此帶來的數(shù)據(jù)分析挑戰(zhàn)還可能影響數(shù)據(jù)分析的價值。這些挑戰(zhàn)包括:
1. 陡峭的新技術(shù)學習曲線
數(shù)據(jù)分析領(lǐng)域的創(chuàng)新步伐非常快,每項新技術(shù)都有自己的學習曲線。特別是對于那些并非專職從事代碼編寫的人來說,學習曲線將更加陡峭。
解決方案:
提供快速啟動和運行的工具,最好是領(lǐng)域?qū)<沂煜さ挠嬎闫脚_中。
像 MATLAB 中的應用程序一樣的點擊式應用程序可以作為這些工程師的一個簡單起點。除此之外,通常還需要編程接口來微調(diào)分析以提高穩(wěn)健性和準確性。企業(yè)也應該尋找可以幫助工程師的培訓課程,效果自然遠勝通過試驗和犯錯來學習。
2. 工程師與數(shù)據(jù)科學家的團隊配合
數(shù)據(jù)科學家通常在機器學習方面具有很強的背景,卻不熟悉業(yè)務及其產(chǎn)品的細節(jié)。工程和科學團隊了解業(yè)務及其產(chǎn)品,但可能沒有機器學習經(jīng)驗。
解決方案:
提供靈活可擴展的工具。
針對領(lǐng)域?qū)<医档蜋C器學習標準的同時,為數(shù)據(jù)科學家提供靈活性和可擴展性。實際上,這意味著采用既具有圖形界面(即應用程序)又具有編程語言的工具。為團隊打造一個可以協(xié)作的環(huán)境至關(guān)重要。
3.數(shù)據(jù)分析在哪里結(jié)束
如果無法與企業(yè)的系統(tǒng)、產(chǎn)品和服務集成,成功開發(fā)的分析或機器學習模型對企業(yè)的價值便十分有限。傳統(tǒng)上,分析是在適合研究和開發(fā)的工具中開發(fā)的,但不適合在生產(chǎn)中運行分析,因此必須在分析之前將分析重新編碼為不同的編程語言。這一過程通常耗時數(shù)周到數(shù)月,并且可能會產(chǎn)生錯誤。
解決方案:
將算法打包以在不同生產(chǎn)環(huán)境中運行。
MATLAB 提供了用于將分析與 IT 系統(tǒng)中常用的編程語言(例如 Java和 .NET)集成的部署路徑,以及將分析轉(zhuǎn)換為可在嵌入式設(shè)備上運行的獨立 C 代碼。這兩種部署選項都可通過點擊式界面訪問,使其對具備領(lǐng)域知識的工程師具有吸引力。通過將分析轉(zhuǎn)換為在生產(chǎn)系統(tǒng)中運行的過程實現(xiàn)自動化,這些工具可顯著縮短設(shè)計迭代的時間。
數(shù)據(jù)科學家短缺的問題似乎不會很快得到解決,而領(lǐng)域?qū)<以谔钛a這一空白方面將起到重要的作用。
使領(lǐng)域?qū)<夷軌驅(qū)C器學習和其他數(shù)據(jù)分析技術(shù)應用于他們的工作,這些技術(shù)為工程團隊提供了令人興奮的創(chuàng)新機會——包括他們的設(shè)計工作流程和他們打造的產(chǎn)品。他們對業(yè)務及其產(chǎn)品的了解使他們能夠找到應用數(shù)據(jù)分析技術(shù)的創(chuàng)新方法。
-
數(shù)據(jù)
+關(guān)注
關(guān)注
8文章
7254瀏覽量
91788 -
機器學習
+關(guān)注
關(guān)注
66文章
8501瀏覽量
134537
發(fā)布評論請先 登錄
普源示波器如何連接MATLAB實現(xiàn)數(shù)據(jù)采集與分析
智慧路燈在數(shù)據(jù)采集與分析方面面臨的挑戰(zhàn)

Mathematica 在數(shù)據(jù)分析中的應用
ADS1299+RK3399在數(shù)據(jù)采樣的過程中,有數(shù)據(jù)丟失的情況怎么解決?
如何解決高校宿舍用電浪費及管理方面的問題?

LLM在數(shù)據(jù)分析中的作用
SUMIF函數(shù)在數(shù)據(jù)分析中的應用
數(shù)據(jù)分析在數(shù)字化中的作用
物聯(lián)網(wǎng)系統(tǒng)中的視頻監(jiān)控解決方案_攝像頭模組分析

評論