隨著大數據、人工智能的火熱，很多程序員都不甘現狀，尋求更廣闊的發展。但高薪工作也意味著高壓，對于很多工作了三五年的程序員來說，更不想放棄現有的技術基礎，去重新學習新領域的技術。但大數據作為一個飛速發展的熱門領域，一半以上的專業人才卻是轉行而來……

1

數據是未來的“一切”

很多向大數據方向發展的人，都是看到了這個行業未來無限廣闊的前景和“錢景”。大數據并不是新名詞，但近幾年大數據、人工智能向各行各業逐漸滲透，數據也隨之井噴式增長。早年掌握大量用戶數據的互聯網公司，已經向世人展現數據在不同應用場景中的巨大價值：

“天然”大數據公司亞馬遜從海量購買數據中獲得信息、預測用戶行為；谷歌已成為網民的“意圖數據庫”；LinkedIn的獵頭價值；滴滴等出行、物流配送業務利用交易數據進行實時定價，使利潤最大化；還有的借助大數據相關技術，創造出新的業務模式——比如利用算法做個性化內容推薦的今日頭條、一點資訊……

“一旦進入大數據的世界，企業的手中將握有無限可能。你會發現數據越大，結果越好。為什么有的企業在商業上不斷犯錯?那是因為他們沒有足夠的數據對運營和決策提供支持。”

亞馬遜CTO Werner Vogels

數據人才的旺盛需求源自一個根本性的變化：科技公司現如今都成了數據公司。大到 BAT 等互聯網巨頭，小到創業公司，都在向數據驅動型企業轉變，挖掘數據、解讀數據、用數據洞察助力企業業務發展變得更加重要，導致行業內人才的供給相對不足，薪資也非常可觀。

*數據工程師平均薪資（取自2019/4/25，Glassdoor）

Glassdoor 最新數據顯示，美國數據工程師平均年薪為 116k 美金（約合月薪 6w+ 人民幣），比數據分析師高出60%。北美就業情況是中國的晴雨表，對比其他數據崗位，國內的數據工程師需求急速上升。

2

數據工程師轉行人士占46%

隨著企業需求的增長，數據工程師數量也隨之急速增長，其中，接近一半的比例是從其他相關崗位轉行而來。越來越多的程序員、工程師轉而向大數據方向發展，不僅僅是崗位的高薪，也是為了順應時代。并且從企業對數據人才的需求增長來看，這一趨勢并不會有所放緩。

* 數據工程師的崗位來源前 10，排名最高的分別是軟件工程師（41.67%）、分析師、咨詢師、商業分析師。數據來源：Stitch，點擊可查看大圖

大數據行業之所以轉行人士占比大，也是因為轉行的門檻相對不高：

首先，大數據本身的年齡不大。其他崗位動輒“10年開發經驗”的要求比比皆是，但大數據相關崗位往往更看重能力，不會對工作年限有過高要求，無形之中為剛畢業的學生、轉行人士提供了很多機會。

其次，大多數企業對大數據人才需求并不明確。大數據不是單一的學科，需要多方向的內容支撐。因此當企業需求不明確時，很多人本來在從事軟件工程師、后端、甚至是算法等崗位，只需補充對應的技術內容，很容易轉型大數據方向，還有很多想成為數據科學家的人，通過數據工程師“曲線救國”。

3

需要走多少彎路，才能成為數據工程師？

回答這個問題之前，你首先要知道數據工程師需要做什么，各種新技術和產品的出現，數據工程師這個角色也發生了較大的變化。

幾年前的數據工程師，主要管理數據進出數據庫，在 SQL 或 Procedural SQL 中創建管道，并在數據倉庫中加載數據，創建統一、標準化的數據集結構以供后期分析。但 2018 年以來，他們不再僅僅為數據的后期分析提供支持，還要負責整個數據流，保證任何數據都能夠正常操作，并方便其他使用者獲取。

這里的新技術和新產品，主要指的是大數據及其相關技術、DOE、機器學習、Spark＆Real-time、云開發和無服務器等。

大數據：

2006年，Hadoop 的開源大大改變了數據格局，存儲大量數據變得更容易，更便宜。最初，在 Hadoop 上進行開發非常復雜，需要用 Java 開發 Map Reduce 作業。直到 2010 年 Hive 開源，更多傳統數據工程師才能更容易進入這個大數據時代。

DOE：

隨著大數據的發展，大型互聯網公司面臨的最大挑戰是：缺少運行復雜數據流的工具。Spotify 在2012年開源 Luigi，在 2015 年開源 Airbnb Airflow，這些編排引擎本質上是把數據流作為代碼。Python 是大多數編排引擎的編譯語言。

機器學習：

在 Hadoop 出現之前，我們通常在一臺機器上訓練機器學習模型，并且以非常特殊的方式進行應用。對于大型互聯網公司而言，需要利用先進的軟件開發技術以更好地訓練機器學習模型并應用到生產中，比如使用 Mahout 之類的框架。

Spark＆Real-time：

2014 年 Spark 發布了用于 python 的 MLlib，也將大數據上的機器學習計算民主化。關于 Hadoop 和 Spark 的選擇問題，也一直在討論中。作為兩個頂級的 Apache 項目，Spark 在性能、成本、可用性、安全性和機器學習等多個角度，都比 Hadoop 略勝一籌，或許 Spark 在未來會成為大數據領域更年輕的“統治者”。

云開發和無服務器：

遷移到云對數據工程師而言有多重影響。“云”打破了物理限制，對于大多數用戶而言，它意味著存儲和計算趨于無限化。這樣一來，就不再需要對服務器進行不斷的優化。而且，通過允許擴展和減少資源來實現云，使得處理數據工程中典型的高峰批處理作業變得更加容易。

大數據行業，甚至是整個程序員行業，都是需要不停學習、不停經歷技術迭代的，想要成為一名新時代下的數據工程師，就必須不斷學習新技術以適應這快速的變化。

Udacity 全新上線的數據工程師納米學位課程，將幫助想要進入該領域的人學到必備的專業技能，并在實際場景中進行應用，進而找到理想的工作。

或許很多人對 Udacity 并不陌生。Udacity 由 Google X 實驗室的無人車之父 Sebastian Thrun 創立，課程與 Amazon、Google、Kaggle 等全球領先企業聯合開發。在 MOOC 發展較為成熟的美國，Udacity 為畢業生頒發的「納米學位」相當于“名企敲門磚”。

2016 年登陸中國后，與更多中國企業達成合作，騰訊、京東、唯品會等互聯網名企，都將 Udacity 納米學位項目作為員工的內部培訓內容，入職的 Udacity 畢業生甚至可以獲得公司的“學費返還”，納米學位在中國的影響也在逐漸擴大。