如何成為大數(shù)據(jù)工程師

由于目前大數(shù)據(jù)人才匱乏，由于18年是各個(gè)大學(xué)第一年開(kāi)設(shè)大數(shù)據(jù)專業(yè)，所以暫時(shí)也沒(méi)有相關(guān)專業(yè)的大數(shù)據(jù)專業(yè)人才投入到社會(huì)中。對(duì)于公司來(lái)說(shuō)，很難招聘到合適的人才。

阿里巴巴曾經(jīng)舉辦了一個(gè)大數(shù)據(jù)競(jìng)賽，通過(guò)這個(gè)競(jìng)賽來(lái)激勵(lì)內(nèi)部員工，同時(shí)也發(fā)現(xiàn)外部人才，讓各行業(yè)的大數(shù)據(jù)工程師涌現(xiàn)出來(lái)。各個(gè)領(lǐng)域的達(dá)人只要學(xué)會(huì)運(yùn)用數(shù)據(jù)，也可以成為大數(shù)據(jù)工程師。

如果曾經(jīng)沒(méi)有大數(shù)據(jù)相關(guān)經(jīng)驗(yàn)而又想加入大數(shù)據(jù)這個(gè)高薪的行業(yè)那么很多的人就會(huì)選擇通過(guò)培訓(xùn)來(lái)進(jìn)行系統(tǒng)的學(xué)習(xí)，從而真正的進(jìn)入到大數(shù)據(jù)這個(gè)高薪的行業(yè)。但是當(dāng)今社會(huì)培訓(xùn)機(jī)構(gòu)種類繁多，培訓(xùn)的內(nèi)容也有諸多不同，大家務(wù)必要擦亮眼睛認(rèn)真選擇，避免選錯(cuò)導(dǎo)致人財(cái)兩失。

薪酬待遇

作為IT類職業(yè)中的“大熊貓”，大數(shù)據(jù)工程師的收入待遇可以說(shuō)達(dá)到了同類的頂級(jí)。根據(jù)觀察，國(guó)內(nèi)IT、通訊、行業(yè)招聘中，有10％都是和大數(shù)據(jù)相關(guān)的，且比例還在上升。“大數(shù)據(jù)時(shí)代的到來(lái)很突然，在國(guó)內(nèi)發(fā)展勢(shì)頭激進(jìn)，而人才卻非常有限，現(xiàn)在完全是供不應(yīng)求的狀況。”在美國(guó)，大數(shù)據(jù)工程師平均每年薪酬高達(dá)17.5萬(wàn)美元，而據(jù)了解，在國(guó)內(nèi)頂尖互聯(lián)網(wǎng)類公司，同一個(gè)級(jí)別大數(shù)據(jù)工程師的薪酬可能要比其他職位高20％至30％，且頗受企業(yè)重視。

職業(yè)發(fā)展路徑

由于大數(shù)據(jù)人才數(shù)量較少，因此大多數(shù)公司的數(shù)據(jù)部門一般都是扁平化的層級(jí)模式，大致分為數(shù)據(jù)分析師、資深研究員、部門總監(jiān)3個(gè)級(jí)別。大公司可能按照應(yīng)用領(lǐng)域的維度來(lái)劃分不同團(tuán)隊(duì)，而在小公司則需要身兼數(shù)職。有些特別強(qiáng)調(diào)大數(shù)據(jù)戰(zhàn)略的互聯(lián)網(wǎng)公司則會(huì)另設(shè)最高職位—如阿里巴巴的首席數(shù)據(jù)官。“這個(gè)職位的大部分人會(huì)往研究方向發(fā)展，成為重要數(shù)據(jù)戰(zhàn)略人才。”另一方面，大數(shù)據(jù)工程師對(duì)商業(yè)和產(chǎn)品的理解，并不亞于業(yè)務(wù)部門員工，因此也可轉(zhuǎn)向產(chǎn)品部或市場(chǎng)部，乃至上升為公司的高級(jí)管理層。

在一個(gè)成熟的數(shù)據(jù)驅(qū)動(dòng)型公司，“大數(shù)據(jù)工程師”往往是一個(gè)團(tuán)隊(duì)，它意味著從數(shù)據(jù)的收集、整理展現(xiàn)、分析和商業(yè)洞察、以至于市場(chǎng)轉(zhuǎn)化的全過(guò)程。這個(gè)團(tuán)隊(duì)中可能包括數(shù)據(jù)工程師、分析師、產(chǎn)品專員、市場(chǎng)專員和商業(yè)決策者等角色，共同完成從原始數(shù)據(jù)到商業(yè)價(jià)值的轉(zhuǎn)換—概括來(lái)講，這是一個(gè)支持企業(yè)做出商業(yè)決策、發(fā)掘商業(yè)模式的重要群體。

一個(gè)優(yōu)秀的大數(shù)據(jù)工程師要具備一定的邏輯分析能力，并能迅速定位某個(gè)商業(yè)問(wèn)題的關(guān)鍵屬性和決定因素。“他得知道什么是相關(guān)的，哪個(gè)是重要的，使用什么樣的數(shù)據(jù)是最有價(jià)值的，如何快速找到每個(gè)業(yè)務(wù)最核心的需求。”聯(lián)合國(guó)百度大數(shù)據(jù)聯(lián)合實(shí)驗(yàn)室數(shù)據(jù)科學(xué)家沈志勇說(shuō)。學(xué)習(xí)能力能幫助大數(shù)據(jù)工程師快速適應(yīng)不同的項(xiàng)目，并在短時(shí)間內(nèi)成為這個(gè)領(lǐng)域的數(shù)據(jù)專家；溝通能力則能讓他們的工作開(kāi)展地更順利，因?yàn)榇髷?shù)據(jù)工程師的工作主要分為兩種方式：由市場(chǎng)部驅(qū)動(dòng)和由數(shù)據(jù)分析部門驅(qū)動(dòng)，前者需要常常向產(chǎn)品經(jīng)理了解開(kāi)發(fā)需求，后者則需要找運(yùn)營(yíng)部了解數(shù)據(jù)模型實(shí)際轉(zhuǎn)化的情況。

很多初學(xué)者，對(duì)大數(shù)據(jù)的概念都是模糊不清的，大數(shù)據(jù)是什么，能做什么，學(xué)的時(shí)候，該按照什么線路去學(xué)習(xí)，學(xué)完往哪方面發(fā)展，想深入了解，想學(xué)習(xí)的同學(xué)歡迎加入大數(shù)據(jù)學(xué)習(xí)扣扣群：957205962，有大量干貨（零基礎(chǔ)以及進(jìn)階的經(jīng)典實(shí)戰(zhàn)）分享給大家，并且有清華大學(xué)畢業(yè)的資深大數(shù)據(jù)講師給大家免費(fèi)授課，給大家分享目前國(guó)內(nèi)最完整的大數(shù)據(jù)高端實(shí)戰(zhàn)實(shí)用學(xué)習(xí)流程體系。

你可以將以上這些要求看做是成為大數(shù)據(jù)工程師的努力方向，因?yàn)楦鶕?jù)萬(wàn)寶瑞華管理合伙人的觀察，這是一個(gè)很大的人才缺口。目前國(guó)內(nèi)的大數(shù)據(jù)應(yīng)用多集中在互聯(lián)網(wǎng)領(lǐng)域，有超過(guò)56%的企業(yè)在籌備發(fā)展大數(shù)據(jù)研究，“未來(lái)5年，94%的公司都會(huì)需要數(shù)據(jù)工程師”

大數(shù)據(jù)工程師做什么？

用阿里巴巴集團(tuán)研究員薛貴榮的話來(lái)說(shuō)，大數(shù)據(jù)工程師就是一群“玩數(shù)據(jù)”的人，玩出數(shù)據(jù)的商業(yè)價(jià)值，讓數(shù)據(jù)變成生產(chǎn)力。大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)的最大區(qū)別在于，它是在線的、實(shí)時(shí)的，規(guī)模海量且形式不規(guī)整，無(wú)章法可循，因此“會(huì)玩”這些數(shù)據(jù)的人就很重要。

如果把大數(shù)據(jù)想象成一座不停累積的礦山，那么大數(shù)據(jù)工程師的工作就是，“第一步，定位并抽取信息所在的數(shù)據(jù)集，相當(dāng)于探礦和采礦。第二步，把它變成直接可以做判斷的信息，相當(dāng)于冶煉。最后是應(yīng)用，把數(shù)據(jù)可視化等。”

因此分析歷史、預(yù)測(cè)未來(lái)、優(yōu)化選擇，這是大數(shù)據(jù)工程師在“玩數(shù)據(jù)”時(shí)最重要的三大任務(wù)。通過(guò)這三個(gè)工作方向，他們幫助企業(yè)做出更好的商業(yè)決策。

找出過(guò)去事件的特征

大數(shù)據(jù)工程師一個(gè)很重要的工作，就是通過(guò)分析數(shù)據(jù)來(lái)找出過(guò)去事件的特征。比如，騰訊的數(shù)據(jù)團(tuán)隊(duì)正在搭建一個(gè)數(shù)據(jù)倉(cāng)庫(kù)，把公司所有網(wǎng)絡(luò)平臺(tái)上數(shù)量龐大、不規(guī)整的數(shù)據(jù)信息進(jìn)行梳理，總結(jié)出可供查詢的特征，來(lái)支持公司各類業(yè)務(wù)對(duì)數(shù)據(jù)的需求，包括廣告投放、游戲開(kāi)發(fā)、社交網(wǎng)絡(luò)等。

找出過(guò)去事件的特征，最大的作用是可以幫助企業(yè)更好地認(rèn)識(shí)消費(fèi)者。通過(guò)分析用戶以往的行為軌跡，就能夠了解這個(gè)人，并預(yù)測(cè)他的行為。“你可以知道他是什么樣的人、他的年紀(jì)、興趣愛(ài)好，是不是互聯(lián)網(wǎng)付費(fèi)用戶、喜歡玩什么類型的游戲，平常喜歡在網(wǎng)上做什么事情。”騰訊云計(jì)算有限公司北京研發(fā)中心總經(jīng)理鄭立峰對(duì)《第一財(cái)經(jīng)周刊》說(shuō)。下一步到了業(yè)務(wù)層面，就可以針對(duì)各類人群推薦相關(guān)服務(wù)，比如手游，或是基于不同特征和需求衍生出新的業(yè)務(wù)模式，比如微信的電影票業(yè)務(wù)。

預(yù)測(cè)未來(lái)可能發(fā)生的事情

通過(guò)引入關(guān)鍵因素，大數(shù)據(jù)工程師可以預(yù)測(cè)未來(lái)的消費(fèi)趨勢(shì)。在阿里媽媽的營(yíng)銷平臺(tái)上，工程師正試圖通過(guò)引入氣象數(shù)據(jù)來(lái)幫助淘寶賣家做生意。“比如今年夏天不熱，很可能某些產(chǎn)品就沒(méi)有去年暢銷，除了空調(diào)、電扇，背心、游泳衣等都可能會(huì)受其影響。那么我們就會(huì)建立氣象數(shù)據(jù)和銷售數(shù)據(jù)之間的關(guān)系，找到與之相關(guān)的品類，提前警示賣家周轉(zhuǎn)庫(kù)存。”

在百度，支持“百度預(yù)測(cè)”部分產(chǎn)品的模型研發(fā)，試圖用大數(shù)據(jù)為更廣泛的人群服務(wù)。已經(jīng)上線的包括世界杯預(yù)測(cè)、高考預(yù)測(cè)、景點(diǎn)預(yù)測(cè)等。以百度景點(diǎn)預(yù)測(cè)為例，大數(shù)據(jù)工程師需要收集所有可能影響一段時(shí)間內(nèi)景點(diǎn)人流量的關(guān)鍵因素進(jìn)行預(yù)測(cè)，并為全國(guó)各個(gè)景點(diǎn)未來(lái)的擁擠度分級(jí)—在接下來(lái)的若干天時(shí)間里，它究竟是暢通、擁擠，還是一般擁擠？

找出最優(yōu)化的結(jié)果

根據(jù)不同企業(yè)的業(yè)務(wù)性質(zhì)，大數(shù)據(jù)工程師可以通過(guò)數(shù)據(jù)分析來(lái)達(dá)到不同的目的。

以騰訊來(lái)說(shuō)，鄭立峰認(rèn)為能反映大數(shù)據(jù)工程師工作的最簡(jiǎn)單 直接的例子就是選項(xiàng)測(cè)試（AB Test），即幫助產(chǎn)品經(jīng)理在A、B兩個(gè)備選方案中做出選擇。在過(guò)去，決策者只能依據(jù)經(jīng)驗(yàn)進(jìn)行判斷，但如今大數(shù)據(jù)工程師可以通過(guò)大范圍地實(shí)時(shí)測(cè)試—比如，在社交網(wǎng)絡(luò)產(chǎn)品的例子中，讓一半用戶看到A界面，另一半使用B界面，觀察統(tǒng)計(jì)一段時(shí)間內(nèi)的點(diǎn)擊率和轉(zhuǎn)化率，以此幫助市場(chǎng)部做出最終選擇。

作為電商的阿里巴巴，則希望通過(guò)大數(shù)據(jù)鎖定精準(zhǔn)的人群，幫助賣家做更好的營(yíng)銷。“我們更期待的是你能找到這樣一批人，比起現(xiàn)有的用戶，這些人對(duì)產(chǎn)品更感興趣。”一個(gè)淘寶的實(shí)例是，某人參賣家原來(lái)推廣的目標(biāo)人群是產(chǎn)婦，但工程師通過(guò)挖掘數(shù)據(jù)之間的關(guān)聯(lián)性后發(fā)現(xiàn)，針對(duì)孕婦群體投放的營(yíng)銷轉(zhuǎn)化率更高。

需要具備的能力

邏輯思維能力強(qiáng)

計(jì)算機(jī)編碼能力

特定應(yīng)用領(lǐng)域或行業(yè)的知識(shí)

大數(shù)據(jù)技術(shù)學(xué)習(xí)主要是分三部分

一、編程基礎(chǔ)

二、大數(shù)據(jù)技術(shù)

三、實(shí)訓(xùn)項(xiàng)目（真實(shí)的大數(shù)據(jù)項(xiàng)目）