崗位描述1：

1、參與大規(guī)模框架系統(tǒng)的相關(guān)架構(gòu)和開發(fā)；

2、負(fù)責(zé)框架系統(tǒng)模塊設(shè)計和開發(fā)，包括服務(wù)端和客戶端，以及日常升級和維護

3、協(xié)助完成需求收集、分析，系統(tǒng)設(shè)計，測試和部署，編寫開發(fā)過程中涉及的相關(guān)文檔

任職資格

1. 3年以上Java開發(fā)經(jīng)驗，熟悉Java core和開源項目，有互聯(lián)網(wǎng)開發(fā)經(jīng)驗者優(yōu)先

2. 具備面向?qū)ο蟮脑O(shè)計思路和經(jīng)驗，熟悉軟件開發(fā)流程、體系結(jié)構(gòu)，具備較好的文檔能力及良好的編碼風(fēng)格；

3. 具備良好的表達(dá)和溝通能力，能充分理解用戶需求和功能描述，設(shè)計并開發(fā)軟件系統(tǒng)；

4、熟悉SOA、Messaging，socket、線程、并發(fā)等開發(fā)知識，有后臺框架開發(fā)經(jīng)驗者優(yōu)先

5、熟悉應(yīng)用服務(wù)器， 熟悉Tomcat、Netty、Apache的配置及其優(yōu)化

6. 熟悉數(shù)據(jù)庫知識，具有數(shù)據(jù)庫設(shè)計能力，熟悉SQL Server/Oracle/MySql相關(guān)技術(shù)及工具

7熟悉HTTP傳輸協(xié)議，精通網(wǎng)頁抓取原理及技術(shù)，能模擬瀏覽器操作爬蟲；

8、責(zé)任心強，熱愛爬蟲工作，有爬蟲項目經(jīng)驗優(yōu)先。

9. 具備極強的團隊精神和合作精神，對工作有熱情，能夠在一定壓力下工作

10.全日制本科、碩士及以上學(xué)歷，計算機、數(shù)學(xué)、物理及其他理工科專業(yè)畢業(yè)。

崗位描述2：

1、參與爬蟲系統(tǒng)的架構(gòu)設(shè)計與開發(fā)；

2、具有實際爬蟲開發(fā)、內(nèi)容提取工作經(jīng)驗2年以上；

3、負(fù)責(zé)設(shè)計和開發(fā)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，進行多平臺信息的抓取和分析；

4、設(shè)計爬蟲策略和防屏蔽規(guī)則，提升網(wǎng)頁抓取的效率和質(zhì)量；

5、能獨立解決實際開發(fā)過程碰到的各類問題；

崗位要求：

1、熟悉linux平臺開發(fā)，3年以上Java、python或C/C++開發(fā)經(jīng)驗；

2、精通信息抓取和整合技術(shù)，從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息；

3、熟悉Mysql，redis，mongdb三者至少之一，有過數(shù)據(jù)庫調(diào)優(yōu)和海量數(shù)據(jù)存儲經(jīng)驗優(yōu)先；

4、具有搜索相關(guān)技術(shù)研發(fā)經(jīng)驗者優(yōu)先；

5、具有數(shù)據(jù)挖掘、自然語言處理、信息檢索、機器學(xué)習(xí)背景者優(yōu)先；

6、有nutch，heritrix抓取經(jīng)驗或者分布式抓取經(jīng)驗者優(yōu)先；

7、熟悉搜索引擎和個性化推薦相關(guān)技術(shù)，精通主流分詞算法、分類、提取摘要、大規(guī)模網(wǎng)頁聚類、索引、檢索等相關(guān)開發(fā)經(jīng)驗者優(yōu)先。

職位描述3：

1、精通爬蟲相關(guān)技術(shù)，如：httpClient/jSoup/xpath/正則表達(dá)式/驗證碼加密處理/代理池等

2、精通Core Java相關(guān)知識，如：常用集合類/泛型/反射/IO/注解/多線程等

3、掌握常用開源框架，如：Spring、MyBatis、Spring Boot等

4、掌握常用數(shù)據(jù)庫（如：MySQL）及相應(yīng)DDL/DML，熟悉索引及常規(guī)SQL調(diào)優(yōu)

5、掌握常用開發(fā)管理工具及應(yīng)用服務(wù)器，如：Eclipser、Maven、Git/SVN、Tomcat、Nginx等

6、熟悉行為驗證碼識別、模擬登陸、數(shù)據(jù)清洗、去重、入庫等

7、熟悉HTTP協(xié)議，掌握HTML/CSS/JS/JQUERY/AJAX等相關(guān)知識

8、熟悉MQ、Zookeeper、Redis等分布式和NoSQL技術(shù)

9、了解Linux系統(tǒng)及Linux常用命令

10、了解Hadoop、HBase、HDFS、KAFKA等大數(shù)據(jù)相關(guān)知識

11、有運營商網(wǎng)站爬取或逆向經(jīng)驗尤佳

職位描述4：

1、參與數(shù)據(jù)層建設(shè)，專注于垂直領(lǐng)域數(shù)據(jù)爬取，進行多平臺信息的抓取和分析；

2、參與爬蟲系統(tǒng)的架構(gòu)設(shè)計與開發(fā)；

3、實現(xiàn)數(shù)據(jù)提取、清洗、結(jié)構(gòu)化、入庫、統(tǒng)計分析等需求；

4、研究優(yōu)化算法，提升爬蟲系統(tǒng)的穩(wěn)定性、可擴展性；

5、設(shè)計爬蟲策略和防屏蔽規(guī)則，提升網(wǎng)頁抓取的效率和質(zhì)量；

6、能獨立解決實際開發(fā)過程碰到的各類問題。

崗位要求：

1、全日制本科以上學(xué)歷，計算機等專業(yè)；

2、有扎實的計算機基礎(chǔ)、熟悉常用數(shù)據(jù)結(jié)構(gòu)，具有實際爬蟲開發(fā)經(jīng)驗；

3、至少熟練掌握J(rèn)ava／Python其中一種語言，良好的編碼風(fēng)格及編碼能力；

4、熟悉高并發(fā)、高性能的分布式系統(tǒng)的設(shè)計及應(yīng)用，熟悉常用數(shù)據(jù)存儲，各種數(shù)據(jù)處理技術(shù)優(yōu)先；

5、有3年以上編程開發(fā)經(jīng)驗，有豐富的爬蟲和反爬蟲經(jīng)驗者優(yōu)先。