一。項(xiàng)目問(wèn)題：

一般面試官的第一個(gè)問(wèn)題八成都是問(wèn)一下以前做過(guò)的項(xiàng)目，所以最好準(zhǔn)備兩個(gè)自己最近寫的有些技術(shù)

含量的項(xiàng)目，當(dāng)然一定要自己親手寫過(guò)的，在別的地方看的源碼，就算看的再清楚，總歸沒(méi)有自己敲的

了解的多。以下是抽出的幾點(diǎn)

1.你寫爬蟲的時(shí)候都遇到過(guò)什么反爬蟲措施，你是怎么解決的

2.用的什么框架，為什么選擇這個(gè)框架（我用的是scrapy框架，所以下面的問(wèn)題也是針對(duì)scrapy）

二。框架問(wèn)題（scrapy）可能會(huì)根據(jù)你說(shuō)的框架問(wèn)不同的問(wèn)題，但是scrapy還是比較多的

1.scrapy的基本結(jié)構(gòu)（五個(gè)部分都是什么，請(qǐng)求發(fā)出去的整個(gè)流程）

2.scrapy的去重原理 （指紋去重到底是什么原理）

3.scrapy中間件有幾種類，你用過(guò)那些中間件，

4.scrapy中間件再哪里起的作用（面向切面編程）

三。代理問(wèn)題

1.為什么會(huì)用到代理

2.代理怎么使用（具體代碼，請(qǐng)求在什么時(shí)候添加的代理）

3.代理失效了怎么處理

四。驗(yàn)證碼處理

1.登陸驗(yàn)證碼處理

2.爬取速度過(guò)快出現(xiàn)的驗(yàn)證碼處理

3.如何用機(jī)器識(shí)別驗(yàn)證碼

五。模擬登陸問(wèn)題

1.模擬登陸流程

2.cookie如何處理

3.如何處理網(wǎng)站傳參加密的情況

六。分布式

1.分布式原理

2.分布式如何判斷爬蟲已經(jīng)停止了

3.分布式去重原理

七。數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)庫(kù)問(wèn)題

1.關(guān)系型數(shù)據(jù)庫(kù)和非關(guān)系型數(shù)據(jù)庫(kù)的區(qū)別

2.爬下來(lái)數(shù)據(jù)你會(huì)選擇什么存儲(chǔ)方式，為什么

3.各種數(shù)據(jù)庫(kù)支持的數(shù)據(jù)類型，和特點(diǎn)，比如：redis如何實(shí)現(xiàn)持久化，mongodb

是否支持事物等。。

八.python基礎(chǔ)問(wèn)題

# 基礎(chǔ)問(wèn)題非常多，但是因?yàn)榕老x性質(zhì)，還是有些問(wèn)的比較多的，下面是總結(jié)

1.python2和python3的區(qū)別，如何實(shí)現(xiàn)python2代碼遷移到python3環(huán)境

2.python2和python3的編碼方式有什么差別（工作中發(fā)現(xiàn)編碼問(wèn)題還是挺讓人不爽的）

3.迭代器，生成器，裝飾器

4.python的數(shù)據(jù)類型

九。協(xié)議問(wèn)題

# 爬蟲從網(wǎng)頁(yè)上拿數(shù)據(jù)肯定需要模擬網(wǎng)絡(luò)通信的協(xié)議

1.http協(xié)議，請(qǐng)求由什么組成，每個(gè)字段分別有什么用，https和http有什么差距

2.證書問(wèn)題

3.TCP，UDP各種相關(guān)問(wèn)題

十。數(shù)據(jù)提取問(wèn)題

1.主要使用什么樣的結(jié)構(gòu)化數(shù)據(jù)提取方式，可能會(huì)寫一兩個(gè)例子

2.正則的使用

3.動(dòng)態(tài)加載的數(shù)據(jù)如何提取

4.json數(shù)據(jù)如何提取

十二。算法問(wèn)題

# 這個(gè)實(shí)在不好總結(jié)，比較考驗(yàn)代碼功力，大部分會(huì)讓你寫出時(shí)間復(fù)雜度比較低的

算法。小伙伴們要善用python的數(shù)據(jù)類型，對(duì)python的數(shù)據(jù)結(jié)構(gòu)深入了解。

以上就是總結(jié)內(nèi)容，歡迎小伙伴們共同探討。每個(gè)公司各有特點(diǎn)，但是這些算是基礎(chǔ)，也是常見問(wèn)題。

祝大家能找到理想工作，不寫bug