網(wǎng)絡(luò)爬蟲技術(shù)

網(wǎng)絡(luò)爬蟲（Webcrawler），是一種按照一定的規(guī)則，自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本，它們被廣泛用于互聯(lián)網(wǎng)搜索引擎或其他類似網(wǎng)站，可以自動(dòng)采集所有其能夠訪問到的頁(yè)面內(nèi)容，以獲取或更新這些網(wǎng)站的內(nèi)容和檢索方式。從功能上來(lái)講，爬蟲一般分為數(shù)據(jù)采集，處理，儲(chǔ)存三個(gè)部分。

傳統(tǒng)爬蟲從一個(gè)或若干初始網(wǎng)頁(yè)的URL開始，獲得初始網(wǎng)頁(yè)上的URL，在抓取網(wǎng)頁(yè)的過(guò)程中，不斷從當(dāng)前頁(yè)面上抽取新的URL放入隊(duì)列，直到滿足系統(tǒng)的一定停止條件。

聚焦爬蟲的工作流程較為復(fù)雜，需要根據(jù)一定的網(wǎng)頁(yè)分析算法過(guò)濾與主題無(wú)關(guān)的鏈接，保留有用的鏈接并將其放入等待抓取的URL隊(duì)列。然后，它將根據(jù)一定的搜索策略從隊(duì)列中選擇下一步要抓取的網(wǎng)頁(yè)URL，并重復(fù)上述過(guò)程，直到達(dá)到系統(tǒng)的某一條件時(shí)停止。另外，所有被爬蟲抓取的網(wǎng)頁(yè)將會(huì)被系統(tǒng)存貯，進(jìn)行一定的分析、過(guò)濾，并建立索引，以便之后的查詢和檢索；對(duì)于聚焦爬蟲來(lái)說(shuō)，這一過(guò)程所得到的分析結(jié)果還可能對(duì)以后的抓取過(guò)程給出反饋和指導(dǎo)。

反爬蟲技術(shù)

因?yàn)樗阉饕娴牧餍校W(wǎng)絡(luò)爬蟲已經(jīng)成了很普及網(wǎng)絡(luò)技術(shù)，除了專門做搜索的Google，Yahoo，微軟，百度以外，幾乎每個(gè)大型門戶網(wǎng)站都有自己的搜索引擎，大大小小叫得出來(lái)名字得就幾十種，還有各種不知名的幾千幾萬(wàn)種，對(duì)于一個(gè)內(nèi)容型驅(qū)動(dòng)的網(wǎng)站來(lái)說(shuō)，受到網(wǎng)絡(luò)爬蟲的光顧是不可避免的。

一些智能的搜索引擎爬蟲的爬取頻率比較合理，對(duì)網(wǎng)站資源消耗比較少，但是很多糟糕的網(wǎng)絡(luò)爬蟲，對(duì)網(wǎng)頁(yè)爬取能力很差，經(jīng)常并發(fā)幾十上百個(gè)請(qǐng)求循環(huán)重復(fù)抓取，這種爬蟲對(duì)中小型網(wǎng)站往往是毀滅性打擊，特別是一些缺乏爬蟲編寫經(jīng)驗(yàn)的程序員寫出來(lái)的爬蟲破壞力極強(qiáng)，造成的網(wǎng)站訪問壓力會(huì)非常大，會(huì)導(dǎo)致網(wǎng)站訪問速度緩慢，甚至無(wú)法訪問。

一般網(wǎng)站從三個(gè)方面反爬蟲：用戶請(qǐng)求的Headers，用戶行為，網(wǎng)站目錄和數(shù)據(jù)加載方式。前兩種比較容易遇到，大多數(shù)網(wǎng)站都從這些角度來(lái)反爬蟲。第三種一些應(yīng)用ajax的網(wǎng)站會(huì)采用，這樣增大了爬取的難度。