谷歌瀏覽器分析post地址

• 方式一： 使用瀏覽器自帶開(kāi)發(fā)者工具（ f12 快捷鍵 )，通過(guò)查詢form表單獲取

• 方式二： 直接點(diǎn)擊登錄按鈕，查看訪問(wèn)的地址（需要注意下面請(qǐng)求時(shí)傳遞的參數(shù)，如果部分參數(shù)不知道如何得到，可能需要跟蹤js文件查看）

• 方式三： 部分網(wǎng)站的PC端請(qǐng)求時(shí)需要的參數(shù)較多，但是移動(dòng)端會(huì)少些，所以可以切換到移動(dòng)端看看請(qǐng)求地址與參數(shù)

requests小技巧

• requests.util.dict_from_cookiejar 把cookie對(duì)象轉(zhuǎn)化為字典
• 請(qǐng)求SSL證書(shū)驗(yàn)證
  • r=requests.get(url,verify=False)
• 設(shè)置超時(shí)
  • r=requests.get(url,timeout=時(shí)間（單位是秒）)
• 使用斷言判斷狀態(tài)碼是否成功
  • assert respnose.status_code==200

爬蟲(chóng)數(shù)據(jù)處理

數(shù)據(jù)分類(lèi)

• 非結(jié)構(gòu)化數(shù)據(jù)：html 等
  • 處理方法：使用 正則表達(dá)式、xpath 處理數(shù)據(jù)
• 結(jié)構(gòu)化數(shù)據(jù)：json、xml等
  • 處理方法：轉(zhuǎn)化為python中的數(shù)據(jù)類(lèi)型

數(shù)據(jù)處理之JSON

• JSON（JavaScript Object Notation) ，是一種輕量級(jí)的數(shù)據(jù)交換格式，它使得人們很容易進(jìn)行閱讀和編寫(xiě)。同時(shí)也方便了機(jī)器進(jìn)行解析和生成。適用于進(jìn)行數(shù)據(jù)交互的場(chǎng)景，比如網(wǎng)站的前后臺(tái)之間的數(shù)據(jù)交互。
• 爬取豆瓣電視劇列表示例

import json
import requests


class DouBanMovie:
    def __init__(self):
        self.url="https://m.douban.com/rexxar/api/v2/subject_collection/tv_domestic/items?os=android&for_mobile=1&start=0&count=18&loc_id=108288"
        self.headers={
            "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Mobile Safari/537.36",
            "Referer": "https://m.douban.com/tv/chinese"
        }


    def get_data(self):
        response = requests.get(self.url, headers=self.headers)
        if response.status_code==200:
            # 將json字符串轉(zhuǎn)化為python中的數(shù)據(jù)類(lèi)型
            result=json.loads(response.content.decode())
            return result


    def write_file(self,fileName,data):
        '''寫(xiě)入文件'''


        # json.dumps能夠把python中的類(lèi)型數(shù)據(jù)轉(zhuǎn)化成json字符串
        data=json.dumps(data,ensure_ascii=False)
        with open(fileName,"w",encoding="utf-8") as f:
            f.write(data)


    def read_file(self,fileName):
        '''讀取文件數(shù)據(jù)'''


        with open(fileName, "r", encoding="utf-8") as f:
            # 加載json類(lèi)型數(shù)據(jù)的文件
            result=json.load(f)
        return result




    def run(self):
        # 獲取數(shù)據(jù)
        result=self.get_data()
        # 將豆瓣數(shù)據(jù)寫(xiě)入文件
        self.write_file("douban.txt",result)
        # 讀取文件內(nèi)容
        readResult=self.read_file("douban.txt")


        print(readResult)




if __name__ == '__main__':
    douban=DouBanMovie()
    douban.run()

數(shù)據(jù)處理之正則表達(dá)式

• 正則表達(dá)式定義
  • 就是用事先定義好的一些特定字符、及這些特定字符的組合，組成一個(gè)” 規(guī)則字符串 “，這個(gè)”規(guī)則字符串“用來(lái)表達(dá)對(duì)字符串的一種過(guò)濾邏輯
• 常用正則表達(dá)式的方法
  • re.compile(編譯)
  • pattern.match(從頭開(kāi)始匹配一個(gè)）
  • pattern.search(從任何位置開(kāi)始匹配一個(gè)）
  • pattern.findall(匹配所有）
  • pattern.sub(替換）
• Python正則表達(dá)式中的re.S，re.M，re.I的作用
  • 正則表達(dá)式可以包含一些可選標(biāo)志修飾符來(lái)控制匹配的模式。修飾符被指定為一個(gè)可選的標(biāo)志。多個(gè)標(biāo)志可以通過(guò)按位 OR(|) 它們來(lái)指定。如 re.I | re.M 被設(shè)置成 I 和 M 標(biāo)志

• python中 r 的用法
  • 'r'是防止字符轉(zhuǎn)義的 如果路徑中出現(xiàn)'\\t'的話 不加r的話\\t就會(huì)被轉(zhuǎn)義 而加了'r'之后'\\t'就能保留原有的樣子

• 示例（提取成語(yǔ)故事）

import requests
import re


class ChengYu:
    def __init__(self):
        self.url="http://www.hydcd.com/cy/gushi/0259hs.htm"
        self.headers={
            "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Mobile Safari/537.36"
        }


    def get_data(self):
        response=requests.get(self.url,self.headers)
        result=None
        if response.status_code==200:
            result=response.content.decode("gb2312")
        return result


    def handle_data(self,html_str_list):
        if html_str_list==None or len(html_str_list)==0:
            return None


        html_str=html_str_list[0]
        result=re.sub(r"\\r|\\t|
","",html_str)
        return result


    def run(self):
        # 訪問(wèn)網(wǎng)頁(yè)信息
        html_str=self.get_data()
        # 用正則表達(dá)式提取 成語(yǔ)故事
        html_str_list=re.findall(r"(.*?)",html_str,re.S)
        # 處理語(yǔ)句中的換行、制表等標(biāo)識(shí)體符
        result=self.handle_data(html_str_list)


        print(result)


if __name__ == '__main__':
    chengYu=ChengYu()
    chengYu.run()

數(shù)據(jù)處理之xpath

• lxml 是一款高性能的python html/xml 解析器，我們可以利用xpath,來(lái)快速定位特定元素以及獲取節(jié)點(diǎn)信息
• xpath(xml path langueage)是一門(mén)在 html/xml 文檔中查找信息的語(yǔ)言，可以用來(lái)在html/xml 文檔中對(duì)元素和屬性進(jìn)行遍歷
• 官網(wǎng)地址：https://www.w3school.com.cn/xpath/index.asp
• xpath 節(jié)點(diǎn)選擇語(yǔ)法
  • xpath 使用路徑表達(dá)式來(lái)選取xml，文檔中的節(jié)點(diǎn)或者節(jié)點(diǎn)集，這些路徑表達(dá)式和我們?cè)诔Ｒ?guī)的電腦文件系統(tǒng)中看到的表達(dá)式非常相似

• 常用節(jié)點(diǎn)的選擇工具
  • Chrome插件 XPath Helper
  • 開(kāi)源的 XPath表達(dá)式編輯工具：XML Quire(xml 格式文件可用）
  • Firefox插件 XPath Checker
• lxml庫(kù)
  • 安裝lxml：pip install lxml
  • 使用方法：** from lxml import etree**
  • 利用 etree.HTML ，將字符串轉(zhuǎn)化為 Element對(duì)象
  • Element對(duì)象具有xpath的方法：html=etree.HTML(字符串)
• 示例

import requests
import re
from lxml import etree


class ChengYu:
    def __init__(self):
        self.url="http://www.hydcd.com/cy/gushi/0259hs.htm"
        self.headers={
            "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Mobile Safari/537.36"
        }


    def get_data(self):
        response=requests.get(self.url,self.headers)
        result=None
        if response.status_code==200:
            result=response.content.decode("gb2312")
        return result


    def handle_data(self,html_str_list):
        if html_str_list==None or len(html_str_list)==0:
            return None


        html_str=html_str_list[0]+html_str_list[1]
        result=re.sub(r"\\r|\\t|
","",html_str)
        return result


    def run(self):
        # 訪問(wèn)網(wǎng)頁(yè)信息
        html_str=self.get_data()
        # 用xpath提取元素
        html=etree.HTML(html_str)
        result=html.xpath("http://font[@color=\"#10102C\"]/text()")
        # 處理語(yǔ)句中的換行、制表等標(biāo)識(shí)體符
        result=self.handle_data(result)


        print(result)


if __name__ == '__main__':
    chengYu=ChengYu()
    chengYu.run()