在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Python爬蟲繞過登錄的小技巧

馬哥Linux運維 ? 來源:lq ? 2019-05-07 16:08 ? 次閱讀

前言

很多時候我們做 Python 爬蟲時或者自動化測試時需要用到 selenium 庫,我們經常會卡在登錄的時候,登錄驗證碼是最頭疼的事情,特別是如今的文字驗證碼和圖形驗證碼。文字和圖形驗證碼還加了干擾線,本文就來講講怎么繞過登錄頁面。

登錄頁面的驗證,比如以下的圖形驗證碼。

還有我們基本都看過的 12306 的圖形驗證碼。

繞過登錄方法

繞過登錄基本有兩種方法,第一種方法是登錄后查看網站的 cookie,請求 url 的時候把 cookie 帶上,第二種方法是啟動瀏覽器帶上瀏覽器的全部信息,包括添加的書簽和訪問網頁的 cookie 信息。

第一種 cookie 方法我們要分析別人網站的 cookie 值,找出相應的值然后添加進去,對于我們不熟的網站,他們可能也會做加密或者動態處理,所以有些網站也不是那么好操作。如果是自己公司的網站需要測試,我們可以詢問對應的開發那個 cookie 值是區分獨立用的值,拿出來放在請求里面就行。

添加 cookie 繞過登錄

比如我們登錄百度賬號比較費勁,每次都需要登錄也比較繁瑣,我們 F12 打開頁面調試工具,登錄后找到 www.baidu.com 文件,在 cookie 中,我們發現很多值,其中圖中圈起來的就是我們要找的值。

我們在訪問 baidu 鏈接的時候加上這個 cookie 值,這樣就是直接登錄后的百度賬號了。

下載瀏覽器驅動

我們要 selenium 啟動瀏覽器時,需要下載后對應的驅動文件并放在 Python 安裝的根目錄下,比如我會用到谷歌 Chrome 瀏覽器和 Firefox 火狐瀏覽器。

谷歌瀏覽器驅動下載地址:

http://chromedriver.storage.googleapis.com/index.html

火狐瀏覽器驅動下載地址:

https://github.com/mozilla/geckodriver/releases/

啟動 Chrome 瀏覽器繞過登錄

我們每次打開瀏覽器做相應操作時,對應的緩存和 cookie 會保存到瀏覽器默認的路徑下,我們先查看個人資料路徑,以 chrome 為例,我們在地址欄輸入 chrome://version/

圖中的個人資料路徑就是我們需要的,我們去掉后面的 Default,然后在路徑前加上「–user-data-dir=」就拼接出我們要的路徑了。

profile_directory=r'--user-data-dir=C:UsersxxxAppDataLocalGoogleChromeUserData'

接下來,我們啟動瀏覽器的時候采用帶選項時的啟動,這種方式啟動瀏覽器需要注意,運行代碼前需要關閉所有的正在運行 chrome 程序,不然會報錯。全部代碼如下。

selenium 自動化啟動瀏覽器后我們會發現我之前保存的書簽完整在瀏覽器上方,baidu 賬號也是登錄的狀態。

啟動 Firfox 瀏覽器繞過登錄

Firfox 火狐瀏覽也可以這樣啟動它,設置略有不同。

首先,查看配置文件的存儲路徑,查看方法:幫助–故障排除信息–配置文件夾,把里面的路徑復制過來就行。

同樣,我們把路徑放在變量中。

profile_path=r'C:UsersguixianyangAppDataRoamingMozillaFirefoxProfilesdvm6wqam.default'

我們也在火狐瀏覽器中登錄好百度的賬號,用 selenium 自動化啟動帶配置文件的火狐瀏覽器,也會發現啟動時已經啟動了瀏覽器安裝的插件和登錄好的百度賬號。

繞過圖形驗證碼的網站

文中第一個圖是簡書登錄時的圖形驗證碼,我們登錄簡書后(cookie 有一定的時效,貌似有 10 天半個月左右),把上面代碼中的鏈接換成簡書的,再用上面的方法覺可以實現繞過登錄頁的圖形驗證碼。

比如我直接打開我的簡書個人主頁

https://www.jianshu.com/u/52353ffa8b86

自動化啟動后也是保留了登錄的狀態。

網站的登錄大門已被打開,接下來就可以做自己想做的事情了,比如爬蟲、自動化測試驗證之類的。

PS:以上技巧對有些網站可能不管用,但是對大部分網站還有適用的,覺得本文小技巧有用的自己趕緊試試吧。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 瀏覽器
    +關注

    關注

    1

    文章

    1040

    瀏覽量

    35956
  • python
    +關注

    關注

    56

    文章

    4822

    瀏覽量

    85803
  • 爬蟲
    +關注

    關注

    0

    文章

    83

    瀏覽量

    7270

原文標題:講講Python爬蟲繞過登錄的小技巧

文章出處:【微信號:magedu-Linux,微信公眾號:馬哥Linux運維】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    Python數據爬蟲學習內容

    ,利用爬蟲,我們可以解決部分數據問題,那么,如何學習Python數據爬蟲能?1.學習Python基礎知識并實現基本的爬蟲過程一般獲取數據的過
    發表于 05-09 17:25

    Python爬蟲與Web開發庫盤點

    Python爬蟲和Web開發均是與網頁相關的知識技能,無論是自己搭建的網站還是爬蟲爬去別人的網站,都離不開相應的Python庫,以下是常用的Pyth
    發表于 05-10 15:21

    0基礎入門Python爬蟲實戰課

    學習資料良莠不齊爬蟲是一門實踐性的技能,沒有實戰的課程都是騙人的!所以這節Python爬蟲實戰課,將幫到你!課程從0基礎入門開始,受眾人群廣泛:如畢業大學生、轉行人群、對Python
    發表于 07-25 09:28

    Python爬蟲簡介與軟件配置

    Python爬蟲練習一、爬蟲簡介1. 介紹2. 軟件配置二、爬取南陽理工OJ題目三、爬取學校信息通知四、總結五、參考一、爬蟲簡介1. 介紹網絡爬蟲
    發表于 01-11 06:32

    python網絡爬蟲概述

    提交一些關鍵字才能獲取的Web頁面,如登錄或注冊后訪問的頁面。應用場景爬蟲技術在科學研究、Web安全、產品研發、輿情監控等領域可以做很多事情。在數據挖掘、機器學習、圖像處理等科學研究領域,如果沒有
    發表于 03-21 16:51

    詳細用Python寫網絡爬蟲

    詳細用Python寫網絡爬蟲
    發表于 09-07 08:40 ?32次下載
    詳細用<b class='flag-5'>Python</b>寫網絡<b class='flag-5'>爬蟲</b>

    完全自學指南Python爬蟲BeautifulSoup詳解

    完全自學指南Python爬蟲BeautifulSoup詳解
    發表于 09-07 08:55 ?39次下載
    完全自學指南<b class='flag-5'>Python</b><b class='flag-5'>爬蟲</b>BeautifulSoup詳解

    WebSpider——多個python爬蟲項目下載

    此文檔包含多個python爬蟲項目
    發表于 03-26 09:29 ?3次下載

    python爬蟲入門教程之python爬蟲視頻教程分布式爬蟲打造搜索引擎

    本文檔的主要內容詳細介紹的是python爬蟲入門教程之python爬蟲視頻教程分布式爬蟲打造搜索引擎
    發表于 08-28 15:32 ?30次下載

    python爬蟲框架有哪些

    本視頻主要詳細介紹了python爬蟲框架有哪些,分別是Django、CherryPy、Web2py、TurboGears、Pylons、Grab、BeautifulSoup、Cola。
    的頭像 發表于 03-22 16:13 ?6939次閱讀

    Python爬蟲:使用哪種協議的代理IP最佳?

    網絡大數據要抓取信息,大多需要經過python爬蟲工作,爬蟲能夠幫助我們將頁面的信息抓取下來。
    的頭像 發表于 06-28 16:25 ?2066次閱讀

    python實現簡單爬蟲的資料說明

    本文檔的主要內容詳細介紹的是python實現簡單爬蟲的資料說明。
    發表于 11-02 17:53 ?21次下載
    <b class='flag-5'>python</b>實現簡單<b class='flag-5'>爬蟲</b>的資料說明

    Python寫網絡爬蟲

    Python寫網絡爬蟲的方法說明。
    發表于 06-01 11:55 ?21次下載

    利用Python編寫簡單網絡爬蟲實例

    利用 Python編寫簡單網絡爬蟲實例2 實驗環境python版本:3.3.5(2.7下報錯
    發表于 02-24 11:05 ?14次下載

    如何解決Python爬蟲中文亂碼問題?Python爬蟲中文亂碼的解決方法

    如何解決Python爬蟲中文亂碼問題?Python爬蟲中文亂碼的解決方法 在Python爬蟲過程
    的頭像 發表于 01-12 15:11 ?2892次閱讀
    主站蜘蛛池模板: 一级日本高清视频免费观看 | 国产精品www视频免费看 | 国产三级在线观看免费 | 中文字幕在线看视频一区二区三区 | 狠狠涩| 又黄又免费的网站 | 四虎影院永久地址 | 欧美黑粗 | h在线观看网站 | 亚洲特级毛片 | 五月天婷婷爱 | 欧美日韩一区二区三区毛片 | 欧美成人免费网站 | 国内精品久久久久影院薰衣草 | 国产高清视频在线免费观看 | 日日干夜夜操视频 | 免费香蕉视频国产在线看 | 性欧美hd| 欧洲人体超大胆露私视频 | 久久天天躁狠狠躁夜夜躁综合 | 日本不卡视频在线播放 | 在线电影你懂得 | 精品亚洲欧美无人区乱码 | 天堂在线观看免费视频 | 日本精品一卡二卡≡卡四卡 | 五月天丁香激情 | 黄色视屏在线免费观看 | 伊人婷婷涩六月丁香七月 | 丁香激情综合网 | 人人做人人爽人人爱 | 女人扒开腿让男人桶到爽 | 亚洲福利午夜 | 亚州一级毛片在线 | 欧美成人一区二区三区在线视频 | 日日夜夜狠狠 | 日本三级免费网站 | 曰韩一级 | 欧美性精品 | 综合涩| 91精选视频在线观看 | 亚洲国产网 |