在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

分享一個自己在實戰過程中用的比較順手的JS爬取工具

jf_Fo0qk3ln ? 來源:github ? 作者:pingc0y ? 2022-11-18 09:12 ? 次閱讀

一. 工具介紹

URLFinder是一款用于快速提取檢測頁面中JS與URL的工具

通常用于快速查找隱藏在頁面或js中的敏感或未授權api接口

功能類似于JSFinder,開發由來就是使用它的時候經常返回空或鏈接不全,作者還不更新修bug,那就自己來咯

URLFinder更專注于提取頁面中的JS與URL鏈接,提取的數據更完善且可查看狀態碼、內容大小、標題等

基于golang的多線程特性,幾千個鏈接也能幾秒內出狀態檢測結果

有什么需求或bug歡迎各位師傅提交lssues

二. 功能說明

1.提取頁面與JS中的JS及URL鏈接(頁面URL最多深入一層,防止抓偏)
2.提取到的鏈接會顯示狀態碼、響應大小、標題等(帶cookie操作時請使用-m 3 安全模式,防止誤操作)
3.支持配置Headers請求頭
4.支持提取批量URL
5.支持結果導出到csv文件
6.支持指定抓取域名
7.記錄抓取來源,便于手動分析

結果會優先顯示輸入的url頂級域名,其他域名不做區分顯示在 other

結果會優先顯示200,按從小到大排序(輸入的域名最優先,就算是404也會排序在其他子域名的200前面)

三. 使用截圖

單url截圖(舊版截圖)

fc044310-66d8-11ed-8abf-dac502259ad0.png

批量url截圖 (舊版截圖)

fc2c2c90-66d8-11ed-8abf-dac502259ad0.png

fc3b2c7c-66d8-11ed-8abf-dac502259ad0.png

四. 使用教程

單url時使用

URLFinder.exe -u http://www.baidu.com -s all -m 2 URLFinder.exe -u http://www.baidu.com -s 200,403 -m 2

批量url時使用

URLFinder.exe -s all -m 2 -f url.txt -o d:/

參數:


poYBAGN23J-AXl8PAAEVlMi2cTQ243.jpg

編譯

以下是在windows環境下,編譯出各平臺可執行文件的命令

windows
#64位
SET CGO_ENABLED=0
SET GOOS=windows
SET GOARCH=amd64
go build -ldflags "-s -w" -o URLFinder-windows64.exe main.go
#32位
SET CGO_ENABLED=0
SET GOOS=windows
SET GOARCH=386
go build -ldflags "-s -w"  -o URLFinder-windows32.exe main.go
linux
#64位
SET CGO_ENABLED=0
SET GOOS=linux
SET GOARCH=amd64
go build -ldflags "-s -w" -o URLFinder-linux64 main.go
#32位
SET CGO_ENABLED=0
SET GOOS=linux
SET GOARCH=386
go build -ldflags "-s -w" -o URLFinder-linux32 main.go
macos
#64位
SET CGO_ENABLED=0
SET GOOS=darwin
SET GOARCH=amd64
go build -ldflags "-s -w" -o URLFinder-macos64 main.go
#32位
SET CGO_ENABLED=0
SET GOOS=darwin
SET GOARCH=386
go build -ldflags "-s -w" -o URLFinder-macos32 main.go

GOBY可以直接加載

fc856332-66d8-11ed-8abf-dac502259ad0.png







審核編輯:劉清

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • URL
    URL
    +關注

    關注

    0

    文章

    139

    瀏覽量

    15742
  • API接口
    +關注

    關注

    1

    文章

    85

    瀏覽量

    10720

原文標題:一款用GO語言編寫的JS爬取工具

文章出處:【微信號:菜鳥學信安,微信公眾號:菜鳥學信安】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    采用xpath網站內容

    xpathmooc網課程
    發表于 04-11 12:01

    python音頻文件的步驟

    python爬蟲音頻文件
    發表于 08-22 14:23

    豆瓣電影Top250信息

    通過本案例[豆瓣電影Top250信息]鍛煉除正則表達式之外兩種信息解析方式:Xpath和PyQuery。url地址:https://movie.douban.com/top25
    發表于 03-23 15:47

    語音交互的過程中用戶語音的關鍵字可以獲取到嗎?

    語音交互的過程中用戶語音的關鍵字可以獲取到嗎?
    發表于 03-10 08:50

    PCB板組裝過程中過波峰焊時孔錫不良的原因都有哪些?

    PCB板組裝過程中過波峰焊時孔錫不良的原因都有哪些?孔銅錫不好是啥原因?
    發表于 04-11 16:55

    Python CSDN的極客頭條

    Python 如何CSDN的極客頭條呢?
    的頭像 發表于 03-21 14:58 ?5004次閱讀
    Python <b class='flag-5'>爬</b><b class='flag-5'>取</b>CSDN的極客頭條

    比較轉換過程中為什么會存在振蕩

    比較器是簡單的概念-輸入端對兩電壓進行比較。輸出為高或者低。因此,
    發表于 08-27 13:51 ?4819次閱讀
    <b class='flag-5'>比較</b>器<b class='flag-5'>在</b>轉換<b class='flag-5'>過程中</b>為什么會存在振蕩

    電影網最新電影資源鏈接地址[1]

    www.ygdy8電影資源的過程電影網電影資源鏈接,代碼段:# -*- codin
    發表于 01-10 13:36 ?0次下載
    <b class='flag-5'>爬</b><b class='flag-5'>取</b>電影網最新電影資源鏈接地址[1]

    如何用python抖音app數據

    記錄下如何用pythonapp數據,本文以抖音視頻app為例。
    的頭像 發表于 03-16 09:07 ?5639次閱讀

    使用Keil過程中些不順手的地方

    首先聲明本人并非Keil黑,本期純吐槽下在使用Keil過程中些不順手的地方,也極有可能講的并不全面,不客觀,望見諒,輕拍,也歡迎評論區討論。
    的頭像 發表于 05-26 10:53 ?1463次閱讀

    Python怎么玩轉JS腳本

    本項目旨在讓大家了解如何用Python來執行JS腳本,其主要目的是進行數據 分析時,需要利用爬蟲獲取數據,有時會遇到JS混淆加密反
    的頭像 發表于 02-23 16:26 ?1295次閱讀
    Python怎么玩轉<b class='flag-5'>JS</b>腳本

    Scrapy怎么Python文件

    我們介紹了Scrapy框架運行基本原理,緊接著我們介紹了如何利用Scrapy文本數據
    的頭像 發表于 02-24 15:16 ?733次閱讀
    Scrapy怎么<b class='flag-5'>爬</b><b class='flag-5'>取</b>Python文件

    node.js實戰源碼

    node.js實戰源碼
    發表于 05-16 18:06 ?1次下載

    使用Keil過程中些不順手的地方

    首先聲明本人并非Keil黑,本期純吐槽下在使用Keil過程中些不順手的地方,也極有可能講的并不全面,不客觀,望見諒,輕拍,也歡迎評論區討論。
    的頭像 發表于 05-23 09:14 ?1329次閱讀
    <b class='flag-5'>在</b>使用Keil<b class='flag-5'>過程中</b>的<b class='flag-5'>一</b>些不<b class='flag-5'>順手</b>的地方

    如何提高錫膏焊接過程中錫性?

    錫膏的錫性對于印刷質量和焊接效果至關重要。要提高錫膏焊接過程中錫性
    的頭像 發表于 02-15 09:21 ?314次閱讀
    主站蜘蛛池模板: 99久久精品费精品国产一区二 | 一区二区高清在线观看 | 奇米欧美| 一级片免费在线播放 | 亚洲精品香蕉婷婷在线观看 | 天堂bt资源www在线 | 天堂资源地址在线 | 午夜国产精品久久久久 | 好黄好硬好爽好刺激 | 在线视频 二区 | 羞羞色男人的天堂伊人久久 | 欧美 亚洲 国产 丝袜 在线 | 国产精品嫩草影院一二三区 | 69 hd xxxx日本| 免费看真人a一级毛片 | 中国特级毛片 | 日本成人一级片 | 国产精品17p | 亚洲综合欧美日本另类激情 | 日本亚洲精品色婷婷在线影院 | 免费成人黄色网址 | 欧美极品第1页专区 | 欧美 亚洲 国产 丝袜 在线 | 手机看片日韩在线 | 视频一区视频二区在线观看 | 在线黄色网 | 爱操综合 | 精品国产免费久久久久久婷婷 | 久久青草精品免费资源站 | 丁香婷婷六月天 | 五月婷婷六月爱 | 亚洲国产丝袜精品一区杨幂 | 视频h在线 | freesexvideo性欧美tv | 高清视频在线播放 | 国产五月| 8844aa在线毛片 | 国产激情片| 野外啪啪抽搐一进一出 | 深夜释放自己vlog糖心旧版本 | 国产成人mv在线观看入口视频 |