在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

分享一個自己在實(shí)戰(zhàn)過程中用的比較順手的JS爬取工具

jf_Fo0qk3ln ? 來源:github ? 作者:pingc0y ? 2022-11-18 09:12 ? 次閱讀

一. 工具介紹

URLFinder是一款用于快速提取檢測頁面中JS與URL的工具

通常用于快速查找隱藏在頁面或js中的敏感或未授權(quán)api接口

功能類似于JSFinder,開發(fā)由來就是使用它的時候經(jīng)常返回空或鏈接不全,作者還不更新修bug,那就自己來咯

URLFinder更專注于提取頁面中的JS與URL鏈接,提取的數(shù)據(jù)更完善且可查看狀態(tài)碼、內(nèi)容大小、標(biāo)題等

基于golang的多線程特性,幾千個鏈接也能幾秒內(nèi)出狀態(tài)檢測結(jié)果

有什么需求或bug歡迎各位師傅提交lssues

二. 功能說明

1.提取頁面與JS中的JS及URL鏈接(頁面URL最多深入一層,防止抓偏)
2.提取到的鏈接會顯示狀態(tài)碼、響應(yīng)大小、標(biāo)題等(帶cookie操作時請使用-m 3 安全模式,防止誤操作)
3.支持配置Headers請求頭
4.支持提取批量URL
5.支持結(jié)果導(dǎo)出到csv文件
6.支持指定抓取域名
7.記錄抓取來源,便于手動分析

結(jié)果會優(yōu)先顯示輸入的url頂級域名,其他域名不做區(qū)分顯示在 other

結(jié)果會優(yōu)先顯示200,按從小到大排序(輸入的域名最優(yōu)先,就算是404也會排序在其他子域名的200前面)

三. 使用截圖

單url截圖(舊版截圖)

fc044310-66d8-11ed-8abf-dac502259ad0.png

批量url截圖 (舊版截圖)

fc2c2c90-66d8-11ed-8abf-dac502259ad0.png

fc3b2c7c-66d8-11ed-8abf-dac502259ad0.png

四. 使用教程

單url時使用

URLFinder.exe -u http://www.baidu.com -s all -m 2 URLFinder.exe -u http://www.baidu.com -s 200,403 -m 2

批量url時使用

URLFinder.exe -s all -m 2 -f url.txt -o d:/

參數(shù):


poYBAGN23J-AXl8PAAEVlMi2cTQ243.jpg

編譯

以下是在windows環(huán)境下,編譯出各平臺可執(zhí)行文件的命令

windows
#64位
SET CGO_ENABLED=0
SET GOOS=windows
SET GOARCH=amd64
go build -ldflags "-s -w" -o URLFinder-windows64.exe main.go
#32位
SET CGO_ENABLED=0
SET GOOS=windows
SET GOARCH=386
go build -ldflags "-s -w"  -o URLFinder-windows32.exe main.go
linux
#64位
SET CGO_ENABLED=0
SET GOOS=linux
SET GOARCH=amd64
go build -ldflags "-s -w" -o URLFinder-linux64 main.go
#32位
SET CGO_ENABLED=0
SET GOOS=linux
SET GOARCH=386
go build -ldflags "-s -w" -o URLFinder-linux32 main.go
macos
#64位
SET CGO_ENABLED=0
SET GOOS=darwin
SET GOARCH=amd64
go build -ldflags "-s -w" -o URLFinder-macos64 main.go
#32位
SET CGO_ENABLED=0
SET GOOS=darwin
SET GOARCH=386
go build -ldflags "-s -w" -o URLFinder-macos32 main.go

GOBY可以直接加載

fc856332-66d8-11ed-8abf-dac502259ad0.png







審核編輯:劉清

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • URL
    URL
    +關(guān)注

    關(guān)注

    0

    文章

    139

    瀏覽量

    15796
  • API接口
    +關(guān)注

    關(guān)注

    1

    文章

    85

    瀏覽量

    10803

原文標(biāo)題:一款用GO語言編寫的JS爬取工具

文章出處:【微信號:菜鳥學(xué)信安,微信公眾號:菜鳥學(xué)信安】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    采用xpath網(wǎng)站內(nèi)容

    xpathmooc網(wǎng)課程
    發(fā)表于 04-11 12:01

    python音頻文件的步驟

    python爬蟲音頻文件
    發(fā)表于 08-22 14:23

    豆瓣電影Top250信息

    通過本案例[豆瓣電影Top250信息]鍛煉除正則表達(dá)式之外兩種信息解析方式:Xpath和PyQuery。url地址:https://movie.douban.com/top25
    發(fā)表于 03-23 15:47

    語音交互的過程中用戶語音的關(guān)鍵字可以獲取到嗎?

    語音交互的過程中用戶語音的關(guān)鍵字可以獲取到嗎?
    發(fā)表于 03-10 08:50

    PCB板組裝過程中過波峰焊時孔錫不良的原因都有哪些?

    PCB板組裝過程中過波峰焊時孔錫不良的原因都有哪些?孔銅錫不好是啥原因?
    發(fā)表于 04-11 16:55

    Python CSDN的極客頭條

    Python 如何CSDN的極客頭條呢?
    的頭像 發(fā)表于 03-21 14:58 ?5067次閱讀
    Python <b class='flag-5'>爬</b><b class='flag-5'>取</b>CSDN的極客頭條

    比較轉(zhuǎn)換過程中為什么會存在振蕩

    比較器是簡單的概念-輸入端對兩電壓進(jìn)行比較。輸出為高或者低。因此,
    發(fā)表于 08-27 13:51 ?4858次閱讀
    <b class='flag-5'>比較</b>器<b class='flag-5'>在</b>轉(zhuǎn)換<b class='flag-5'>過程中</b>為什么會存在振蕩

    電影網(wǎng)最新電影資源鏈接地址[1]

    www.ygdy8電影資源的過程電影網(wǎng)電影資源鏈接,代碼段:# -*- codin
    發(fā)表于 01-10 13:36 ?0次下載
    <b class='flag-5'>爬</b><b class='flag-5'>取</b>電影網(wǎng)最新電影資源鏈接地址[1]

    如何用python抖音app數(shù)據(jù)

    記錄下如何用pythonapp數(shù)據(jù),本文以抖音視頻app為例。
    的頭像 發(fā)表于 03-16 09:07 ?5778次閱讀

    使用Keil過程中些不順手的地方

    首先聲明本人并非Keil黑,本期純吐槽下在使用Keil過程中些不順手的地方,也極有可能講的并不全面,不客觀,望見諒,輕拍,也歡迎評論區(qū)討論。
    的頭像 發(fā)表于 05-26 10:53 ?1542次閱讀

    Python怎么玩轉(zhuǎn)JS腳本

    本項目旨在讓大家了解如何用Python來執(zhí)行JS腳本,其主要目的是進(jìn)行數(shù)據(jù) 分析時,需要利用爬蟲獲取數(shù)據(jù),有時會遇到JS混淆加密反
    的頭像 發(fā)表于 02-23 16:26 ?1385次閱讀
    Python怎么玩轉(zhuǎn)<b class='flag-5'>JS</b>腳本

    Scrapy怎么Python文件

    我們介紹了Scrapy框架運(yùn)行基本原理,緊接著我們介紹了如何利用Scrapy文本數(shù)據(jù)
    的頭像 發(fā)表于 02-24 15:16 ?784次閱讀
    Scrapy怎么<b class='flag-5'>爬</b><b class='flag-5'>取</b>Python文件

    node.js實(shí)戰(zhàn)源碼

    node.js實(shí)戰(zhàn)源碼
    發(fā)表于 05-16 18:06 ?1次下載

    使用Keil過程中些不順手的地方

    首先聲明本人并非Keil黑,本期純吐槽下在使用Keil過程中些不順手的地方,也極有可能講的并不全面,不客觀,望見諒,輕拍,也歡迎評論區(qū)討論。
    的頭像 發(fā)表于 05-23 09:14 ?1449次閱讀
    <b class='flag-5'>在</b>使用Keil<b class='flag-5'>過程中</b>的<b class='flag-5'>一</b>些不<b class='flag-5'>順手</b>的地方

    如何提高錫膏焊接過程中錫性?

    錫膏的錫性對于印刷質(zhì)量和焊接效果至關(guān)重要。要提高錫膏焊接過程中錫性
    的頭像 發(fā)表于 02-15 09:21 ?399次閱讀
    主站蜘蛛池模板: 色老头免费视频 | 成人区精品一区二区毛片不卡 | 精品午夜久久福利大片免费 | 国产三级香港三级人妇 | 七月婷婷在线视频综合 | 狠狠色网站 | 色先峰| 美女扒开尿口让男人桶 | 色婷婷五| 亚洲精品系列 | 农村一级片 | 日韩免费一级毛片 | 午夜视频吧 | 天堂在线观看视频观看www | 久久国产99 | 国产亚洲视频在线播放大全 | 最近2018免费中文字幕视频 | 欧美一级高清黄图片 | 色精品一区二区三区 | v视界影院最新网站 | 婷婷六月激情在线综合激情 | 色婷婷综合激情 | 特级黄| 高清性色生活片欧美在线 | swag系列国产精品 | 婷婷综合久久中文字幕 | 国产精品一久久香蕉产线看 | 日本一区二区三区不卡在线视频 | 日韩精品一级a毛片 | 亚洲二区视频 | 亚洲国产精品热久久2022 | 日韩欧美一级 | 高清不卡一区二区三区 | 天天草狠狠干 | 四虎永久精品视频在线 | 婷婷六月色 | 黑人一区二区三区中文字幕 | 精品黄色片 | 国产午夜精品福利 | 狠狠色噜噜狠狠狠狠97影音先锋 | 午夜免费视频观看 |