在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

go語言代碼中使用HTTP代理IP的方法

華益云HTTP爬蟲IP ? 來源:華益云HTTP爬蟲IP ? 作者:華益云HTTP爬蟲IP ? 2022-08-04 16:13 ? 次閱讀

如何在go語言代碼中使用HTTP代理IP。

以下代碼主要圍繞第一次接觸HTTP代理IP的go新手來寫(步驟注釋清晰)。

直接把下面示例代碼中的HTTP代理API,替換成你后臺生成的代理API鏈接,就可以跑起來了。

以下是一個示例代碼,只是一個基礎的演示,具體的代碼還是要根據你業務的實際情況去寫的。

示例代碼中的HTTP代理IP,我使用的是華益云的HTTP代理API,注冊就能白嫖1萬個高匿爬蟲IP,有效期是一年,對于調試代碼來說這個時間是非常的友好。

華益云-企業級HTTP爬蟲代理IP供應商-點我免費領取示例代碼demo中同款10000個高匿IP

打開代理API,獲取里面的IP,使用IP訪問目標網站,其實代碼中就是執行這個過程而已,然后加了幾個錯誤判斷有助于代碼的穩定運行。(步驟注釋清晰)

package main

import (
	"errors"
	"fmt"
	"io/ioutil"
	"log"
	"net/http"
	"net/url"
	"strings"
	"time"
)

func main() {
	// 發送給服務器的標識
	userAgent := "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/532.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
	// 代理api(這里我推薦使用www.9vps.com華益云的HTTP代理API,注冊就送1萬IP)
	proxyUrl := "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&"
	outPutProxy, _ := getProxy(proxyUrl, userAgent)
	if len(outPutProxy) == 0 {
		// 沒有獲取到代理
		return
	}
	// 目標請求網站
	url := "https://www.qq.com/"
	var out string = ""
	for i := 0; i < 3; i++ {
		// 最多嘗試三次
		px := outPutProxy[0]
		outPutProxy = append(outPutProxy[:0], outPutProxy[1:]...)
		fmt.Println("using proxy ", px)
		response, err := requestGet(url, userAgent, "http://"+px)
		out = fmt.Sprintf("%s", response)
		if err == nil {
			// 這里說明請求成功了,直接可以退出循環了
			fmt.Println(out)
			break
		} else {
			if len(outPutProxy) == 0 {
				// 沒有代理了再次獲取下
				outPutProxy, err = getProxy(proxyUrl, userAgent)
				if err != nil {
					log.Fatalln(err)
				}
			}
		}
	}
	// 最終的響應內容
	fmt.Println(out)
}
func getProxy(proxyUrl string, userAgent string) ([]string, error) {
	var outPutProxy []string
	proxyIps, err := requestGet(proxyUrl, userAgent, "")
	fmt.Println(proxyIps)
	if err != nil {
		return outPutProxy, err
	}
	// {"code":3002,"data":[],"msg":"error!用戶名或密碼錯誤","success":false}
	if strings.Index(proxyIps, "{") > -1 {
		return outPutProxy, errors.New(proxyIps)
	}
	outPutProxy = strings.Split(proxyIps, "\r\n")
	fmt.Printf("總共獲取了%d個代理\n", len(outPutProxy))
	return outPutProxy, nil

}

func requestGet(reqUrl string, userAgent string, proxyAddr string) (string, error) {
	var client http.Client
	if proxyAddr != "" {
		// 有代理的情況
		proxy, err := url.Parse(proxyAddr)
		if err != nil {
			return "", err
		}
		client = http.Client{
			Timeout:   5 * time.Second, // 5秒最大超時
			Transport: &http.Transport{Proxy: http.ProxyURL(proxy)},
		}
	} else {
		client = http.Client{
			Timeout: 5 * time.Second, // 5秒最大超時
		}
	}
	// 創建新的Request對象
	req, err := http.NewRequest("GET", reqUrl, nil)
	if err != nil {
		return "", err
	}
	// 設置請求頭
	req.Header.Set("user-agent", userAgent)
	// 向服務器發送請求
	resp, err := client.Do(req)
	if err != nil {
		return "", err
	}
	// 讀取響應內容
	body, err := ioutil.ReadAll(resp.Body)
	if err != nil {
		return "", err
	}
	// 將響應內容轉為string類型
	response := string(body)
	return response, nil
}

或者直接百度搜索:華益云HTTP代理

審核編輯:湯梓紅

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • HTTP
    +關注

    關注

    0

    文章

    522

    瀏覽量

    32514
  • 代碼
    +關注

    關注

    30

    文章

    4891

    瀏覽量

    70308
  • go語言
    +關注

    關注

    1

    文章

    159

    瀏覽量

    9300
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    如何在java代碼中使HTTP代理IP

    如何在java代碼中使HTTP代理IP
    的頭像 發表于 08-04 15:38 ?2447次閱讀

    python代碼中使HTTP代理IP,demo注釋清晰

    如何再python代碼中使HTTP代理IP。 以下代碼主要圍繞第一次接觸
    的頭像 發表于 08-04 15:40 ?1204次閱讀

    如何在python代碼中使HTTP代理IP

    如何在python代碼中使HTTP代理IP
    的頭像 發表于 08-04 15:46 ?1456次閱讀

    如何在PHP代碼中使HTTP代理IP

    如何在PHP代碼中使HTTP代理IP
    的頭像 發表于 08-04 16:08 ?2657次閱讀

    如何在易e語言代碼中使HTTP代理IP

    如何在易e語言代碼中使HTTP代理IP,示例代碼d
    的頭像 發表于 08-05 16:29 ?7260次閱讀

    如何在c語言代碼中使HTTP代理IP

    如何在c語言代碼中使HTTP代理IP,示例代碼de
    的頭像 發表于 08-05 16:31 ?2572次閱讀

    如何在c#語言代碼中使HTTP代理IP

    如何在c#語言代碼中使HTTP代理IP,示例代碼d
    的頭像 發表于 08-05 16:33 ?2959次閱讀

    python中怎么使用HTTP代理

    python中怎么使用HTTP代理,華益云高匿爬蟲代理ip
    的頭像 發表于 09-01 14:36 ?1818次閱讀

    PHP中怎么使用HTTP代理

    PHP中怎么使用HTTP代理,華益云高匿爬蟲代理ip
    的頭像 發表于 09-01 14:38 ?1942次閱讀

    go語言中怎么使用HTTP代理

    go語言中怎么使用HTTP代理
    的頭像 發表于 09-01 14:41 ?2631次閱讀

    e易語言中怎么使用HTTP代理

    e易語言中怎么使用HTTP代理
    的頭像 發表于 09-01 14:42 ?4150次閱讀

    c語言中怎么使用HTTP代理

    如何再c語言代碼中使HTTP代理IP
    的頭像 發表于 09-01 14:44 ?1618次閱讀

    c#語言中怎么使用HTTP代理

    c#語言中怎么使用HTTP代理
    的頭像 發表于 09-01 14:46 ?2345次閱讀

    python代碼中如何使用HTTP代理

    華益云HTTP代理API有效期是一年,也就是說一年內這1萬IP用完就沒了,如果你一年都用不完那到時候剩余IP才會被清零,對于調試代碼來說時間
    的頭像 發表于 09-01 14:50 ?1047次閱讀

    如何在python代碼中使HTTP代理IP

    如何再python代碼中使HTTP代理IP
    的頭像 發表于 09-13 09:25 ?1217次閱讀
    主站蜘蛛池模板: 手机看片国产福利 | 窝窝午夜看片 | 天堂精品视频 | 人人插97 | 午夜影院普通用户体验区 | 日日噜噜爽爽狠狠视频 | 婷婷综合亚洲 | 你懂得视频在线 | 18美女扒开尿口无遮挡 | 久久免费久久 | 夜夜爽夜夜爱 | 狼狼色丁香久久女婷婷综合 | 亚洲美女视频一区二区三区 | 色一乱一伦一区一直爽 | 午夜精品久久久久久久99 | 男女交性拍拍拍高清视频 | 天天色图 | 欧美三级在线视频 | 啪啪网免费 | 国产免费播放 | 看片在线 | 香蕉色网| 午夜影院免费视频 | 欧美在线一级视频 | 日本久操 | 色五月婷婷成人网 | 美女露出扒开尿口让男人桶 | 4338×亚洲全国最大色成网站 | 五月网婷婷 | 久久免费看视频 | 日本又粗又长一进一出抽搐 | 亚洲二区在线 | 欧美a色 | 欧美一级爱操视频 | 成年午夜一级毛片视频 | 亚洲天堂亚洲天堂 | 色天使视频 | 亚洲bbb| 在线最新版www资源网 | 好爽好深太大了再快一点 | 免费午夜网站 |