go語言中怎么使用HTTP代理

go語言中怎么使用HTTP代理。

以下代碼主要圍繞第一次接觸HTTP代理IP的go新手來寫（步驟注釋清晰）。

直接把下面示例代碼中的HTTP代理API，替換成你后臺生成的代理API鏈接，就可以跑起來了。

以下是一個示例代碼，只是一個基礎(chǔ)的演示，具體的代碼還是要根據(jù)你業(yè)務(wù)的實際情況去寫的。

示例代碼中的HTTP代理IP，我使用的是華益云的HTTP代理API，注冊就能白嫖1萬個高匿爬蟲IP，有效期是一年，對于調(diào)試代碼來說這個時間是非常的友好。

示例代碼demo中同款HTTP代理API-點我免費領(lǐng)取10000個高匿IP

打開代理API，獲取里面的IP，使用IP訪問目標(biāo)網(wǎng)站，其實代碼中就是執(zhí)行這個過程而已，然后加了幾個錯誤判斷有助于代碼的穩(wěn)定運行。（步驟注釋清晰）

package main

import (
	"errors"
	"fmt"
	"io/ioutil"
	"log"
	"net/http"
	"net/url"
	"strings"
	"time"
)

func main() {
	// 發(fā)送給服務(wù)器的標(biāo)識
	userAgent := "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/532.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
	// 代理api（這里我推薦使用www.9vps.com華益云的HTTP代理API，注冊就送1萬IP）
	proxyUrl := "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&"
	outPutProxy, _ := getProxy(proxyUrl, userAgent)
	if len(outPutProxy) == 0 {
		// 沒有獲取到代理
		return
	}
	// 目標(biāo)請求網(wǎng)站
	url := "https://www.qq.com/"
	var out string = ""
	for i := 0; i < 3; i++ {
		// 最多嘗試三次
		px := outPutProxy[0]
		outPutProxy = append(outPutProxy[:0], outPutProxy[1:]...)
		fmt.Println("using proxy ", px)
		response, err := requestGet(url, userAgent, "http://"+px)
		out = fmt.Sprintf("%s", response)
		if err == nil {
			// 這里說明請求成功了，直接可以退出循環(huán)了
			fmt.Println(out)
			break
		} else {
			if len(outPutProxy) == 0 {
				// 沒有代理了再次獲取下
				outPutProxy, err = getProxy(proxyUrl, userAgent)
				if err != nil {
					log.Fatalln(err)
				}
			}
		}
	}
	// 最終的響應(yīng)內(nèi)容
	fmt.Println(out)
}
func getProxy(proxyUrl string, userAgent string) ([]string, error) {
	var outPutProxy []string
	proxyIps, err := requestGet(proxyUrl, userAgent, "")
	fmt.Println(proxyIps)
	if err != nil {
		return outPutProxy, err
	}
	// {"code":3002,"data":[],"msg":"error!用戶名或密碼錯誤","success":false}
	if strings.Index(proxyIps, "{") > -1 {
		return outPutProxy, errors.New(proxyIps)
	}
	outPutProxy = strings.Split(proxyIps, "\r\n")
	fmt.Printf("總共獲取了%d個代理\n", len(outPutProxy))
	return outPutProxy, nil

}

func requestGet(reqUrl string, userAgent string, proxyAddr string) (string, error) {
	var client http.Client
	if proxyAddr != "" {
		// 有代理的情況
		proxy, err := url.Parse(proxyAddr)
		if err != nil {
			return "", err
		}
		client = http.Client{
			Timeout:   5 * time.Second, // 5秒最大超時
			Transport: &http.Transport{Proxy: http.ProxyURL(proxy)},
		}
	} else {
		client = http.Client{
			Timeout: 5 * time.Second, // 5秒最大超時
		}
	}
	// 創(chuàng)建新的Request對象
	req, err := http.NewRequest("GET", reqUrl, nil)
	if err != nil {
		return "", err
	}
	// 設(shè)置請求頭
	req.Header.Set("user-agent", userAgent)
	// 向服務(wù)器發(fā)送請求
	resp, err := client.Do(req)
	if err != nil {
		return "", err
	}
	// 讀取響應(yīng)內(nèi)容
	body, err := ioutil.ReadAll(resp.Body)
	if err != nil {
		return "", err
	}
	// 將響應(yīng)內(nèi)容轉(zhuǎn)為string類型
	response := string(body)
	return response, nil
}