Colly 代理輪詢：自動(dòng)切換 IP 防封實(shí)戰(zhàn)

單 IP 被封？用 Colly 官方 proxy.RoundRobinProxySwitcher，一行代碼實(shí)現(xiàn)多代理輪詢，輕松偽裝成“千軍萬(wàn)馬”。

一、示例：

爬 編程獅首頁(yè)，并通過(guò) 2 個(gè)本地代理輪流訪問(wèn)：

package main


import (
    "log"
    "time"


    "github.com/gocolly/colly/v2"
    "github.com/gocolly/colly/v2/proxy"
)


func main() {
    // 創(chuàng)建收集器，允許重復(fù)訪問(wèn)同一 URL
    c := colly.NewCollector(
        colly.AllowURLRevisit(),
        colly.AllowedDomains("m.o2fo.com"),
    )


    // 1. 設(shè)置代理池（socks5/http 均可）
    rp, err := proxy.RoundRobinProxySwitcher(
        "socks5://127.0.0.1:1337",
        "socks5://127.0.0.1:1338",
        "http://127.0.0.1:8080", // 也可混用 HTTP 代理
    )
    if err != nil {
        log.Fatal("代理設(shè)置失?。?, err)
    }
    c.SetProxyFunc(rp)


    // 2. 打印每次使用的代理和返回內(nèi)容
    c.OnResponse(func(r *colly.Response) {
        log.Printf("代理：%s | 返回長(zhǎng)度：%d 字節(jié) | URL：%s",
            r.Request.ProxyURL, len(r.Body), r.Request.URL)
    })


    // 3. 連續(xù)訪問(wèn) 5 次，觀察 IP 輪換
    for i := 0; i < 5; i++ {
        c.Visit("http://m.o2fo.com/")
        time.Sleep(1 * time.Second) // 避免太快
    }
}

二、3 步快速體驗(yàn)

三、進(jìn)階：自定義代理選擇函數(shù)

想要“隨機(jī) + 失敗剔除”？自己寫選擇器：

import (
    "math/rand"
    "net/url"
)


var proxies = []*url.URL{
    {Scheme: "http", Host: "127.0.0.1:8080"},
    {Scheme: "socks5", Host: "127.0.0.1:1337"},
}


func randomProxy(r *http.Request) (*url.URL, error) {
    return proxies[rand.Intn(len(proxies))], nil
}


c.SetProxyFunc(randomProxy)

四、常見(jiàn)問(wèn)題速查

五、1 分鐘實(shí)驗(yàn)

1. 打開(kāi) 終端 → 新建 proxy.go。
2. 復(fù)制上方示例 → 把代理?yè)Q成你本地可用的地址 → go run proxy.go。
3. 觀察終端：每次請(qǐng)求代理不同，IP 已切換。