Colly 登錄爬?。狠p松搞定需要登錄的網(wǎng)站

需要登錄才能爬數(shù)據(jù)？用 Colly 的 Post 方法模擬登錄，像逛自家網(wǎng)站一樣輕松抓??！

一、示例：

package main


import (
    "log"


    "github.com/gocolly/colly/v2"
)


func main() {
    // 創(chuàng)建一個(gè)收集器
    c := colly.NewCollector()


    // 模擬登錄（替換為實(shí)際登錄 URL 和參數(shù)）
    err := c.Post("http://m.o2fo.com/login", map[string]string{
        "username": "your_username", // 替換為你的用戶名
        "password": "your_password", // 替換為你的密碼
    })
    if err != nil {
        log.Fatal("登錄失?。?, err)
    }


    // 登錄成功后，添加回調(diào)函數(shù)
    c.OnResponse(func(r *colly.Response) {
        log.Println("收到響應(yīng)，狀態(tài)碼：", r.StatusCode)
    })


    // 開始爬?。ㄔL問需要登錄才能看到的頁面）
    c.Visit("http://m.o2fo.com/dashboard")
}

注意：請(qǐng)將 your_username 和 your_password 替換為實(shí)際的用戶名和密碼。

二、登錄爬取的 3 個(gè)關(guān)鍵點(diǎn)

三、完整實(shí)戰(zhàn)：爬取編程獅用戶中心

假設(shè)你想爬取編程獅用戶中心的頁面，完整代碼如下：

package main


import (
    "log"


    "github.com/gocolly/colly/v2"
)


func main() {
    // 創(chuàng)建一個(gè)收集器
    c := colly.NewCollector()


    // 模擬登錄
    err := c.Post("http://m.o2fo.com/login", map[string]string{
        "username": "your_username", // 替換為你的用戶名
        "password": "your_password", // 替換為你的密碼
    })
    if err != nil {
        log.Fatal("登錄失敗：", err)
    }


    // 登錄成功后，添加回調(diào)函數(shù)
    c.OnResponse(func(r *colly.Response) {
        log.Println("收到響應(yīng)，狀態(tài)碼：", r.StatusCode)
    })


    // 爬取用戶中心頁面
    c.OnHTML("body", func(e *colly.HTMLElement) {
        log.Println("用戶中心頁面內(nèi)容：", e.Text)
    })


    // 開始爬取
    c.Visit("http://m.o2fo.com/dashboard")
}

四、常見問題速查

五、1 分鐘實(shí)驗(yàn)

1. 打開 Go 環(huán)境 → 新建 main.go。
2. 復(fù)制上方代碼 → 替換為你的用戶名和密碼 → 運(yùn)行。
3. 觀察終端：登錄成功后，用戶中心頁面內(nèi)容被打印出來。

關(guān)鍵詞：Colly 登錄爬取、模擬登錄、Post 方法、編程獅