Colly 多收集器：讓爬蟲分工協(xié)作

任務復雜時，把“一個工人”拆成“多個工人”——一個翻目錄、一個拿詳情，效率翻倍，代碼更清爽。

一、為什么要用多個收集器？

想象你在爬 編程獅課程頻道：

二、快速上手：3 步完成“分工”

1. 創(chuàng)建兩個收集器

package main


import (
    "github.com/gocolly/colly/v2"
)


func main() {
    // ① 列表收集器：只負責翻頁 + 提取詳情頁鏈接
    listC := colly.NewCollector(
        colly.AllowedDomains("m.o2fo.com"),
    )


    // ② 詳情收集器：只負責解析課程詳情
    detailC := colly.NewCollector(
        colly.AllowedDomains("m.o2fo.com"),
    )
}

2. 克隆收集器（配置共享）

如果兩個收集器配置幾乎一樣，用 Clone() 一行搞定：

base := colly.NewCollector(
    colly.UserAgent("編程獅爬蟲 1.0"),
    colly.AllowedDomains("w3cschool.cn"),
)
listC := base.Clone()   // 復用 UA 與域名白名單
detailC := base.Clone()

3. 傳遞上下文（共享數(shù)據(jù)）

列表頁拿到課程 ID 后，傳給詳情收集器：

// 列表收集器：拿到鏈接 → 交給詳情收集器
listC.OnHTML("a.course-card", func(e *colly.HTMLElement) {
    detailURL := e.Attr("href")
    // 把課程名放進上下文，后續(xù)直接取
    ctx := colly.NewContext()
    ctx.Put("courseName", e.Text)
    detailC.Request("GET", detailURL, nil, ctx, nil)
})


// 詳情收集器：用上下文里的數(shù)據(jù)
detailC.OnHTML("h1", func(e *colly.HTMLElement) {
    courseName := e.Request.Ctx.Get("courseName")
    println("課程名：", courseName, " 標題：", e.Text)
})

三、完整示例：爬“編程獅課程”

package main


import (
    "github.com/gocolly/colly/v2"
)


func main() {
    // 公共配置
    base := colly.NewCollector(
        colly.UserAgent("編程獅-多收集器-Demo"),
        colly.AllowedDomains("m.o2fo.com"),
    )


    listC := base.Clone()
    detailC := base.Clone()


    // 列表頁：翻頁 + 發(fā)鏈接
    listC.OnHTML("a.course-item", func(e *colly.HTMLElement) {
        ctx := colly.NewContext()
        ctx.Put("courseName", e.Text)
        detailC.Request("GET", e.Attr("href"), nil, ctx, nil)
    })


    // 詳情頁：解析
    detailC.OnHTML("h1", func(e *colly.HTMLElement) {
        courseName := e.Request.Ctx.Get("courseName")
        println("抓到課程：", courseName)
    })


    // 從第一頁開始
    listC.Visit("http://m.o2fo.com/course")
}

運行結果（示意）：

抓到課程：Go 入門教程
抓到課程：Python 爬蟲實戰(zhàn)
...

四、調試小技巧：一眼看出哪個收集器

在日志里加 collector.ID：

listC.OnRequest(func(r *colly.Request) {
    println("[列表收集器]", r.URL)
})
detailC.OnRequest(func(r *colly.Request) {
    println("[詳情收集器]", r.URL)
})

五、實戰(zhàn)選型速查表

六、1 分鐘動手實驗

1. 打開 Go 環(huán)境 → 新建文件。
2. 復制“完整示例” → 把域名換成你正在學的站點 → 運行。
3. 觀察終端：列表、詳情日志是否交替出現(xiàn)。