Colly 實(shí)戰(zhàn)：3 分鐘抓取 Hacker News 評(píng)論樹

官方示例 50+ 行看得頭大？我把它壓縮成 20 行中文注釋版，爬指定帖子的所有評(píng)論，自動(dòng)遞歸成樹形 JSON，瀏覽器直看！

一、整體思路（先背下來(lái)）

1. 傳帖子 ID → 訪問(wèn) item?id=xxx
2. 每條評(píng)論 <tr class="athing"> 的 40px 縮進(jìn)就是層級(jí)
3. 根據(jù)縮進(jìn)寬度 /40 找到父節(jié)點(diǎn)，拼成樹
4. 輸出漂亮 JSON

二、精簡(jiǎn)中文代碼（20 行）

package main


import (
    "encoding/json"
    "flag"
    "log"
    "os"
    "strconv"
    "strings"


    "github.com/gocolly/colly/v2"
)


// 單條評(píng)論
type Comment struct {
    Author  string     `json:"作者"`
    URL     string     `json:"鏈接"`
    Comment string     `json:"正文"`
    Replies []*Comment `json:"回復(fù)"`
}


func main() {
    // 1. 命令行參數(shù)：-id=38861503
    id := flag.String("id", "", "Hacker News 帖子 ID")
    flag.Parse()
    if *id == "" {
        log.Fatal("缺少 -id 參數(shù)，示例：-id=38861503")
    }


    c := colly.NewCollector()
    var roots []*Comment


    // 2. 解析每條評(píng)論
    c.OnHTML(".comment-tree tr.athing", func(e *colly.HTMLElement) {
        indent, _ := strconv.Atoi(e.ChildAttr("td.ind img", "width"))
        depth := indent / 40 // 40px 一級(jí)


        cmt := &Comment{Replies: []*Comment{}}
        e.Unmarshal(cmt)                     // 自動(dòng)填充 Author/URL/Comment
        cmt.Comment = strings.TrimSpace(cmt.Comment)


        // 3. 找到父節(jié)點(diǎn)并掛載
        parent := roots
        for i := 0; i < depth; i++ {
            if len(parent) == 0 {
                break
            }
            parent = parent[len(parent)-1].Replies
        }
        parent = append(parent, cmt)
    })


    // 4. 開始
    c.Visit("https://news.ycombinator.com/item?id=" + *id)


    // 5. 輸出漂亮 JSON
    enc := json.NewEncoder(os.Stdout)
    enc.SetIndent("", "  ")
    _ = enc.Encode(roots)
}

三、3 步運(yùn)行

四、結(jié)果預(yù)覽（result.json）

[
  {
    "作者": "pg",
    "鏈接": "item?id=38861503",
    "正文": "This is the root comment...",
    "回復(fù)": [
      {
        "作者": "user123",
        "鏈接": "item?id=38861504",
        "正文": "Good point!",
        "回復(fù)": []
      }
    ]
  }
]

五、常見問(wèn)題 30 秒排查

六、1 分鐘擴(kuò)展