響應狀態(tài)代碼999是什么意思?

2021-06-11 15:55 更新

999是雅虎網(wǎng)站用來限制請求的自定義響應狀態(tài)代碼。嘗試使用下載延遲來降低爬行速度 ?2? (或更高)在你的蜘蛛:

class MySpider(CrawlSpider):

    name = 'myspider'

    download_delay = 2

    # [ ... rest of the spider code ... ]

或者通過在項目中設置全局下載延遲 DOWNLOAD_DELAY 設置。

以上內容是否對您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號
微信公眾號

編程獅公眾號