scrapy 2.3 Scrapy Shell

而 parse 命令對于檢查蜘蛛的行為非常有用，除了顯示接收到的響應(yīng)和輸出之外，檢查回調(diào)中發(fā)生的情況幾乎沒有幫助。如何調(diào)試情況 parse_details 有時(shí)沒有收到物品？

幸運(yùn)的是， shell 在這種情況下，你的面包和黃油（見 從spiders調(diào)用shell來檢查響應(yīng) ）：

from scrapy.shell import inspect_response

def parse_details(self, response, item=None):
    if item:
        # populate more `item` fields
        return item
    else:
        inspect_response(response, self)