scrapy 2.3 如何部署蜘蛛

本節(jié)描述了部署報廢蜘蛛以定期運行它們的不同選項。在您的本地機器中運行 Scrapy 蜘蛛對于（早期）開發(fā)階段非常方便，但是當您需要執(zhí)行長時間運行的蜘蛛或移動蜘蛛以在生產中連續(xù)運行時，就不那么方便了。這就是部署報廢蜘蛛的解決方案。

部署報廢蜘蛛的常見選擇是：

• Scrapyd （開放源代碼）
• Scrapy Cloud （基于云的）

部署到ScrapyD服務器

Scrapyd 是一個開放源碼的應用程序，可以運行 Scrapy 蜘蛛。它為服務器提供了HTTP API，能夠運行和監(jiān)視 Scrapy 蜘蛛。

要將spiders部署到scrapyD，可以使用由提供的scrapyD部署工具 scrapyd-client 包裹。請參閱 scrapyd-deploy documentation 更多信息。

ScrapyD由一些Scrapy開發(fā)人員維護。

部署到 Scrapy 云

Scrapy Cloud 是基于云的托管服務 Scrapinghub 斯普利背后的公司。

ScrapyCloud消除了設置和監(jiān)視服務器的需要，并提供了一個很好的用戶界面來管理spider和查看被爬取的項目、日志和統(tǒng)計信息。

要將蜘蛛部署到 Scrapy 云，可以使用 shub 命令行工具。請參閱 Scrapy Cloud documentation 更多信息。

Scrapy Cloud與ScrapyD兼容，您可以根據需要在它們之間進行切換-配置從 scrapy.cfg 文件就像 scrapyd-deploy .