草庐IT

Dupefilter

全部标签

python - Scrapy-Redis 中的 Dupefilter 没有按预期工作

我有兴趣使用Scrapy-Redis将抓取的项目存储在Redis中。特别是Redis-basedrequestduplicatesfilter似乎是一个有用的功能。首先,我在https://doc.scrapy.org/en/latest/intro/tutorial.html#extracting-data-in-our-spider调整了蜘蛛如下:importscrapyfromtutorial.itemsimportQuoteItemclassQuotesSpider(scrapy.Spider):name="quotes"start_urls=['http://quotes.t

python - Scrapy-Redis 中的 Dupefilter 没有按预期工作

我有兴趣使用Scrapy-Redis将抓取的项目存储在Redis中。特别是Redis-basedrequestduplicatesfilter似乎是一个有用的功能。首先,我在https://doc.scrapy.org/en/latest/intro/tutorial.html#extracting-data-in-our-spider调整了蜘蛛如下:importscrapyfromtutorial.itemsimportQuoteItemclassQuotesSpider(scrapy.Spider):name="quotes"start_urls=['http://quotes.t