我想为我在 spider 的 start_urls 中设置的每个 url 创建单独的输出文件，或者想以某种方式拆分输出文件开始 url。

以下是我的蜘蛛的start_urls

start_urls = ['http://www.dmoz.org/Arts/', 'http://www.dmoz.org/Business/', 'http://www.dmoz.org/Computers/']

我想创建单独的输出文件，例如

Arts.xml
业务.xml
计算机.xml

我不知道该怎么做。我正在考虑通过在项目管道类的 spider_opened 方法中实现一些类似以下的东西来实现这一点，

import re
from scrapy import signals
from scrapy.contrib.exporter import XmlItemExporter

class CleanDataPipeline(object):
    def __init__(self):
        self.cnt = 0
        self.filename = ''

    @classmethod
    def from_crawler(cls, crawler):
        pipeline = cls()
        crawler.signals.connect(pipeline.spider_opened, signals.spider_opened)
        crawler.signals.connect(pipeline.spider_closed, signals.spider_closed)
        return pipeline

    def spider_opened(self, spider):
        referer_url = response.request.headers.get('referer', None)
        if referer_url in spider.start_urls:
            catname = re.search(r'/(.*)$', referer_url, re.I)
            self.filename = catname.group(1)

        file = open('output/' + str(self.cnt) + '_' + self.filename + '.xml', 'w+b')
        self.exporter = XmlItemExporter(file)
        self.exporter.start_exporting()

    def spider_closed(self, spider):
        self.exporter.finish_exporting()
        #file.close()

    def process_item(self, item, spider):
        self.cnt = self.cnt + 1
        self.spider_closed(spider)
        self.spider_opened(spider)
        self.exporter.export_item(item)
        return item

我试图在 start_urls 列表中找到每个抓取项目的引用 url。如果在 start_urls 中找到 referer url，则将使用该 referer url 创建文件名。 但问题是如何在 spider_opened() 方法中访问响应对象。如果我可以在那里访问它，我可以基于它创建文件。

对找到执行此操作的方法有帮助吗？提前致谢!

最佳答案

我会实现更明确的方法(未测试):

• 在 settings.py 中配置可能的类别列表:

  CATEGORIES = ['Arts', 'Business', 'Computers']
  

• 根据设置定义您的start_urls

  start_urls = ['http://www.dmoz.org/%s' % category for category in settings.CATEGORIES]
  

• 将category Field添加到Item类

• 在spider的parse方法中，根据当前的response.url设置category字段，例如:

  def parse(self, response):
       ...
       item['category'] = next(category for category in settings.CATEGORIES if category in response.url)
       ...
  

• 在管道中为所有类别打开导出器，并根据 item['category'] 选择要使用的导出器:

  def spider_opened(self, spider):
      ...
      self.exporters = {}
      for category in settings.CATEGORIES:
          file = open('output/%s.xml' % category, 'w+b')
          exporter = XmlItemExporter(file)
          exporter.start_exporting()
          self.exporters[category] = exporter
  
  def spider_closed(self, spider):
      for exporter in self.exporters.itervalues(): 
          exporter.finish_exporting()
  
  def process_item(self, item, spider):
      self.exporters[item['category']].export_item(item)
      return item
  

您可能需要稍微调整一下才能使其正常工作，但我希望您明白了 - 将类别存储在正在处理的 item 中。根据项目类别值选择要导出到的文件。

希望对您有所帮助。

关于python - 为 scrapy 中蜘蛛的 start_urls 列表中给出的每个 url 单独输出文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/23868784/