我正在使用 scrapy 来抓取网站。该站点每页有 15 个列表，然后有一个下一步按钮。我遇到了一个问题，在我完成解析管道中的所有列表之前，我对下一个链接的请求被调用。这是我的蜘蛛的代码:

class MySpider(CrawlSpider):
    name = 'mysite.com'
    allowed_domains = ['mysite.com']
    start_url = 'http://www.mysite.com/'

    def start_requests(self):
        return [Request(self.start_url, callback=self.parse_listings)]

    def parse_listings(self, response):
        hxs = HtmlXPathSelector(response)
        listings = hxs.select('...')

        for listing in listings:
            il = MySiteLoader(selector=listing)
            il.add_xpath('Title', '...')
            il.add_xpath('Link', '...')

            item = il.load_item()
            listing_url = listing.select('...').extract()

            if listing_url:
                yield Request(urlparse.urljoin(response.url, listing_url[0]),
                              meta={'item': item},
                              callback=self.parse_listing_details)

        next_page_url = hxs.select('descendant::div[@id="pagination"]/'
                                   'div[@class="next-link"]/a/@href').extract()
        if next_page_url:
            yield Request(urlparse.urljoin(response.url, next_page_url[0]),
                          callback=self.parse_listings)


    def parse_listing_details(self, response):
        hxs = HtmlXPathSelector(response)
        item = response.request.meta['item']
        details = hxs.select('...')
        il = MySiteLoader(selector=details, item=item)

        il.add_xpath('Posted_on_Date', '...')
        il.add_xpath('Description', '...')
        return il.load_item()

这些行就是问题所在。就像我之前说的，它们是在蜘蛛完成对当前页面的抓取之前执行的。在网站的每个页面上，这导致我的 15 个列表中只有 3 个被发送到管道。

     if next_page_url:
            yield Request(urlparse.urljoin(response.url, next_page_url[0]),
                          callback=self.parse_listings)

这是我的第一个蜘蛛，可能是我的设计缺陷，有没有更好的方法来做到这一点？

最佳答案

Scrape 而不是 spider？

因为您的原始问题需要重复导航连续和重复的内容集而不是未知大小的内容树，请使用 mechanize (http://wwwsearch.sourceforge.net/mechanize/) 和 beautifulsoup (http://www.crummy.com/software/BeautifulSoup/).

下面是一个使用 mechanize 实例化浏览器的示例。此外，使用 br.follow_link(text="foo") 意味着，与示例中的 xpath 不同，无论祖先路径中元素的结构如何，仍将遵循链接。意思是，如果他们更新他们的 HTML，您的脚本就会中断。松散的耦合将为您节省一些维护工作。这是一个例子:

br = mechanize.Browser()
br.set_handle_equiv(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)
br.addheaders = [('User-agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:9.0.1)Gecko/20100101 Firefox/9.0.1')]
br.addheaders = [('Accept-Language','en-US')]
br.addheaders = [('Accept-Encoding','gzip, deflate')]
cj = cookielib.LWPCookieJar()
br.set_cookiejar(cj)
br.open("http://amazon.com")
br.follow_link(text="Today's Deals")
print br.response().read()

此外，在“下一个 15”href 中可能有一些指示分页的内容，例如&索引=15。如果所有页面的项目总数在第一页可用，则:

soup = BeautifulSoup(br.response().read())
totalItems = soup.findAll(id="results-count-total")[0].text
startVar =  [x for x in range(int(totalItems)) if x % 15 == 0]

然后只需遍历 startVar 并创建 url，将 startVar 的值添加到 url，br.open() 它并抓取数据。这样您就不必以编程方式“查找”页面上的“下一个”链接并单击它以前进到下一页 - 您已经知道所有有效的 url。最大限度地减少代码驱动的页面操作，仅保留您需要的数据将加快提取速度。

关于python - 使用 Python 和 Scrapy 进行递归爬取，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/5227682/