草庐IT

python - 蜘蛛内部的 Scrapyd jobid 值

框架Scrapy-Scrapyd服务器。我在获取spider内部的jobid值时遇到了一些问题。将数据发布到http://localhost:6800/schedule.json后响应是status=okjobid=bc2096406b3011e1a2d0005056c00008但是我需要在这个过程中在当前蜘蛛中使用这个jobid。它可用于打开{jobid}.log文件或其他动态原因。classSomeSpider(BaseSpider):name="some"start_urls=["http://www.example.com/"]defparse(self,response):i

python - 使用scrapyd部署项目出错

我的项目文件夹中有多个蜘蛛,我想一次运行所有蜘蛛,所以我决定使用scrapyd服务来运行它们。我已经通过查看here开始这样做了首先我在当前项目文件夹中我打开了scrapy.cfg文件并取消了之后的url行的注释[部署]我已经运行了scrapyserver命令,它工作正常并且scrapyd服务器运行我试过这个命令scrapydeploy-l结果:默认http://localhost:6800/当我尝试这个命令时scrapydeploy-Lscrapyd我得到了以下输出结果:Usage=====scrapydeploy[options][[target]|-l|-L]deploy:err
12