草庐IT

SplashRequest

全部标签

python - 在 python Scrapy 中执行 SplashRequest 时添加等待元素

我正在尝试在python中使用SplashforScrapy来抓取一些动态网站。但是,我看到Splash在某些情况下无法等待完整页面加载。解决此问题的一种蛮力方法是添加较长的wait时间(例如,以下代码段中的5秒)。然而,这是非常低效的,并且仍然无法加载某些数据(有时加载内容需要超过5秒)。是否存在某种可以通过这些请求放置的等待元素条件?yieldSplashRequest(url,self.parse,args={'wait':5},'User-Agent':"Mozilla/5.0(X11;Linuxx86_64)AppleWebKit/537.36(KHTML,likeGecko