草庐IT

scrapy_selenium

全部标签

Selenium - 常见控件定位方法

1.Selenium八大定位方式id(id属性对应的值)name(name属性对应的值)css_selector(css表达式)xpath(xpath表达式)class_name(classname属性对应的值)link_text(查找其可见文本与搜索值匹配的锚元素)partial_link_text(查找其可见文本包含搜索值的锚元素。如果多个元素匹配,则只会选择第一个元素)tag_name(标签名称)2.CSS高级定位相对定位优点:(1)可维护性更强(2)语法更加简洁(3)解决各种复杂的定位场景 css定位的调式方法:($("#css表达式"))css基础语法:标签:标签名类:.class属

xml - 如何使用 Selenium IDE 验证 XML 页面上的文本?

这previouslyaskedquestion's答案是使用插件,但该插件不再维护甚至不可用。在不使用插件的情况下,您如何验证XML页面上的文本?例如,您如何验证测试页面的URL是否存在于您网站的sitemap.xml中? 最佳答案 将assertElementPresent与xPath结合使用:store"http://yourwebsite.com"baseURLstoreyour/test/page/test_page_URLopen${baseURL}/sitemap.xmlassertElementPresent//*[

html - 使用 Selenium,如何测试返回 XML 而不是 HTML 的 Web UI?

我正在使用Selenium对我的Perlcgi脚本进行单元测试并且一切正常,除了在一个特殊的测试用例中,我的cgi脚本将XML内容返回到网络浏览器而不是返回HTML内容。我是Selenium的新手,只是粘贴到他们的示例脚本中以开始使用,但我似乎无法在任何文档中找到可以识别我的XML响应已返回的Selenium命令。Selenium命令似乎假定总是返回HTML页面。 最佳答案 Selenium的killer级功能是像浏览器一样运行测试,这主要是指测试Javascript。如果您的程序仅使用HTTP和XML,那么Selenium就太过分

Selenium常见报错解决

在使用selenium进行自动化测试时,运行时经常出现一些报错,以下为一些常见的报错,以及相应的解决办法。一、元素找不到Message:nosuchelement:Unabletolocateelement:{"method":"xpath","selector":"//span[text()="删除"]"}分析原因及解决方法:1. 元素的xpath写错了,可以复制到浏览器F12中校验xpath是否正确2. 页面未加载完成,运行该行代码时导致无法找到该元素,在改行代码前面加上几秒的睡眠,如time.sleep(3)未切入到该元素的对应的iframe下,通过driver.switch_to.fr

python - 将 Scrapy 的输出格式化为 XML

因此,当我将数据导出为XML时,我试图将使用Scrapy从网站上抓取的数据导出为特定格式。这是我希望我的XML的样子:我正在使用以下命令运行我的抓取:$scrapycrawlmy_scrap-oitems.xml-txml我得到的当前输出是这样的:DataHereDataHere如您所见,它正在添加字段,我无法重命名根节点或项目节点。我知道我需要使用XmlItemExporter,但我不确定如何在我的项目中实现它。我试图将它添加到pipelines.py如图所示here但我总是以错误结束:AttributeError:'CrawlerProcess'objecthasnoattribu

java - Selenium WebElement xpath Java

我正在尝试使用xpath浏览网页,但我得到了一些混合结果。这是我正在使用的:driver.findElement(By.xpath("//div[contains(@class,'x-grid3-cell-innerx-grid3-col-0')]"));这实际上很好用,但我遇到的问题是:9230092475924769230192474当我在我的Selenium测试中运行那个xpath时,我总是得到第一个div。如何编辑我的xpath以检索第4个div(92301)或不是列表中第一个的其他一些div? 最佳答案 使用这个XPath

ruby - 使用 Ruby 在 Windows 上启动 Selenium 时出现 "unknown encoding name"错误

我收到错误:lib/ruby/1.9.1/win32/registry.rb:172:in`find':unknownencodingname-CP0(ArgumentError)启动Selenium时。我在带有Helioseclipse的Windows7上运行。这是ruby代码:require'rubygems'require'selenium-webdriver'driver=Selenium::WebDriver.for:firefox我看到了关于eMacsheader的帖子,但看不出它在这种情况下如何应用。 最佳答案 在启动

python - Windows7 本地主机上的 Selenium Remote Webdriver 抛出空指针异常

这些年来我一直在成功使用RC。我决定切换到RemoteWebdriver以获得所有这些新的好处。首先,我想尝试一个基本场景。1.打开Google.com2.在搜索框中输入“Selenium”。我使用以下命令启动独立服务器java-jarselenium-server-standalone-2.31.0.jar-port4450然后我执行包含以下行的python测试脚本。fromseleniumimportwebdriverfromselenium.common.exceptionsimportNoSuchElementExceptionimporttimecaps=webdriver.

python - Scrapy 返回同一条信息 80 多次

scrapy和python的新手,在这里遇到问题。我正在尝试从Metacritic获取完整的PS3游戏列表。这是我的代码:classMetacriticSpider(BaseSpider):name="metacritic"allowed_domains=["metacritic.com"]max_id=10start_urls=["http://www.metacritic.com/browse/games/title/ps3?page="#"http://www.metacritic.com/browse/games/title/xbox360?page=0"]defstart_r

windows - Windows下如何自动启动selenium节点

我正在尝试自动启动我的SeleniumGrid。我将集线器注册为服务,因此它会在机器启动时启动,但是文献告诉我不能对节点做同样的事情,因为它不在用户上下文中,所以我无法获取屏幕截图等。我已经看到一些模糊的提示,表明您可以在注册表中添加一些内容来启动程序,但我不太相信这就是我想要的。IT会每隔一段时间关闭服务器进行升级,session设置为在X次不活动后超时,因此打开所有6个节点的远程桌面,以便登录,然后启动是一个乏味而愚蠢的过程每次的过程。您如何最好地管理它?-将机器配置为自动登录,并将startSeleniumNode.bat放在该用户的启动文件夹中?-在启动测试的jenkins构建