在使用Selenium获取网页数据时常常会因为页面跳转导致,后续的页面数据无法正常获取。究极原因,都是因为此时的页面对象还是上一个页面,使用当前页面的定位条件当然会报错(因为上一个页面根本不存在这些定位条件)。因此我们可以通过switch_to.window()进行页面的切换。
switch_to.window()存在以下几种用法,下面是详细示例讲解:
URL:http://www.gjgwy.net/zkzx/gjgwy/345695.html(公考资料网)
driver.switch_to.window(driver.window_handles[-1]) 定位到最新打开窗口
driver.switch_to.window(driver.window_handles[-2]) 定位到倒数第二个窗口
driver.switch_to.window(driver.window_handles[0]) 定位最开始的页面
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
url='http://www.gjgwy.net/zkzx/gjgwy/345695.html'
# 初始实例化-谷歌浏览器
driver=webdriver.Chrome()
#获取网址信息
driver.get(url)
#判断是否有弹窗,存在弹窗则关闭,没有继续执行即可
try:
driver.find_element(By.XPATH, '//*[@id="close_alert"]').click()
except:
print("没有弹窗,继续执行")
# 点击浙江省份,查看浙江省的公考信息,实现页面跳转,打开新的页面。
driver.find_element(By.XPATH, '/html/body/div[4]/div/div[2]/a[2]').click()
time.sleep(2)
# 定位到新开页面
driver.switch_to.window(driver.window_handles[-1])
time.sleep(2)
# 判断是否存在弹窗,存在就获取弹窗,然后关闭;
#若网页刷新速度很慢,弹窗未出,就已经拿到元素信息,就不需要关闭弹窗;
try:
driver.find_element(By.XPATH, '//*[@id="close_alert"]').click()
except:
print("没有弹窗,继续执行")
next_page =driver.find_element(By.XPATH,'/html/body/table[1]/tbody/tr[1]/td[2]/div/div/ul/li[2]')
print(next_page.text)
time.sleep(1000)
# 关闭页面
driver.close()
此时next_page获取的值即为打开的第二个页面上的元素值,而非第一个页面的。
*next_page=【职位表】2022年辽宁公务员考试职位表*
倘若把切换窗口的代码注释掉,则会上报错误提示不存在的定位信息,如下:
# driver.switch_to.window(driver.window_handles[-1])
D:\workplace\venv\Scripts\python.exe D:\workplace\venv\Scripts\tietie.py
Traceback (most recent call last):
File "D:\workplace\venv\Scripts\tietie.py", line 19, in <module>
next_page=driver.find_element(By.XPATH,'/html/body/table[1]/tbody/tr[1]/td[2]/div/div/ul/li[2]')
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "D:\workplace\venv\Lib\site-packages\selenium\webdriver\remote\webdriver.py", line 861, in find_element
return self.execute(Command.FIND_ELEMENT, {"using": by, "value": value})["value"]
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "D:\workplace\venv\Lib\site-packages\selenium\webdriver\remote\webdriver.py", line 444, in execute
self.error_handler.check_response(response)
File "D:\workplace\venv\Lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 249, in check_response
raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"/html/body/table[1]/tbody/tr[1]/td[2]/div/div/ul/li[2]"}
(Session info: chrome=105.0.5195.102)
Stacktrace:
Backtrace:
Ordinal0 [0x0029DF13+2219795]
Ordinal0 [0x00232841+1779777]
Ordinal0 [0x0014423D+803389]
Ordinal0 [0x00173025+995365]
Ordinal0 [0x001731EB+995819]
Ordinal0 [0x001A0F52+1183570]
Ordinal0 [0x0018E844+1108036]
Ordinal0 [0x0019F192+1175954]
Ordinal0 [0x0018E616+1107478]
Ordinal0 [0x00167F89+950153]
Ordinal0 [0x00168F56+954198]
GetHandleVerifier [0x00592CB2+3040210]
GetHandleVerifier [0x00582BB4+2974420]
GetHandleVerifier [0x00336A0A+565546]
GetHandleVerifier [0x00335680+560544]
Ordinal0 [0x00239A5C+1808988]
Ordinal0 [0x0023E3A8+1827752]
Ordinal0 [0x0023E495+1827989]
Ordinal0 [0x002480A4+1867940]
BaseThreadInitThunk [0x7728FEF9+25]
RtlGetAppContainerNamedObjectPath [0x77447BBE+286]
RtlGetAppContainerNamedObjectPath [0x77447B8E+238]
(No symbol) [0x00000000]
此时我们在上面的基础上,在跳转一个页面,来实现打开三个窗口的情况。
当然此时,不用driver.switch_to.window(driver.window_handles[-1]),这条指令,此时的页面指向也是第二个页面,如下,但是为了展示[-2]的作用,在这里先把页面定位到最新的窗口,然后再通过命令定位到倒数第二个页面。
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
url='http://www.gjgwy.net/zkzx/gjgwy/345695.html'
# 初始实例化-谷歌浏览器
driver=webdriver.Chrome()
#获取网址信息
driver.get(url)
try:
driver.find_element(By.XPATH, '//*[@id="close_alert"]').click()
except:
print("没有弹窗,继续执行")
# 点击浙江省份,查看浙江省的公考信息,实现页面跳转,打开新的页面。
driver.find_element(By.XPATH, '/html/body/div[4]/div/div[2]/a[2]').click()
# 定位到新开页面
driver.switch_to.window(driver.window_handles[-1])
time.sleep(5)
# 判断是否存在弹窗,存在就获取弹窗,然后关闭;
#若网页刷新速度很慢,弹窗未出,就已经拿到元素信息,就不需要关闭弹窗;
try:
driver.find_element(By.XPATH, '//*[@id="close_alert"]').click()
except:
print("没有弹窗,继续执行")
time.sleep(2)
# 跳转到第三个页面
driver.find_element(By.XPATH, '/html/body/table[1]/tbody/tr[1]/td[2]/div/div/ul/li[2]').click()
# 定位到最新的第三个页面上
driver.switch_to.window(driver.window_handles[-1])
# 输出最新页面上的信息
e=driver.find_element(By.XPATH,'/html/body/div[10]/div[1]/div[1]/div[2]')
print(e.text)
# 通过命令定位到倒数第二页面
driver.switch_to.window(driver.window_handles[-2])
# 输出倒数第二个页面的信息
a=driver.find_element(By.XPATH,'/html/body/table[1]/tbody/tr[1]/td[2]/div/div/ul/li[2]')
print(a.text)
time.sleep(1000)
# 关闭页面
driver.close()
输出结果为:
#第三个页面的信息
2022年辽宁省考试录用公务员公告及职位表现已发布,报名时间为2022年2月18日9时至2月22日24时,笔试时间为2022年3月26日、27日。
点击下载:2022年辽宁省考试录用公务员职位表(提取码:2h97)
2022年辽宁公务员考试职位表
上一篇: 2022年河南公务员考试网站及政策咨询电话
下一篇: 2022年辽宁公务员考试报考指南
#倒数第二个页面的信息
【职位表】2022年辽宁公务员考试职位表
还是沿用上面的,三个页面状态,直接定位到第一个页面上的信息。
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
url='http://www.gjgwy.net/zkzx/gjgwy/345695.html'
# 初始实例化-谷歌浏览器
driver=webdriver.Chrome()
#获取网址信息
driver.get(url)
#存在弹窗即可关闭,不存在继续执行
try:
driver.find_element(By.XPATH, '//*[@id="close_alert"]').click()
except:
print("没有弹窗,继续执行")
# 点击浙江省份,查看浙江省的公考信息,实现页面跳转,打开新的页面。
driver.find_element(By.XPATH,'/html/body/div[4]/div/div[2]/a[2]').click()
time.sleep(2)
# 定位到新开页面
driver.switch_to.window(driver.window_handles[-1])
time.sleep(5)
# 判断是否存在弹窗,存在就获取弹窗,然后关闭;
#若网页刷新速度很慢,弹窗未出,就已经拿到元素信息,就不需要关闭弹窗;
try:
driver.find_element(By.XPATH, '//*[@id="close_alert"]').click()
except:
print("没有弹窗,继续执行")
# 跳转到第三个页面
driver.find_element(By.XPATH,'/html/body/table[1]/tbody/tr[1]/td[2]/div/div/ul/li[2]').click()
# 定位到最新的第三个页面上
driver.switch_to.window(driver.window_handles[-1])
# 输出最新页面上的信息
e=driver.find_element(By.XPATH,'/html/body/div[10]/div[1]/div[1]/div[2]')
print(e.text)
# 通过命令定位到最开始的窗口
driver.switch_to.window(driver.window_handles[0])
# 若存在弹窗,则关掉
try:
driver.find_element(By.XPATH, '//*[@id="close_alert"]').click()
except:
print("没有弹窗,继续执行")
# 输出最开始窗口的信息
a=driver.find_element(By.XPATH,'/html/body/div[4]/div/div[2]/a[2]')
print(a.text)
time.sleep(1000)
# 关闭页面
driver.close()
输出结果为:
D:\workplace\venv\Scripts\python.exe D:\workplace\venv\Scripts\tietie.py
#最后页面的信息
2022年辽宁省考试录用公务员公告及职位表现已发布,报名时间为2022年2月18日9时至2月22日24时,笔试时间为2022年3月26日、27日。
点击下载:2022年辽宁省考试录用公务员职位表(提取码:2h97)
2022年辽宁公务员考试职位表
上一篇: 2022年河南公务员考试网站及政策咨询电话
下一篇: 2022年辽宁公务员考试报考指南
#最开始页面信息
辽宁
在执行测试过程中会存在两个细节但是影响进程的问题:
1、进入一个新页面,有可能存在弹窗的情况,如果存在弹窗,那么当前页面就会定位在弹窗上,那一定不是你想要的元素,因此,我们可以关闭它,之后再继续执行。
2、执行过程中发现,有的时候,代码,元素条件都没有问题,但是就是报错,这是有可能网速的问题,我们要学会善用time.sleep这个语句,预留充足的时间可以继续执行。
我正在学习如何使用Nokogiri,根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div
我有一个Ruby程序,它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重,我想提高压缩级别,因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗?是否有另一个允许指定压缩级别的Ruby库? 最佳答案 这是我通过查看rubyzip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d
类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc
很好奇,就使用rubyonrails自动化单元测试而言,你们正在做什么?您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您?git中的预提交Hook?只是手动调用?我完全理解测试,但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的,并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您? 最佳答案 不确定您到底想听什么,但是有几个级别的自动代码库控制:在处理某项功能时,您可以使用类似autotest的内容获得关于哪些有效,哪些无效的即时反馈。要确保您的提
假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外,还有什么方法可以访问C和m中的其他内容?我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)?如何在使用完匿名模块后将其删除,使其定义的常量不再存在? 最佳答案 三个答案:是的,使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于
我正在尝试使用ruby和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封,在我看来soap请求没有正确的命名空间。任何人都可以建议我
我需要在客户计算机上运行Ruby应用程序。通常需要几天才能完成(复制大备份文件)。问题是如果启用sleep,它会中断应用程序。否则,计算机将持续运行数周,直到我下次访问为止。有什么方法可以防止执行期间休眠并让Windows在执行后休眠吗?欢迎任何疯狂的想法;-) 最佳答案 Here建议使用SetThreadExecutionStateWinAPI函数,使应用程序能够通知系统它正在使用中,从而防止系统在应用程序运行时进入休眠状态或关闭显示。像这样的东西:require'Win32API'ES_AWAYMODE_REQUIRED=0x0
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。
我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗?当我运行compasswatch时,它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行?文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们?我自己编译的.sass文件编译成compiled/t
我想将html转换为纯文本。不过,我不想只删除标签,我想智能地保留尽可能多的格式。为插入换行符标签,检测段落并格式化它们等。输入非常简单,通常是格式良好的html(不是整个文档,只是一堆内容,通常没有anchor或图像)。我可以将几个正则表达式放在一起,让我达到80%,但我认为可能有一些现有的解决方案更智能。 最佳答案 首先,不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案,它会随着HTML的变化而崩溃,或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h