草庐IT

selenium4

全部标签

爬虫进阶-反爬破解5(selenium的优势和点击操作+chrome的远程调试能力+通过Chrome隔离实现一台电脑登陆多个账号)

目录一、selenium的优势和点击操作二、chrome的远程调试能力三、通过Chrome隔离实现一台电脑登陆多个账号一、selenium的优势和点击操作1.环境搭建工具:Chrome浏览器+chromedriver+seleniumwin用户:chromedriver.exe放在python.exe旁边MacOS用户:驱动路径是/user/local/bin/chromedriverLinux大佬自行安装2.Selenium优势Selenium直接操作浏览器,不需要分析请求和加密数据程序可以读取网页源码,分析并提取内容程序可以直接和网页元素进行交互,例如点击fromseleniumimpor

基于Python与selenium实现河北干部网络学院自动化登录与学习

首先,声明该代码脚本仅供参考与借鉴,任何使用该脚本进行牟利或者其他非法途径使用,本人保留追究法律责任的最终权利。本脚本是基于Python与selenium实现河北干部网络学院自动化登录与学习,在使用过程中无需人为干预,即可实现全自动挂机学习,并且可以进行超级倍速播放,对小白极其友好!毕竟小编也是小白嘛!接下来,上图!是不是使用教程简单明了,但是在脚本使用前,需要安装谷歌相关的软件及驱动,Chromedriver,小编会把代码及相关软件放到文章结尾,供大家使用与参考。接下来,上代码!首先进行相关库的导入,如果运行中出现库没有导入的情况,可以使用命令pipinstall‘库名称’,进行导入。然后进

新版selenium4.0 + Python使用详解

目录1、selenium简介2、环境Python+selenium2.1、selenium库安装2.2、驱动下载2.3、驱动位置与使用3、selenium库代码讲解3.1、id3.1、name3.3、Class3.4、tag3.5、Link3.6、xpath3.7、css选择器3.8、js执行4、selenium封装4.1、设计规则4.2、确认入口函数4.3、设计逻辑4.4、代码封装1、selenium简介         Selenium是一个用于Web应用程序测试的工具,Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7,8,9,10,11),Moz

Selenium的webdriver(Chromedriver、Edgedriver、geckodriver、IEDriverServer)驱动下载地址

chrome版本chromedriver驱动下载地址http://chromedriver.storage.googleapis.com/index.htmlEdge版本microsoft-edge驱动下载地址https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/geckodriver驱动下载地址:mozilla/geckodriverselenium版本iedriverserver驱动下载地址http://selenium-release.storage.googleapis.com/index.html注意

【0基础学爬虫】爬虫基础之自动化工具 Selenium 的使用

大数据时代,各行各业对数据采集的需求日益增多,网络爬虫的运用也更为广泛,越来越多的人开始学习网络爬虫这项技术,K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章,为实现从易到难全方位覆盖,特设【0基础学爬虫】专栏,帮助小白快速入门爬虫,本期为自动化工具Selenium的使用。概述目前,很多网站都采用Ajax等技术进行动态加载数据,想要采集这类网站的数据,需要通过抓包对网站的数据接口进行分析,去寻找想要采集的数据由哪个接口传输。而且,就算找到了数据接口,这些接口可能也是被加密过的,想要通过接口获取数据,需要对加密参数进行逆向分析,这个过程对于初学者来说非常复杂。为了解决这些问题,能够更加简单的进行爬

Python Selenium 关键字驱动

目录项目目录结构 action目录config目录exceptionpictures目录log目录testCases目录testData目录util目录 总结之前写过一篇Java版的关键字驱动,现在来写一篇Python版本的,网上好多教程都是虎头蛇尾的不完整~说下思路,这边没有用Python反射去获取方法名去执行关键字,而是通过Python内置函数eval()来拼接字符串组成关键字然后一并执行,这个用法比较妙!Pythoneval()内置函数具体用法可自行百度。项目目录结构先看下目录结构: action目录action目录主要存放关键字模块:PageAction.py,封装了一些基本的web操

Selenium 执行速度慢原因总结

目录1、显示等待WebDriverWait和隐式等待implicitly_wait()混用:2、页面加载策略不对3、显示等待时间设置过长4、定位策略不是最优5、测试数据和测试流程设计不够合理1、显示等待WebDriverWait和隐式等待implicitly_wait()混用:例如,将隐式等待设置为10秒,将显式等待设置为15秒,可能会导致在20秒后发生超时。隐式等待是告诉WebDriver如果在查找一个或多个不是立即可用的元素时轮询DOM一段时间。默认设置为0,表示禁用。一旦设置好,隐式等待就被设置为会话的生命周期。一般情况下不建议使用隐式等待,现在web框架很多元素都是动态加载的建议尽量使

selenium——unittest框架

目录一、unittest框架基本介绍二、unittest框架解析三、unittest框架使用方法1.测试固件2.测试套件3.用例的执行顺序4.忽略测试用例中的方法5.unittest断言6.HTML报告生成一、unittest框架基本介绍在进行seleniumIDE脚本录制导出的脚本中,我们发现其中多了很多代码,这些代码正是unittest测试框架。unittest是web界面的功能测试框架,白盒测试测试框架是Junit。unittest单元测试提供了创建测试用例、测试套件以及批量执行的方案。unittest在安装python以后就直接自带了,调用importunittest就可以使用。二、u

Selenium基础 — CSS选择器定位大全

1、css属性定位css选择器策略示例说明#id#telA选择id="telA"的所有元素。.class.telA选择class="telA”的所有元素。[属性名=属性值][name=telA]除了id和class属性,其他属性的定位格式[attribute][target]选择带有target属性所有元素。**选择所有元素。2、css属性值模糊匹配定位css选择器策略示例说明[attribute^=value]a[src^="https"]选择其src属性值以"https”开头的每个元素。[attribute$=value]a[src$=".pdf"]选择其src属性以".pdf“结尾的所有

解决 Docker + selenium + chromedriver + chrome 会出现僵尸进程的问题

一、僵尸进程问题在docker里,使用selenium爬虫, webdriverquit后,会产生很多僵尸进程。dockerrun -it -v/home/blackip:/home/blackips/  selenium:1.0 python3linux_black_ip.pytop查看僵尸进程:ps-ef|grepdefunct查看僵尸进程:僵尸进程的父进程是python3。看了下chrome运行时的状况,发现开始的父进程并不是1,但到最后都变成了1,并且变为defunct状态:ps-ef|grep chrome|grep-vdefunct超多的僵尸进程会耗尽pid表,导致Chromefa