草庐IT

PyCharm-selenium-webdriver

全部标签

selenium的find_elements非常慢的解决办法

在使用find_elements的过程中发现,有时候比较快,有时候非常慢,慢的时候可以达到几分钟,实在不能忍受,必须要解决。后来看到国外一片文章(抱歉地址忘记了)说,find_elements慢的原因是页面上有很多ajax的请求,默认模式下会等待这些ajax的加载完成后才执行,所以阻塞了find_elements的执行,如果ajax一直在加载中就会一直等待直到超时。所以要解决这个问题的办法很简单,强制修改默认等待时间即可,像下面这样:driver.implicitly_wait(180)driver.get(url)...driver.implicitly_wait(0.1)elements=

关于conda、虚拟环境envs、镜像通道mirrors channels、pip、pycharm解释器配置interpreter config的一些总结

目录conda与虚拟环境相关命令查看conda基本信息查看当前存在哪些虚拟环境创建虚拟环境克隆虚拟环境删除指定虚拟环境删除指定虚拟环境中某个包设置国内镜像添加Anaconda的TUNA镜像添加USTC仓库镜像设置搜索时显示通道地址Conda附加库查看channels恢复默认镜像(即删除手动配置的全部镜像通道)删除指定channelcondaconfigchannels方法一方法二方法三其他一些经验1.conda中升级python的大版本和小版本2.从python官网下载安装,并安装该环境中的包3.pip的镜像加速下载Pycharm中配置不同python解释器到项目或console配置控制台的解

爬虫框架 Selenium Pyppeteer Playwright Luna对比

爬虫框架SeleniumPyppeteerPlaywrightLuna对比1.Selenium:经典且落后、特征明显、特别容易被检测出来。2.Pyppeteer:轻量级工具,功能稍强。nice、但是一样容易被检测、但是稍微好一点点。3.Playwright:强大且全面的自动化框架。可以说还行、各方面比较不错,无论多语言环境、还是多平台环境、还是更新、各个都不错、但是你如果用的久了就发现,一些细节上还是很难满足自己的需求,特别是大规模使用的稳定性,和突防能力。说白了还是能轻易识别出来你是爬虫,我指的不是那种换换ip就行的那种盾。还有就是细节上,太不稳定,因为基于事件模型,就这样没办法。4.Lun

使用python的selenium库自动批量刷长江雨课堂的课件视频

                 最近发现自己选的线上通识课在雨课堂上面上传了课件,数了一下一共要看100多个视频,平均时长5-20分钟,而雨课堂的视频无法手动拉动进度条,也无法调整播放速度,因此如果一个一个刷将会非常耗时,作者因此借助自己的爬虫知识,以及在网上搜索过相关经验之后,自己编写了这么一个刷课间的脚本,下面来讲一下运作原理:一.首先配置相关的环境   最核心的库就是selenium==4.0.0和urllib3==1.26.2,这里的selenium版本是不能改的,作者试过用最新版的selenium会出现和urllib版本不适配的问题。   另一个核心就是必须要有谷歌浏览器和谷歌浏览

python 配置 selenium爬虫

1.selenium.common.exceptions.WebDriverException:Message:unknownerror:cannotfindChromebinary报错这两天学习Python爬虫,记录一下这个折磨我一两个小时的配置。值得注意的是,下载的chromedriver.exe文件必须放在和运行的.py文件同一目录下,否则就会报错:selenium.common.exceptions.WebDriverException:Message:‘chromedriver’executableneedstobeinPATH.Pleaseseehttps://chromedriv

在pycharm中运行js文件,附加node.js下载步骤

文章目录一、前言二、node.js安装和配置(如果之前就安装好了可以直接跳过)1、进入官网下载安装包2、在本地安装node.js3、环境配置4、验证是否安装成功5、修改下载位置(默认是在c盘,这个根据个人需求)6、设置默认模块包7、测试一下是否修改成功(要进入管理员模式的cmd不然可能会报错)8、设置镜像(第七步的模块下载还是比较慢的)三、pycharm中安装node.js插件pycharm中执行js代码四、总结一、前言当我在运行pycharm中运行js文件时突然发现我还没有安装node.js所以需要进行两步操作安装本地node.js在pycharm安装node.js插件二、node.js安装

Pycharm出现的一些问题和解决办法

1.每次启动打开多个项目,速度很慢。改为每次启动询问打开哪个单一项目Setting->Appearance&Behavior->SystemSettings->Project->关闭Reopenprojectsonstartop2.一直显示《正在关闭项目closingproject》,关不上pycharm主页Help->FindAction->输入Registry->禁用ide.await.scope.completion3.Downloadingpre-builtsharedindexes很慢pycharm为了降低生成索引所带来的cpu消耗,所以提供了下载索引,但是网络问题起了反效果。而开发

解决PyCharm中出现Error: Python packaging tool ‘setuptools‘ not found

如果您觉得下面解决方案有用的话,不妨给我点个赞哟,爱你么么哒❤️❤️😘如图所示,我点击软件管理包出现这个报错,软件包上方+号也是灰色的找了好久才找到解决办法Linux系统在命令行输入:sudoaptinstallpython3-pipWindows系统: 直接在PyCharm的本地终端窗口输入:pipinstallsetuptools现在就能正确显示了点击“+”也没问题 ,可以正常安装第三方包

python + selenium尝试百度翻译脚本

话不多说,直接上代码。importreimporttimeimportxlrd#从excel中读取数据,支持xls、xlsximportxlsxwriter#用来生成excel表格,插入数据、插入图标等表格操作,不支持读取fromseleniumimportwebdriverfromselenium.webdriver.common.byimportByfromselenium.webdriver.edge.optionsimportOptionsdefopenBaiduFanYi():#无可视化界面设置#edge_options=Options()#使用无头模式edge_options.ad

初识PO模式并在Selenium中简单实践

初识PO模式PO(PageObject)是一种设计模式。简单来说就是把一些繁琐的定位方法、元素操作方式等封装到类中,通过类与类之间的调用完成特定操作。PO被认为是自动化测试项目开发实践的最佳设计模式之一。在学习PO模式前,可以先复习一下面向对象的编程思想。我觉得两者很像。优点PO模式把页面元素定位和业务操作流程分开,界面元素的变化则不需要修改业务逻辑代码PO能提高代码的可读性,高复用性,可维护性设计准则1.使用公共方法来代表页面提供的服务2.不要暴露页面的内部细节(比如元素、元素的定位方法等),隔离测试用例和业务和页面对象3.PO本身通常不应进行断言或判断。判断和断言是测试的一部分,而不是在P