前言    在此说明，这个项目是我第一次真正去爬的一个网站，里面写的代码我自己都看不下去，但是已经不想花时间去重构了，所以看个乐呵就好，要喷也可以（下手轻一点）。这篇文算是记录我的学习中出现的一些问题，不建议拿来学习和真拿我的代码去爬Lazada的数据，当然看看我的思路还是可以的。目标    我的目标是拿到个分类下的商品数据  爬虫思路    1.获取各个分类的链接    2.获取各个分类下的商品链接    3.通过商品链接获取到需要的商品数据需要用到的包和工具准备importtimeimportopenpyxlimportrequestsimportrefromlxmlimportetree

系列文章目录实战使用scrapy与selenium来爬取数据文章目录系列文章目录前言一、前期准备二、思路与运行程序1.思路2.运行程序三、代码1.代码下载2.部分代码总结前言当学会使用Scrapy和Selenium后的那就试试通过Scrapy驱动Selenium来获取数据，可以绕过JS解密的耗时，缺点是可能爬取数据的速度会变慢慢。Scrapy是用Python实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。Scrapy常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过Scrapy框架实现一个爬虫，抓取指定网站的内容或图片。Selenium是一个We

一个做测试的居然让我教她怎么做自动化测试，真是反了……行吧，正好懂一些Selenium，今天就来跟大家一起了解下Python如何使用Selenium进行自动化测试。简单介绍Selenium大家应该都很熟悉了吧，简单说它就是个基于浏览器的Web自动化测试工具，基本上是自动化测试人员首选工具。因为相比其他工具，它有很多的优势：支持多种语言，比如Python、Java、C或C#、ruby等都支持；支持多种浏览器,比如IE、FireFox、Safari、Opera、Chrome这些主流浏览器基本都支持；支持多种操作系统，比如Windows、Mac、Linux这个款主流操作系统。其实单就上面这些优势就足

1.拖动dom元素选中一个dom元素，通过拖动就可以改变元素的位置。如下图：2.选中dom元素右键删除元素选中一个dom元素右键菜单会有很多功能选项，常用的有隐藏、删除元素等。如下图：3.在控制台引用选中元素$0使用$0可以在控制台引用选中元素，如下图：4.$_引用上一次的结果使用$_可以在控制台引用上一次结果，如下图：5.ctrl+点击样式会跳转到该样式代码的源文件6.saveAs保存修改后的样式源文件保存后的样式文件打开，如下：7.根据css选择器查找元素ctrl+fctrl+f会弹出搜索框，我们可以根据css选择器、关键字等查找某个元素。如下图：8.shift+enter控制面板换行控制

首先，要澄清一点，谷歌浏览器（GoogleChrome）是开源的，其基于Chromium的项目，而且Chromium项目本身是开源的，这就意味着任何人都可以下载和使用这个引擎，甚至可以为它的源代码提供修改建议。然而，虽然谷歌浏览器是基于开源的Chromium引擎构建的，但它并不完全等同于Chromium。谷歌浏览器还包含了许多额外的专有组件和谷歌的专有服务。这些专有组件和服务，包括但不限于谷歌的搜索引擎、GoogleDocs、GoogleTranslate、Gmail、GoogleCalendar以及内置PDF阅读器等，使得谷歌浏览器在用户体验和功能上与其他基于Chromium的浏览器有所不同

个人经常使用到selenium来控制浏览器进行相关的操作，但是Chrome浏览器经常会自动更新，导致已有的驱动程序chromedriver.exe失效，需要重新下载。以前尝试过禁止Chrome浏览器更新，但是这并不是很好的解决方案。于是换了个方向，既然Chrome浏览器会自动更新，那么在我使用selenium控制浏览器时，也进行自动更新驱动程序。官方下载速度太慢，这里使用的是淘宝NPM镜像地址：CNPMBinariesMirrorhttps://registry.npmmirror.com/binary.html?path=chromedriver/首先通过selenium尝试启动Chrome

一、简述今天向大家介绍一款可以将build打包后的chrome扩展程序自动化加载到chrome浏览器中的webpack插件，该webpack插件是我自己开发的，已经发布到了npm上，安装方式如下：npmiauto-load-chrome-ext-webpack-plugin二、解决的痛点前段时间在研究chrome插件开发过程中，由于我项目中使用了react进行页面开发，使用webpack打包项目，打包后每次要手动去打开浏览器，然后手动选择刚才打包后的chrome插件进行加载，这个过程有点繁琐，所以开发了这款webpack插件来进行自动化加载，我们只需要执行npmrunbuild，打包后的操作就

目录1.idea下载安装：2.maven下载与配置：​-编辑-下载完后解压安装包​编辑-配置环境变量-打开cmd执行命令mvn-version验证是否配置成功-.m2文件-配置镜像仓库3.idea中创建maven项目4.selenium配置1.idea下载安装：-idea官网下载地址IntelliJIDEA:TheCapable&ErgonomicJavaIDEbyJetBrains2.maven下载与配置：maven是Apache基于ANT进行了升级，使用项目对象模型（POM-projectobjectmodel）-maven官方下载地址Maven–DownloadApacheMaven-下

Chrome本月将迎来15岁生日。尽管过去15年发生了很多变化，但最初的目标仍然不变——构建一个快速、可靠、安全且易于使用的浏览器。这一目标推动着Chrome团队对Chrome所做的每一项改进。我们以比任何其他浏览器更快的速度向数十亿用户发布有用的功能和更新，并与开发人员合作，帮助他们提高网站性能。今年，Chrome在基准测试中实现了最快的加载速度。为了增强安全性，帮助将网络默认转向HTTPS，并使人们更容易管理和保护其密码。除此之外，还融入了机器学习，以提供更易于访问和个性化的浏览体验。为了庆祝15岁生日，新版 Chrome桌面版带来了全新的外观，并推出了一些升级，继续让用户在Chrome上

selenium简介1、什么是SeleniumSelenium 是支持 Web 浏览器自动化的一系列工具和库的综合项目。它提供了扩展来模拟用户与浏览器的交互，用于扩展浏览器分配的分发服务器，以及用于实现 W3CWebDriver 规范的基础结构，该规范允许您为所有主要 Web 浏览器编写可互换的代码。Selenium 的核心是 WebDriver，这是一个编写指令集的接口，可以在许多浏览器中互换运行。Selenium最初是一个自动化测试工具，而爬虫中使用它主要是为了解决Requests无法执行JavaScript代码的问题。三大组件Selenium 不仅仅是一个工具或 API,它还包含许多工具