大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬虫】专栏，帮助小白快速入门爬虫，本期为自动化工具Pyppeteer的使用。概述前两期文章中已经介绍到了Selenium与Playwright的使用方法，它们的功能都非常强大。而本期要讲的Pyppeteer与Playwright一致，都可以作为Selenium的替代者来使用。且与Playwright相比，Pyppeteer的使用更加简单。Pyppeteer的使用介绍在上上期文章中，我们介绍了Sele

目录摘要：背景：一、selenium简介二、Pyppeteer简介2.1、安装模块2.2、等待机制和浏览器实例2.3、使用思路和案例三、BeautifulSoup简介3.1、安装模块3.2、解析器3.3、BeautifulSoup的使用3.4、查找元素1、遍历文档树2、搜索文档树摘要：在写爬虫的时候，为了效率我们通常会选择解析网页api来获取数据，但是有时候解析方式比较困难，或者我们纯粹是为了快速实现爬虫，会使用浏览器自动化操作，说起这一点，肯定第一个想到的就是selenium，但很多时候其实selenium使用起来是不太方便的，例如环境配置，要安装浏览器、下载对应的驱动、安装对应的Pytho

前言本文是该专栏的第2篇，结合项目案例让你熟练使用pyppeteer，后面会持续分享Pyppeteer的干货知识，记得关注。Pyppeteer是Puppeteer的Python版本，是Google基于Node.js开发的工具，可以通过JavaScript代码来操作chrome。所以在浏览器中绝大多数操作都可以使用Pyppeteer来完成，比如页面功能测试，自动提交表单，请求响应拦截，导出页面PDF，测试浏览器扩展等。对于笔者来说，pyppeteer给予我最大的亮点除了简便易上手之外，还一点就是能轻松规避谷歌Google的人机验证。熟悉selenium的同学都知道，它可以模拟鼠标和键盘的操作。同