前言作为爬虫工程师，掌握Selenium采集是非常有用的，因为有些网站采用了动态加载、javascript渲染或AJAX技术，这些技术使得使用传统的静态HTML解析库难以获取到完整的数据。Selenium是一个自动化测试工具，它可以模拟用户在浏览器中的交互行为，包括点击、滚动、输入等操作。因此，通过使用Selenium，你可以实现以下几个方面的功能：动态网页采集：Selenium可以模拟用户的浏览器行为，包括加载动态内容和执行JavaScript脚本。对于需要与服务器进行交互获取数据的网站，Selenium可以执行完整的页面加载过程，并获取到动态生成的数据。解决JavaScript渲染问题：有
最近要对微信小程序的接口做一些分析，所以需要寻找一个可以对https进行抓包的工具，综合对比了一下，有以下几种工具可供选择：FiddlerWindows平台有破解版本，可以使用charles收费，不想花钱，用不了FiddlerEverywhereMac平台，收费，而且网络不稳定，总是登陆不上Byteasy跨平台，免费，支持Linux、Windows、Mac，各个平台都能使用，只需要邮箱注册以下即可使用，也可以直接不注册。各个工具都试了一遍，最终用了Byteasy。要进行微信小程序的抓包分析，首先需要安装https根证书，Byteasy提供了一套现成的证书，同时也有提供证书生成的教程，如果觉得不
测试环境：redmiK30android12已root安装magiskLSPosed微信版本：8.0.32抓包软件：Burpsuite前言：在新版微信中只会信任程序自带的证书，解决方法也很简单，就是安装TrustMeAlready模块。TrustMeAlready：https://github.com/ViRb3/TrustMeAlreadyTrustMeAlready是Xposed的一个模块，通过hook的方式禁用掉SSL验证。启用模块，并勾选微信接下来把burp的证书放到系统证书里，系统证书的位置在/system/etc/security/cacerts当然，首先要将burp的cer证书转
1使用科来查看TCP数据包结构1.1目的1）使用科来分析系统，抓取自己网卡的数据2）打开任意网页，然后去查看抓取的数据包，认识TCP数据包结构1.2步骤实现此案例需要按照如下步骤进行。1）在主机的电脑上，打开科来分析系统软件，抓取主机的网卡。如图-1所示。图-12）在浏览器中输入网址：www.huawei.com，如图-2所示。图-23）通过科来分析系统抓取TCP协议的数据包，如图-3所示。图-32TCP协议抓包分析2.1目的1）使用eNSP搭建实验环境在Server1搭建Web服务在交换机E0/0/2口开启抓包在Client1上访问Web服务2）抓包查看TCP的封装格式2.2方案使用eNSP
目录一、设置抓谷歌浏览器https数据包1、选中以下选项即可2、若是选中后还是未抓到HTTPS数据包，则可进行以下操作二、设置抓取Firefox浏览器HTTPS数据包1、Firefox的代理需设置系统代理，设置→高级→网络设置，设置为系统代理，或手动设置代理为127.0.0.1端口为8888（即fiddler设置的代理端口为8888）2、Tools→options→actions→ExportRootCertificateToDesktop选项导出CA证书3、Firefox导入从fiddler导出到桌面的CA证书，并勾选弹出框的三个复选框后确定4、操作完成后，重启Firefox浏览器就可实现f
目录一、设置抓谷歌浏览器https数据包1、选中以下选项即可2、若是选中后还是未抓到HTTPS数据包，则可进行以下操作二、设置抓取Firefox浏览器HTTPS数据包1、Firefox的代理需设置系统代理，设置→高级→网络设置，设置为系统代理，或手动设置代理为127.0.0.1端口为8888（即fiddler设置的代理端口为8888）2、Tools→options→actions→ExportRootCertificateToDesktop选项导出CA证书3、Firefox导入从fiddler导出到桌面的CA证书，并勾选弹出框的三个复选框后确定4、操作完成后，重启Firefox浏览器就可实现f
1、下载安装包黄鸟抓包下载地址2、安装下载的apk3、证书安装问题vivo手机我安装时打开黄鸟app，会直接弹出，直接安装即可其他手机，需要去系统设置中安装3.1搜索证书，选择CA证书3.2进行本人操作验证3.3安装HttpCanary.pem文件将小编上传的资源：HttpCanary.pem下载保存至手机，浏览找到此文件安装即可。3.4安装成功后会有提示4、HttpCanary常用操作4.1设置目标应用操作路径：设置——>目标应用——>点击“+”icon选择目标应用，例如快手。设置之后，点击抓包，只会抓取快手app的http请求若要移除，长按应用就会出弹框，即可移除。4.2设置目标Host操
目录背景实现思路具体实现Python抓包总结 资料获取方法背景测试群里经常看到客户端的同学反馈发现了偶现Bug，但是来不及抓包，最后不了了之，最近出现得比较频繁，所以写个小脚本解决这个问题。实现思路之前写过一个埋点工具，辅助测试埋点的数据，解决多个端的埋点需要打开不同的抓包软件，并且需要肉眼去比对的的不便，也是使用的抓包分析数据并在界面（pyqt5）展示的方式，这一次主要是进行日志的管理，保存请求记录，所以实现的思路比较简单：抓包存日志做日志管理具体实现此前使用过优步的号称性能最好的golang日志管理包zap，结合lumberjack对日志的管理特别的方便，几个配置参数就能满足需求，比如一键
Fiddler下载：https://pan.baidu.com/s/1QzvL0xugp6XX7gbFBFlEJg?pwd=bf6u 提取码：bf6u 1.Fiddler配置 如果用不到https可以不开启https抓包 电脑打开fiddler，手机电脑同一网段。fiddler打开https抓包(Tools->Options->HTTPS)，同时配置好端口(Tools->Options->Gateway)。(监听端口默认8888) 对于普通的http请求的app，不需要进行上面的配置，。(监听端口默认8888) 2.电脑ip查看 win+R，输入cmd回车。召唤出cmd，然后输入ipcon
1、DHCP协议DHCP（动态主机配置协议）是一个局域网的网络协议。指的是由服务器控制一段IP地址范围，客户机登录服务器时就可以自动获得服务器分配的IP地址和子网掩码。DHCP采用UDP的68（客户端）和67（服务器）端口进行通信。2、Wireshark抓包分析工具Wireshark（前称Ethereal）是一个网络封包分析软件。网络封包分析软件的功能是截取网络封包，并尽可能显示出最为详细的网络封包资料。Wireshark使用WinPCAP作为接口，直接与网卡进行数据报文交换。3、Tcpdump抓包命令详解tcpdump是Linux下一种网络抓包命令。【常用选项】-i tcpdump-ie
