钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。之前我们使用requests库爬取某个站点的时候，每发出一个请求，程序必须等待网站返回响应才能接着运行，而在整个爬虫过程中，整个爬虫程序是一直在等待的，实际上没有做任何事情。像这种占用磁盘/内存IO、网络IO的任务，大部分时间是CPU在等待的操作，就叫IO密集型任务。对于这种情况有没有优化方案呢，当然有，那就是使用aiohttp库实现异步爬虫。aiohttp是什么我们在使用requests请求时，只能等一个请求先出去再回来，才会发送下一个请求。明显效率不高阿，这时候如果换成异步请求的方式，就不会有这个等待。一个

钢铁知识库，一个学习python爬虫、数据分析的知识库。人生苦短，快用python。之前我们使用requests库爬取某个站点的时候，每发出一个请求，程序必须等待网站返回响应才能接着运行，而在整个爬虫过程中，整个爬虫程序是一直在等待的，实际上没有做任何事情。像这种占用磁盘/内存IO、网络IO的任务，大部分时间是CPU在等待的操作，就叫IO密集型任务。对于这种情况有没有优化方案呢，当然有，那就是使用aiohttp库实现异步爬虫。aiohttp是什么我们在使用requests请求时，只能等一个请求先出去再回来，才会发送下一个请求。明显效率不高阿，这时候如果换成异步请求的方式，就不会有这个等待。一个

之前一直在研究QQ机器人，最近发现一个微信机器人框架，在办公中来增加工作效率。一、需要环境：可爱猫（http://www.keaimao.com/）python3.8+flask、aiohttp微信forwindows3.4.0.381.启动可爱猫、登录微信2.在可爱猫应用中找到HTTP个人对接版，双击打开其中消息回调地址，相当于消息接收地址调用本地api地址，相当于消息发送地址用python整个run.py，顺便从隔壁投一个flask使用async的方法二、核心代码（run.py）importflaskimportloggingfromflaskimportFlask,jsonify,has

之前一直在研究QQ机器人，最近发现一个微信机器人框架，在办公中来增加工作效率。一、需要环境：可爱猫（http://www.keaimao.com/）python3.8+flask、aiohttp微信forwindows3.4.0.381.启动可爱猫、登录微信2.在可爱猫应用中找到HTTP个人对接版，双击打开其中消息回调地址，相当于消息接收地址调用本地api地址，相当于消息发送地址用python整个run.py，顺便从隔壁投一个flask使用async的方法二、核心代码（run.py）importflaskimportloggingfromflaskimportFlask,jsonify,has

【python】爬虫异步网络请求探索async+request与async+aiohttp在学习协程的时候，会有一个疑问，使用协程语法进行异步请求时，比如async+requests，会有用吗？其实细想一下就知道，由于requests库是用同步的方式写的，因此async+requests是肯定没用的。但是本着实践出真知的思想，顺便复习巩固一下多线程、async、aiohttp的写法，还是手动来验证一下。为了规避网络波动等影响，在本地用Flask搭建一个简易的服务器用于测试。文章结构如下：文章目录【python】爬虫异步网络请求探索async+request与async+aiohttp初始环境准

【python】爬虫异步网络请求探索async+request与async+aiohttp在学习协程的时候，会有一个疑问，使用协程语法进行异步请求时，比如async+requests，会有用吗？其实细想一下就知道，由于requests库是用同步的方式写的，因此async+requests是肯定没用的。但是本着实践出真知的思想，顺便复习巩固一下多线程、async、aiohttp的写法，还是手动来验证一下。为了规避网络波动等影响，在本地用Flask搭建一个简易的服务器用于测试。文章结构如下：文章目录【python】爬虫异步网络请求探索async+request与async+aiohttp初始环境准