草庐IT

Requests

全部标签

python requests请求报错ConnectionError: (‘Connection aborted.‘, error(104, ‘Connection reset by peer‘))

pythonrequests请求报错ConnectionError:(‘Connectionaborted.’,error(104,‘Connectionresetbypeer’))可能导致的有两个原因1.请求过于频繁,导致请求被拒绝解决方法:每次请求设置一个休眠时间例如time.sleep(1)2.接口有认证或者反爬机制,识别到是python终端访问,拒绝了访问解决方法:在请求头中设置User-Agent绕过验证如headers={'User-Agent':'Mozilla/5.0(WindowsNT6.1;Trident/7.0;rv:11.0)likeGecko',"Content-Ty

走例程:Making concurrent API requests

我试图了解channel和协程,并尝试编写一个协程来向服务器发出并发API请求但是当我使用goroutine运行代码时,它似乎花费了与没有goroutine相同的时间。funcsendUser(userstring,chchan问题:即使我使用了goroutine,请求完成时间与没有goroutine时一样吗?我对goroutine做错了什么吗?为了告诉作业不要再在这里等待,我正在使用:iflen(responses)==len(users)有没有更好的方法来表明response的处理完成,告诉ch不要再等待了?什么是wait.Syncgroup?我如何在我的goroutine中使用它

走例程:Making concurrent API requests

我试图了解channel和协程,并尝试编写一个协程来向服务器发出并发API请求但是当我使用goroutine运行代码时,它似乎花费了与没有goroutine相同的时间。funcsendUser(userstring,chchan问题:即使我使用了goroutine,请求完成时间与没有goroutine时一样吗?我对goroutine做错了什么吗?为了告诉作业不要再在这里等待,我正在使用:iflen(responses)==len(users)有没有更好的方法来表明response的处理完成,告诉ch不要再等待了?什么是wait.Syncgroup?我如何在我的goroutine中使用它

关于pycharm在安装requests模块时出现:urllib3 v2.0 only supports OpenSSL 1.1.1+

原因:是由于urllib3模块的版本过高导致的解决办法:1.file-setting-Project:project-pythoninterpreter2.点击右侧+号,在搜索框中输入urllib33.在左侧选中urllib3后,在右下方的specifyverison下拉框中选择1.26版本4.左下角选择installpackage即可    

Python爬虫(6)-selenium用requests、wget、urllib3这3种方法搞定图片和PDF文件下载

之前的文章有关于更多操作方式详细解答,本篇基于前面的知识点进行操作,如果不了解可以先看之前的文章Python爬虫(1)一次性搞定Selenium(新版)8种find_element元素定位方式Python爬虫(2)-Selenium控制浏览器Python爬虫(3)-Selenium结合pywin32模拟键盘操作Python爬虫(4)-Selenium模拟鼠标操作Python爬虫(5)-selenium用显式等待、隐式等待、强制等待,解决反复爬取网页时无法定位元素问题selenium下载图片和PDF的文件的方式有很多种,可以使用自带的下载方式,也可以使用模拟鼠标右键点击的方式去储存和下载不过这两

Python之Requests模块简介与安装

Requests模块简介  在python的标准库中,虽然提供了urllib,utllib2,httplib,但是做接口测试,requests使用更加方便快捷,正如官方说的,“让HTTP服务人类”。  Requests是用python语言基于urllib编写的,采用的是Apache2Licensed开源协议的HTTP库,Requests它会比urllib更加方便,可以节约我们大量的工作。Requests模块安装安装方式一:执行pipinstallrequests联网安装requests安装方式二:进入https://pypi.org/project/requests/下载并解压requests

解决minio上传文件报S3 API Request made to Console port. S3 Requests should be sent to API port.的问题

前情简介:我使用的是docker创建的minio,在连接minioclient后创建桶的时候,报错提示S3APIRequestmadetoConsoleport.S3RequestsshouldbesenttoAPIport.根据该提示,报错意思是api错误使用了Console的端口,而需要的是api的端口,根据这个提示可能是创建Minioclient的端口使用错了,排查第一查看之前的创建minio容器因为之前创建时的语句找不到了,所以只能通过这个界面查看,查看到只有一个容器内9000的端口向外暴露了,然后再去容器中查看使用到了那些端口dockerinspectd677ab69407看到如下结

python-requests请求超时解决方案

        python程序根据url从互联网上批量获取数据时,设置HTTP或Socket超时,来防止爬虫爬取某个页面时间过长,导致程序卡置不前。1、socket全局设置。importsocketsocket.setdefaulttimeout(1)t:代表经过t秒后,如果还未下载成功,自动跳入下一次操作,此次下载失败。2、添加timeout使用timeout参数可以设定等待连接的秒数,如果等待超时,Requests会抛出异常。示例代码1:importrequestsres=requests.get('https://github.com',timeout=0.01)print(res)运

Python Requests模块忽略SSL证书、关闭警告

目录证书处理(SSLCertVerification)解决证书问题证书应用(SSLCertVerification)很多网站都是https,但是不用证书也可以访问,大多数情况都是可以携带也可以不携带证书如知乎\百度等都是可带可不带但有硬性要求的,则必须带,比如对于定向的用户,拿到证书后才有权限访问某个特定网站。关闭警告importrequests,warningsfromrequests.packagesimporturllib3#关闭警告urllib3.disable_warnings()warnings.filterwarnings("ignore")解决证书报错问题一、忽略证书代码示例:

python使用requests提交post请求并上传文件(multipart/form-data)

目录一、背景二、请求接口上传文件    2.1、分析接口    2.2、python进行请求三、总结一、背景    也是前几天,有一个需求上传文件需要自动化。具体是上传到系统一个文件,并收到返回结果。考虑使用python的requests,一般这种查询或上传文件的接口都是post请求。所以就直接使用requests的post请求。但是在开发过程中,遇到一些问题需要注意。所以在此记录一下。二、请求接口上传文件    2.1、分析接口        首先浏览器f12查看接口内容(主要看接口类型、请求头、Payload)。发现上传文件的接口是post类型,请求头中Content-Type也很重要,指