草庐IT

python - 如何处理来自 urllib.request.urlopen() 的响应编码,以避免 TypeError : can't use a string pattern on a bytes-like object

这个问题在这里已经有了答案:TypeError:can'tuseastringpatternonabytes-likeobjectinre.findall()(4个回答)关闭上个月。我正在尝试使用urllib.request.urlopen()打开网页,然后使用正则表达式进行搜索,但这会出现以下错误:TypeError:can'tuseastringpatternonabytes-likeobject我明白为什么,urllib.request.urlopen()返回一个字节流,所以re不知道要使用的编码。在这种情况下我该怎么办?有没有办法在urlrequest中指定编码方法,或者我需要

带有 StringIO 的 Python3 错误 : initial_value must be str or None,

将代码从python2移植到3时,从URL读取时出现此错误TypeError:initial_valuemustbestrorNone,notbytes.importurllibimportjsonimportgzipfromurllib.parseimporturlencodefromurllib.requestimportRequestservice_url='https://babelfy.io/v1/disambiguate'text='BabelNetisbothamultilingualencyclopedicdictionaryandasemanticnetwork'la

带有 StringIO 的 Python3 错误 : initial_value must be str or None,

将代码从python2移植到3时,从URL读取时出现此错误TypeError:initial_valuemustbestrorNone,notbytes.importurllibimportjsonimportgzipfromurllib.parseimporturlencodefromurllib.requestimportRequestservice_url='https://babelfy.io/v1/disambiguate'text='BabelNetisbothamultilingualencyclopedicdictionaryandasemanticnetwork'la

python - 使用 HTTP 代理 - Python

这个问题在这里已经有了答案:Proxywithurllib2(7个回答)关闭6年前。我很熟悉应该将HTTP_RPOXY环境变量设置为代理地址。一般urllib工作正常,问题是处理urllib2。>>>urllib2.urlopen("http://www.google.com").read()返回urllib2.URLError:或urllib2.URLError:额外信息:urllib.urlopen(....)工作正常!只是urllib2在耍花招……我尝试了@Fenikso的回答,但我现在收到了这个错误:URLError:有什么想法吗? 最佳答案

python - 使用 HTTP 代理 - Python

这个问题在这里已经有了答案:Proxywithurllib2(7个回答)关闭6年前。我很熟悉应该将HTTP_RPOXY环境变量设置为代理地址。一般urllib工作正常,问题是处理urllib2。>>>urllib2.urlopen("http://www.google.com").read()返回urllib2.URLError:或urllib2.URLError:额外信息:urllib.urlopen(....)工作正常!只是urllib2在耍花招……我尝试了@Fenikso的回答,但我现在收到了这个错误:URLError:有什么想法吗? 最佳答案

python - urllib2 读取到 Unicode

我需要存储可以使用任何语言的网站内容。而且我需要能够在内容中搜索Unicode字符串。我尝试过类似的方法:importurllib2req=urllib2.urlopen('http://lenta.ru')content=req.read()内容是一个字节流,所以我可以搜索一个Unicode字符串。我需要一些方法,当我执行urlopen然后读取时使用标题中的字符集来解码内容并将其编码为UTF-8。 最佳答案 在您执行的操作之后,您会看到:>>>req.headers['content-type']'text/html;charse

python - urllib2 读取到 Unicode

我需要存储可以使用任何语言的网站内容。而且我需要能够在内容中搜索Unicode字符串。我尝试过类似的方法:importurllib2req=urllib2.urlopen('http://lenta.ru')content=req.read()内容是一个字节流,所以我可以搜索一个Unicode字符串。我需要一些方法,当我执行urlopen然后读取时使用标题中的字符集来解码内容并将其编码为UTF-8。 最佳答案 在您执行的操作之后,您会看到:>>>req.headers['content-type']'text/html;charse

python忽略证书验证urllib2

我想在通过内部公司链接向服务器发出请求期间忽略认证验证。使用pythonrequests库我会这样做:r=requests.get(link,allow_redirects=False,verify=False)如何对urllib2库做同样的事情? 最佳答案 与此同时,urllib2似乎默认验证服务器证书。warning,thatwasshowninthepastdisappeared对于2.7.9,我目前在具有自签名证书(和Python2.7.9)的测试环境中遇到了这个问题。我的邪恶解决方法(不要在生产中这样做!):importu

python忽略证书验证urllib2

我想在通过内部公司链接向服务器发出请求期间忽略认证验证。使用pythonrequests库我会这样做:r=requests.get(link,allow_redirects=False,verify=False)如何对urllib2库做同样的事情? 最佳答案 与此同时,urllib2似乎默认验证服务器证书。warning,thatwasshowninthepastdisappeared对于2.7.9,我目前在具有自签名证书(和Python2.7.9)的测试环境中遇到了这个问题。我的邪恶解决方法(不要在生产中这样做!):importu

python - 如何防止 Python 的 urllib(2) 跟随重定向

我目前正在尝试使用Python登录一个站点,但是该站点似乎在同一页面上发送了一个cookie和一个重定向语句。Python似乎遵循该重定向,因此阻止我读取登录页面发送的cookie。如何防止Python的urllib(或urllib2)urlopen跟随重定向? 最佳答案 你可以做几件事:构建自己的HTTPRedirectHandler来拦截每个重定向创建一个HTTPCookieProcessor实例并安装该开启程序,以便您可以访问cookiejar。这是一个快速的小东西,显示了两者importurllib2#redirect_ha