草庐IT

python - Tor 不适用于 urllib2

我正在尝试使用tor作为使用urllib2的代理通过privoxy进行匿名访问。系统信息:Ubuntu14.04,最近通过dist-upgrade从13.10升级。这是我用于测试目的的一段代码:importurllib2defreq(url):proxy_support=urllib2.ProxyHandler({"http":"127.0.0.1:8118"})opener=urllib2.build_opener(proxy_support)opener.addheaders=[('User-agent','Mozilla/5.0')]returnopener.open(url).

python - 在 Python 3.2 中,我可以使用 http.client 打开和阅读 HTTPS 网页,但 urllib.request 无法打开同一页面

我想打开阅读https://yande.re/使用urllib.request,但出现SSL错误。我可以使用http.client和以下代码打开并阅读页面:importhttp.clientconn=http.client.HTTPSConnection('www.yande.re')conn.request('GET','https://yande.re/')resp=conn.getresponse()data=resp.read()但是,以下使用urllib.request的代码失败了:importurllib.requestopener=urllib.request.build

python - 使用 wget -c 功能在 Python 中使用 urllib 下载文件

我正在用Python编写软件以从数据库下载HTTPPDF。有时下载会停止并显示此消息:retrievalincomplete:gotonly3617232outof10689634bytes如何使用206PartialContentHTTP功能要求下载从停止的地方重新开始?我可以使用wget-c来完成它并且它工作得很好,但我想直接在我的Python软件中实现它。有什么想法吗?谢谢 最佳答案 您可以通过发送带有Rangeheader的GET来请求部分下载:importurllib2req=urllib2.Request('http:/

python - 错误 : [Errno -2] Name or service not known

defmake_req(data,url,method='POST')params=urllib.urlencode(data)headers={"Content-type":"application/x-www-form-urlencoded","Accept":"text/plain",}conn=httplib.HTTPSConnection(url)conn.request(method,url,params,headers)response=conn.getresponse()response_data=response.read()conn.close()但它抛出:incr

python - urllib 下载在线目录的内容

我正在尝试制作一个程序,它将打开一个目录,然后使用正则表达式获取powerpoint的名称,然后在本地创建文件并复制其内容。当我运行它时,它似乎可以正常工作,但是当我实际尝试打开文件时,他们一直说版本错误。fromurllib.requestimporturlopenimportreurlpath=urlopen('http://www.divms.uiowa.edu/~jni/courses/ProgrammignInCobol/presentation/')string=urlpath.read().decode('utf-8')pattern=re.compile('ch[0-9

python - 使用 Python 和 urllib2 时设置 Host-header

我正在使用我自己的解析器,并且想使用urllib2连接到IP(不在urllib2中解析),我想自己设置HTTP主机header。但是urllib2只是忽略了我的主机头:txheaders={'User-Agent':UA,"Host:":nohttp_url}robots=urllib2.Request("http://"+ip+"/robots.txt",txdata,txheaders) 最佳答案 您已将":"包含在"Host"字符串中。txheaders={"User-Agent":UA,"Host":nohttp_url}r

python - 为什么 URLLib2 不支持持久连接?

扫描urllib2源后,似乎连接会自动关闭,即使您确实指定了keep-alive。这是为什么?就像现在一样,我只是使用httplib作为我的持久连接...但想知道为什么它在urllib2中被禁用(或者可能只是模棱两可)。 最佳答案 这是urllib2(以及urllib)的众所周知的限制。恕我直言,迄今为止修复它并使其正确的最佳尝试是GarryBodsworth的coda_network对于Python2.6或2.7——urllib2(和一些其他模块)的替换、修补版本以支持保持事件(以及一些其他较小但相当受欢迎的修复)。

python - 使用 python urllib2 在 http header 中传递 session cookie?

我正在尝试使用Mediawikiapi编写一个简单的脚本来登录维基百科并在我的用户页面上执行一些操作。但是,我似乎从来没有通过第一个登录请求(来自此页面:https://en.wikipedia.org/wiki/Wikipedia:Creating_a_bot#Logging_in)。我认为我设置的sessioncookie没有被发送。到目前为止,这是我的代码:importCookie,urllib,urllib2,xml.etree.ElementTreeurl='https://en.wikipedia.org/w/api.php?action=login&format=xml'

python - 如何在 python 2.7 中获取 urllib2 的状态代码

如何在python2.7中获取urllib2的状态码?我不想使用请求。我需要urllib2。request=urllib2.Request(url,headers=headers)contents=urllib2.urlopen(request).read()printrequest.getcode()contents=json.loads(contents),AttributeError('getcode',),谢谢 最佳答案 退后一步:result=urllib2.urlopen(request)contents=result.

python - 如何清除 urllib.request 中的 cookie(python3)

通过查看文档,我的第一个猜测是我调用了urllib.request.HTTPCookieProcessor().cookiejar.clear(),但是那没有用。我的下一个猜测是,也许我需要将它子类化并使用opener构建/安装它?我不知道该怎么做,如果需要的话我当然可以,但对于我认为应该如此简单的操作来说,这真的有点过分了。 最佳答案 默认情况下,urllib.request不会存储任何cookie,因此无需清除任何内容。如果您构建一个包含OpenerDirector和HTTPCookieProcessor实例作为处理程序之一,则