草庐IT

python - 处理 urllib2.URLError 时获取 URL

这特别适用于urllib2,但更普遍的是自定义异常处理。如何通过引发的异常将附加信息传递给另一个模块中的调用函数?我假设我会使用自定义异常类重新引发,但我不确定技术细节。我不会用我尝试过但失败过的代码来污染示例代码,我只会将其呈现为几乎是空白的状态。我的最终目标是让示例中的最后一行正常工作。#mymod.pyimporturllib2defopenurl():req=urllib2.Request("http://duznotexist.com/")response=urllib2.urlopen(req)#main.pyimporturllib2importmymodtry:mymo

python - 如何测试通过 urllib2 检索数据的函数?

我正在使用python进行测试,我问自己如何测试这个方法。defget_response(self,url,params):encoded_params=urllib.urlencode(params)request=urllib2.Request(BASE_URL,headers=HEADERS)response=urllib2.urlopen(request,encoded_params)returnresponse使用doctest或unittest,如何最好地实现这一点?我想传递get_response()一个测试url和一些测试参数,它们存在于现实世界中,并检查respons

Python 和 urllib

我正在尝试从ftp下载zip文件(“tl_2008_01001_edges.zip”)census使用urllib的网站。当我获得zip文件时,它是什么形式的,我如何保存它?我是Python的新手,不了解urllib的工作原理。这是我的尝试:importurllib,syszip_file=urllib.urlretrieve("ftp://ftp2.census.gov/geo/tiger/TIGER2008/01_ALABAMA/Autauga_County/","tl_2008_01001_edges.zip")如果我知道ftp文件夹列表(在本例中为县),我可以通过ftpsite

python - urllib 模块错误!属性错误 : 'module' object has no attribute 'request'

我目前正在使用python中的“urllib”模块,并尝试使用它来提取网站的源代码:importurllibtemp=urllib.request.urlopen('https://www.quora.com/#')但是,我收到以下错误:Traceback(mostrecentcalllast):File"",line1,intemp=urllib.request.urlopen('https://www.quora.com/#')AttributeError:'module'objecthasnoattribute'request'顺便说一句,我正在使用Python2.7.5。

python - 关闭使用 urllib2.urlopen() 正确打开的文件

我在python脚本中有以下代码try:#sendthequeryrequestsf=urllib2.urlopen(search_query)search_soup=BeautifulSoup.BeautifulStoneSoup(sf.read())sf.close()exceptException,err:print("Couldn'tgetprogrammeinformation.")print(str(err))return我很担心,因为如果我在sf.read()上遇到错误,则不会调用sf.clsoe()。我尝试将sf.close()放在finallyblock中,但如果ur

python - urllib2.URLError : handshake failure

我正在对我们的数据库服务进行大量的http请求循环。一切正常,但每当我运行它时,在(看似随机的)成功查询之后,我收到以下错误:urllib2.URLError:.我正在使用python,urllib2发送请求,urllib对我的URL中的一些内容进行编码,仅此而已。就像我说的,它看起来完全是随机的。我刚刚运行它,但在6个请求后失败了。前一次,它在49次成功尝试后崩溃了。以前有人遇到过这个问题吗?谢谢 最佳答案 它更关心网络而不是你的代码。我建议你可以使用requests模块并在模块内重试。或者您可以在代码中添加一些重试。例如,你可以

python - 导入错误 : No module named urllib3 when installing pip

我遇到virtualenvwrapper的问题,需要重新安装pip作为第一步,我收到了关于urllib3的奇怪投诉:$pythonget-pip.pyTraceback(mostrecentcalllast):File"get-pip.py",line19177,inmain()File"get-pip.py",line194,inmainbootstrap(tmpdir=tmpdir)File"get-pip.py",line82,inbootstrapimportpipFile"/tmp/tmppQTQty/pip.zip/pip/__init__.py",line16,inFil

被 urllib2 阻止的 Python 进程

我设置了一个进程来读取要下载的传入url的队列,但是当urllib2打开连接时系统挂起。importurllib2,multiprocessingfromthreadingimportThreadfromQueueimportQueuefrommultiprocessingimportQueueasProcessQueue,Processdefdownload(url):"""Downloadapagefromanurl.url[str]:urltoget.return[unicode]:pagedownloaded."""ifsettings.DEBUG:printu'Downloa

python - socket ResourceWarning 在 Python 3 中使用 urllib

我正在使用urllib.request.urlopen()从我正在尝试测试的Web服务获取GET。这会返回一个HTTPResponse对象,然后我会通过read()获取响应主体。但我总是在socket.py中看到关于未关闭的套接字的ResourceWarning相关函数如下:fromurllib.requestimportRequest,urlopendefget_from_webservice(url):"""GETfromthewebservice"""req=Request(url,method="GET",headers=HEADERS)withurlopen(req)asrs

python - 使用 Python urllib 超时文件下载?

这里是Python初学者。如果该过程花费的时间超过500秒,我希望能够使我的视频文件下载超时。importurllibtry:urllib.urlretrieve("http://www.videoURL.mp4","filename.mp4")exceptExceptionase:print("error")我该如何修改我的代码来实现这一点? 最佳答案 更好的方法是使用requests,这样您就可以流式传输结果并轻松检查超时:importrequests#Maketheactualrequest,setthetimeoutforn