在尝试使我的一个python应用程序在连接中断的情况下更加健壮时，我发现调用urllib2生成的http-stream的读取函数可能会永远阻止脚本。我认为读取函数会超时并最终引发异常，但在读取函数调用期间连接中断时情况并非如此。这是会导致问题的代码:importurllib2whileTrue:try:stream=urllib2.urlopen('http://www.google.de/images/nav_logo4.png')whilestream.read():passprint"Done"except:print"Error"(如果您尝试脚本，您可能需要多次中断连接，然后才
我正在尝试检索网页的来源，包括所有图像。目前我有这个:importurllibpage=urllib.urlretrieve('http://127.0.0.1/myurl.php','urlgot.php')printurlgot.php可以很好地检索源，但我还需要下载任何链接的图像。我在想我可以创建一个正则表达式来在下载的源代码中搜索imgsrc或类似的东西；但是，我想知道是否有urllib函数也可以检索图像？类似于wget命令的:wget-r--no-parenthttp://127.0.0.1/myurl.php我不想使用os模块并运行wget，因为我希望脚本在所有系统上运行。
使用httplib2和urllib2，我试图从这个url获取页面，但所有这些都没有成功，并以这个异常结束。content=conn.request(uri="http://www.zdnet.co.kr/news/news_print.asp?artice_id=20110727092902")Traceback(mostrecentcalllast):File"",line1,inFile"/usr/lib/python2.7/dist-packages/httplib2/__init__.py",line1129,inrequest(response,content)=self._
我在从网站获取数据时遇到了一些麻烦。网站来源在这里:view-source:http://release24.pl/wpis/23714/%22La+mer+a+boire%22+%282011%29+FRENCH.DVDRip.XviD-AYMO有这样的东西:INFORMACJEOFILMIETytuł............................................:LameràboireOcena.............................................:IMDB-6.3/10(24)Produkcja............
所以我正在调查urllib3因为它有连接池并且是线程安全的(所以性能更好，特别是对于爬行)，但是文档......至少可以说是最少的。urllib2有build_opener这样的东西:#!/usr/bin/pythonimportcookielib,urllib2cj=cookielib.CookieJar()opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))r=opener.open("http://example.com/")但是urllib3没有build_opener方法，所以到目前为止我想到的唯一方法是手动
我正在使用找到的说明here，尝试检查发送到我的网络服务器的HTTP命令。但是，我没有看到教程中建议的在控制台上打印的HTTP命令。有谁知道如何在CLI中显示/调试HTTP命令？我在LinuxUbuntu上运行Python2.6.5 最佳答案 教程信息似乎已被弃用。如今使用urllib2进行调试的正确方法是:importurllib2request=urllib2.Request('http://diveintomark.org/xml/atom.xml')opener=urllib2.build_opener(urllib2.HT
我要登录这个网站:https://www.fitbit.com/login这是我使用的代码:importurllib2importurllibimportcookieliblogin_url='https://www.fitbit.com/login'acc_pwd={'login':'LogIn','email':'username','password':'pwd'}cj=cookielib.CookieJar()##addcookiesopener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))opener.addhea
我有一个urllib2opener，并希望将它用于带有一些数据的POST请求。我希望收到我要发布到的页面的内容，以及返回的页面的URL(我认为这只是一个30x代码；所以按照这些行的东西会很棒!)。将此视为代码:anOpener=urllib2.build_opener(???,???)anOpener.addheaders=[(???,???),(???,???),...,(???,???)]#dosomeotherstuffwiththeopenerdata=urllib.urlencode(dictionaryWithPostValues)pageContent=anOpener.
我想用python点击一个按钮，表单的信息由网页自动填充。向按钮发送请求的HTML代码是:INPUTtype="submit"value="PlaceaBid">我该怎么做呢？是否可以仅使用urllib或urllib2单击按钮？还是我需要使用Mechanize或斜纹布之类的东西？ 最佳答案 使用表单目标并将任何输入作为发布数据发送，如下所示:..................python:#parsethepageHTMLwiththeformtogettheformtargetandanyinputnamesandvalues.
我正在使用Python3.2。我可以像2.x版本一样导入“urllib”库。但是我找不到urlopen、urlretrieve等方法。是什么原因导致的？如何在v3.2上检索网页？我尝试导入urllib2和urllib3库。但是我的机器说它找不到那些不可导入的模块。为什么v3.2不支持这两个最新的库？ 最佳答案 你应该使用urllib.request。示例here. 关于Python3.2问题，我们在StackOverflow上找到一个类似的问题： https:
