草庐IT

python - python urllib2 会自动解压缩从网页获取的 gzip 数据吗?

我正在使用data=urllib2.urlopen(url).read()我想知道:如何判断URL中的数据是否经过gzip压缩?urllib2是否会自动解压缩gzip后的数据?数据会一直是字符串吗? 最佳答案 HowcanItellifthedataataURLisgzipped?这会检查内容是否被压缩并解压缩:fromStringIOimportStringIOimportgziprequest=urllib2.Request('http://example.com/')request.add_header('Accept-enc

python - 带有 urllib2 的代理

我打开网址:site=urllib2.urlopen('http://google.com')而我想做的是以同样的方式与代理连接我在某个地方告诉我:site=urllib2.urlopen('http://google.com',proxies={'http':'127.0.0.1'})但这也没有用。我知道urllib2有类似代理处理程序的东西,但我不记得那个功能了。 最佳答案 proxy=urllib2.ProxyHandler({'http':'127.0.0.1'})opener=urllib2.build_opener(pr

python - Python : urllib2, PycURL 或 Mechanize 哪个最好?

好的,所以我需要使用Python下载一些网页并快速调查我的选项。包含在Python中:urllib-在我看来,我应该改用urllib2。urllib不支持cookie,仅支持HTTP/FTP/本地文件(无SSL)urllib2-完整的HTTP/FTP客户端,支持cookies等最需要的东西,不支持所有的HTTP动词(只有GET和POST,没有TRACE等)功能齐全:mechanize-可以使用/保存Firefox/IEcookie,采取跟随第二个链接等操作,积极维护(2011年3月发布的0.2.5)PycURL-支持curl所做的一切(FTP、FTPS、HTTP、HTTPS、GOPHE

python - 需要为 Python 3.5.1 安装 urllib2

我正在为Mac运行Python3.5.1。我想使用urllib2模块。我尝试安装它,但我被告知它已被拆分为Python3的urllib.request和urllib.error。我的命令(暂时从框架bin目录运行,因为它不在我的路径中):sudo./pip3installurllib.request返回这个:Couldnotfindaversionthatsatisfiestherequirementurllib.request(fromversions:)Nomatchingdistributionfoundforurllib.request我之前尝试一举安装urllib2时遇到了同

Python:导入 urllib.quote

我想使用urllib.quote()。但是python(python3)没有找到该模块。假设,我有这行代码:print(urllib.quote("châteu",safe=''))如何导入urllib.quote?导入urllib或importurllib.quote都给AttributeError:'module'objecthasnoattribute'quote'让我困惑的是urllib.request可以通过importurllib.request访问 最佳答案 在Python3.x中,您需要导入urllib.parse.

python - 在 Python 中,如何使用 urllib 来查看一个网站是 404 还是 200?

如何通过urllib获取headers的代码? 最佳答案 getcode()方法(在python2.6中添加)返回随响应发送的HTTP状态代码,如果URL不是HTTPURL,则返回None。>>>a=urllib.urlopen('http://www.google.com/asdfsf')>>>a.getcode()404>>>a=urllib.urlopen('http://www.google.com/')>>>a.getcode()200 关于python-在Python中,如何

python - urllib2 和 json

谁能指出一个教程,向我展示如何使用urllib2进行POST请求,数据为JSON格式? 最佳答案 Messa的答案仅在服务器不费心检查内容类型header时才有效。如果您希望它真正起作用,您需要指定一个内容类型标题。这是Messa的答案修改为包含内容类型标题:importjsonimporturllib2data=json.dumps([1,2,3])req=urllib2.Request(url,data,{'Content-Type':'application/json'})f=urllib2.urlopen(req)respo

python - 通过urllib和python下载图片

所以我正在尝试制作一个Python脚本来下载网络漫画并将它们放在我桌面上的文件夹中。我在这里找到了一些类似的程序,它们做类似的事情,但与我需要的完全不同。我发现最相似的一个就在这里(http://bytes.com/topic/python/answers/850927-problem-using-urllib-download-images)。我尝试使用此代码:>>>importurllib>>>image=urllib.URLopener()>>>image.retrieve("http://www.gunnerkrigg.com//comics/00000001.jpg","00

Python urllib2 : Receive JSON response from url

我正在尝试使用Python获取URL,响应为JSON。但是,当我运行时importurllib2response=urllib2.urlopen('https://api.instagram.com/v1/tags/pizza/media/XXXXXX')html=response.read()printhtmlhtml是str类型,我期待的是JSON。有什么方法可以将响应捕获为JSON或python字典而不是str。 最佳答案 如果URL返回有效的JSON编码数据,请使用jsonlibrary解码:importurllib2imp

Python urllib2 : Receive JSON response from url

我正在尝试使用Python获取URL,响应为JSON。但是,当我运行时importurllib2response=urllib2.urlopen('https://api.instagram.com/v1/tags/pizza/media/XXXXXX')html=response.read()printhtmlhtml是str类型,我期待的是JSON。有什么方法可以将响应捕获为JSON或python字典而不是str。 最佳答案 如果URL返回有效的JSON编码数据,请使用jsonlibrary解码:importurllib2imp