草庐IT

网络图片爬虫(几个简单步骤实现网页图片的爬取，详细步骤，超详细，简单易懂)

只会偷懒 2023-04-10 原文

文章目录


网络图片爬取

前提准备

安装好开发库：Beautifulsoup4和requests，这两个库主要用于python爬虫，简单安装过程点这里开发库安装

主要分为以下几个部分：

1. 分析网页，查看索要爬取网页的源代码(按F12或者CTRL+SHIFT+C)，选中你想要爬取的图片中的任意一个，下面以

爱奇艺的首页为例，注意下图：

可以看到图片标签，标识属性class，图片的url属性src（这三个接下来会用到）

2. 读取网页的内容

代码如下：

#导入两个开发库
import urllib.request 
from bs4 import BeautifulSoup
#定义图像的url地址（就是你想要爬取的网址）
domain = 'https://www.iqiyi.com/'
#在大多数网站都会有反爬取机制，所以我们这里以修改UserAgent的方式来模拟浏览器的形式来骗过该机制
req = urllib.request.Request(domain)
req.add_header('Host','www.iqiyi.com')
req.add_header('Referer','https://www.iqiyi.com/')
req.add_header('User-Agent','fake-client')
#接下来通过urllib.request的urlopen()函数来打开网页并发出请求，获得数据，再通过read()函数读取获得的数据，代码如下：
html = urllib.request.urlopen(req)
info = html.read()
print('打印info','\n',info)#将结果打印出来，验证是否成功

在此运行一下，效果如图：

能够获取到数据，基本上上边几步就算成功了

3. 获取图片的数据

在第二步我们获取到了网页内的数据，那么我们就可以从获取的网页数据中筛选出我们想要的图片数据

soup = BeautifulSoup(info,'html.parser')
#这里使用开发库BeautifulSoup4的一个类BeautifulSoup，来实例化我们的对象info，
#让其相当于一个页面，使其HTML页面结构成为BeautifulSoup的属性，
#函数的第二个参数是指定使用HTML解释器
all_img = soup.find_all('img',class_ = 'i71-img')#通过find_all()函数进行筛选，筛选条件是img标签并且表示属性class为i71-img
print("打印all_img",all_img)#打印输出筛选出的图片信息

4.下载图片

这里我们获取到了图片的信息，其中src属性里是图片的url地址，我们通过这个地址就可以下载图片了，下载代码如下：

#使用for循环遍历all_img来定义下载后图片的名称，再使用urllib.request.urlretrieve()函数来下载图片
i=0
for img in all_img:
    i=i+1
    image_name = '%s.jpg' % i
    #设置图片的保存位置，记得提前创建好文件夹，有能力的可以通过python来自动创建
    urllib.request.urlretrieve('https:'+img['src'],'D:\\12345\\'+image_name)
    print('第%s张下载完成' %i,image_name)
print('下载完成')

运行结果如下

最后查看一下你保存图片的文件夹，就可以看到爬取到的所有图片了

爬虫易懂quotspanlt

有关网络图片爬虫(几个简单步骤实现网页图片的爬取，详细步骤，超详细，简单易懂)的更多相关文章

  1. ruby - 如何根据特征实现 FactoryGirl 的条件行为 - 2

    我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征，我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现，但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden

  2. ruby - 简单获取法拉第超时 - 2

    有没有办法在这个简单的get方法中添加超时选项？我正在使用法拉第3.3。Faraday.get(url)四处寻找，我只能先发起连接后应用超时选项，然后应用超时选项。或者有什么简单的方法？这就是我现在正在做的:conn=Faraday.newresponse=conn.getdo|req|req.urlurlreq.options.timeout=2#2secondsend 最佳答案 试试这个:conn=Faraday.newdo|conn|conn.options.timeout=20endresponse=conn.get(url

  3. ruby-on-rails - Ruby on Rails - 为文本区域和图片生成列 - 2

    我是Rails的新手，所以请原谅简单的问题。我正在为一家公司创建一个网站。那家公司想在网站上展示它的客户。我想让客户自己管理这个。我正在为“客户”生成一个表格，我想要的三列是:公司名称、公司描述和Logo。对于名称，我使用的是name:string但不确定如何在脚本/生成脚手架终端命令中最好地创建描述列(因为我打算将其设置为文本区域)和图片。我怀疑描述(我想成为一个文本区域)应该仍然是描述:字符串，然后以实际形式进行调整。不确定如何处理图片字段。那么……说来话长:我在脚手架命令中输入什么来生成描述和图片列？ 最佳答案 对于“文本”数

  4. ruby - 用 Ruby 编写一个简单的网络服务器 - 2

    我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不，不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本，提供另一个脚本，它将在其标准输入上获取请求，并在其标准输出上返回完整的响应。到目前为止一切顺利，但事实证明这真的很脆弱，因为它在第二个请求上中断并出现错误:/usr/b

  5. ruby-on-rails - 简单的 Ruby on Rails 问题——如何将评论附加到用户和文章？ - 2

    我意识到这可能是一个非常基本的问题，但我现在已经花了几天时间回过头来解决这个问题，但出于某种原因，Google就是没有帮助我。(我认为部分问题在于我是一个初学者，我不知道该问什么......)我也看过O'Reilly的RubyCookbook和RailsAPI，但我仍然停留在这个问题上.我找到了一些关于多态关系的信息，但它似乎不是我需要的(尽管如果我错了请告诉我)。我正在尝试调整MichaelHartl'stutorial创建一个包含用户、文章和评论的博客应用程序(不使用脚手架)。我希望评论既属于用户又属于文章。我的主要问题是:我不知道如何将当前文章的ID放入评论Controller。

  6. ruby - 使用 Ruby 通过 Outlook 发送消息的最简单方法是什么？ - 2

    我的工作要求我为某些测试自动生成电子邮件。我一直在四处寻找，但未能找到可以快速实现的合理解决方案。它需要在outlook而不是其他邮件服务器中，因为我们有一些奇怪的身份验证规则，我们需要保存草稿而不是仅仅发送邮件的选项。显然win32ole可以做到这一点，但我找不到任何相当简单的例子。 最佳答案 假设存储了Outlook凭据并且您设置为自动登录到Outlook，WIN32OLE可以很好地完成此操作:require'win32ole'outlook=WIN32OLE.new('Outlook.Application')message=

  7. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

    华为OD机试题本篇题目：明明的随机数题目输入描述输出描述：示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od，od薪资待遇，od机试题清单华为OD机试真题大全，用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

  8. 基于C#实现简易绘图工具【100010177】 - 2

    C#实现简易绘图工具一.引言实验目的:通过制作窗体应用程序(C#画图软件),熟悉基本的窗体设计过程以及控件设计,事件处理等,熟悉使用C#的winform窗体进行绘图的基本步骤,对于面向对象编程有更加深刻的体会.Tutorial任务设计一个具有基本功能的画图软件**·包括简单的新建文件,保存,重新绘图等功能**·实现一些基本图形的绘制,包括铅笔和基本形状等,学习橡皮工具的创建**·设计一个合理舒适的UI界面**注明:你可能需要先了解一些关于winform窗体应用程序绘图的基本知识,以及关于GDI+类和结构的知识二.实验环境Windows系统下的visualstudio2017C#窗体应用程序三.

  9. 网络编程套接字 - 2

    网络编程套接字网络编程基础知识理解源`IP`地址和目的`IP`地址理解源MAC地址和目的MAC地址认识端口号理解端口号和进程ID理解源端口号和目的端口号认识`TCP`协议认识`UDP`协议网络字节序socket编程接口`sockaddr``UDP`网络程序服务器端代码逻辑：需要用到的接口服务器端代码`udp`客户端代码逻辑`udp`客户端代码`TCP`网络程序服务器代码逻辑多个版本服务器单进程版本多进程版本多线程版本线程池版本服务器端代码客户端代码逻辑客户端代码TCP协议通讯流程TCP协议的客户端/服务器程序流程三次握手（建立连接）数据传输四次挥手（断开连接）TCP和UDP对比网络编程基础知识

  10. postman——集合——执行集合——测试脚本——pm对象简单示例02 - 2

    //1.验证返回状态码是否是200pm.test("Statuscodeis200",function(){pm.response.to.have.status(200);});//2.验证返回body内是否含有某个值pm.test("Bodymatchesstring",function(){pm.expect(pm.response.text()).to.include("string_you_want_to_search");});//3.验证某个返回值是否是100pm.test("Yourtestname",function(){varjsonData=pm.response.json

随机推荐