爬取大学排名

有些网页源码中找不到相应的要爬的数据，其实这不是什么被反扒了，只是网页有可能是动态加载出来，这时候我们可以找到相应的数据接口，找到真正的目标url一样能找到包含我们想要的数据的真正url，就像我今天要讲的这个案例。

右键查看网页源码，我们会发现数据虽然存在于网页源码中，但是，我们点一下翻页功能，再观察
第一页

第二页

我们会发现，无论我们怎么翻页，url 都是不变的，这个时候，我们应该考虑网页是不是动态加载出来的。在 “开发者工具”->“网络” 中找看看有没有相应的数据接口，一找果然是

发现数据是保存在一个js格式的文件中的，下面才是它真正url

如果用传统的方法去爬，就会经历一个较为繁琐的数据解析过程。所以这时候，selenium的好处就体现出来了，直接获取页面元素，虽然有点慢，但是我们不用再经历繁琐的解析过程。

页面分析

直接查看页面元素

发现每个大学的数据信息都是保存在一个 tr 标签中的，再分析就会发现，每个大学的详细信息分别保存在一个 td 标签中

需求

（一）获取大学排名、名称、类型、地点等信息
（二）以csv文件格式保存文件
（三）以面向对象的形式实现

实现代码

只需要用到两个包，selenium.webdriver和csv模块。详细的实现步骤我都在代码中做了注释，就不再多做说明了
要强调的是翻页的处理，分别分析一下最后一页和其他页下的“下一页”按钮有什么区别

我们会发现，在没到达最后一页时，下一页标签中没有 aria-disabled="true"这个值，到了最后一页才出现的，也就说明，当我们到达最后一页后，下一页按钮就不能再点了，所以找到了这个翻页就相当简单了，话不多说，上代码

# 心机小兔的python之路
from selenium import webdriver		# 导入selenium，用于实现网页的爬取
import csv							# 导入csv模块，用于保存文件

class Univercity(object):			# 定义一个类方法
    def __init__(self):				# 重写__init__
        self.driver = webdriver.Chrome()	# 加载谷歌驱动
        self.driver.maximize_window()		# 浏览器窗口最大化处理
        # 定义csv文件的列名
        self.header = ['Rank','Cn','En','Rate','Location','Type']
        # 用于接收爬取到的数据
        self.data = []
        # 后期代码基本实现后，把浏览器设置成无头模式，也就是不打开浏览器
        options = webdriver.ChromeOptions()     # 创建chrome的设置对象
        options.add_argument('--headless')      # 设置成无界面，也就是不打开浏览器
        self.driver = webdriver.Chrome(options=options)

	# 解析网页页面函数
    def parse_html(self,url):
        self.driver.get(url)					# 从类的入口函数接收目标url，也就是下面的self.main()函数
        self.driver.implicitly_wait(1)			# 隐式等待

        while True:								# 当未到达最后一页，一直执行
        	# 先获取每一页的所有tr标签
            tr_list = self.driver.find_elements_by_xpath('.//*[@id="content-box"]/div[2]/table/tbody/tr')
            # 从每一个 tr 标签中分别获取到详细信息
            for tr in tr_list:
                items = {}		# 定义一个空字典，存储每一个大学的详细信息
                # 通过xpath方式获取大学排名 .//表示在当前的xpath路径下寻找
                items['Rank'] = tr.find_element_by_xpath('.//td/div').text
                # 通过寻找属性名的方式，获取大学的中文名
                items['Cn'] = tr.find_element_by_class_name('name-cn').text
                # 通过寻找属性名的方式，获取大学的英文名
                items['En'] = tr.find_element_by_class_name('name-en').text
                # 这里获取大学是否为985/211的时候，就得做一些异常处理，因为到后面很多高校是非985/211的，就是说标签里面是空的，如果为空，将其定义为空字符
                try:
                    items['Rate'] = tr.find_element_by_class_name('tags').text
                except:
                    items['Rate'] = ""
                # 通过xpath获取大学的地点
                items['Location'] = tr.find_element_by_xpath('.//td[3]').text
                # 通过xpath获取大学的类型，综合、理工、师范等
                items['Type'] = tr.find_element_by_xpath('.//td[4]').text

                # 将一个大学的数据添加到列表中
                self.data.append(items)
			# 翻页处理，page_source.find()返回的是一个布尔值，如果在每一页中没找到标签属性为 nt-pagination-disabled ant-pagination-next 的元素则会返回 -1，到了最后一页的时候则为真，跳出循环
            if self.driver.page_source.find('ant-pagination-disabled ant-pagination-next') == -1:
                self.driver.find_element_by_class_name('ant-pagination-next').click()
                self.driver.implicitly_wait(2)
            else:
                break

	# 数据保存操作
    def save_data(self,header,data):
        with open('test.csv', 'a', newline='', encoding='utf-8') as f:
            writer = csv.DictWriter(f, fieldnames=header)  # 提前预览列名，当下面代码写入数据时，会将其一一对应。
            writer.writeheader()  	# 写入列名
            writer.writerows(data)	# 一列一列写入数据

	# 函数入口
    def main(self):
        url = 'https://www.shanghairanking.cn/rankings/bcur/202111'
        self.parse_html(url)		# 调用解析函数
        self.save_data(self.header,self.data)		# 调用保存数据函数


if __name__ == '__main__':
    u = Univercity()		# 实例化一个对象
    u.main()				# 函数入口

实现效果

到这，这个案例就算结束了，是不是很简单？