目录一、安装Scrapy二、Scrapy项目生成三、爬取某个网站（以下我用之前的创建的项目，不是刚刚新创的）一、安装Scrapy1，window安装pipinstallScrapy2，安装seleniumpipinstallselenium3，下载Chrome驱动 a，查看GoogleChrome浏览器版本 Chrome驱动下载地址http://chromedriver.storage.googleapis.com/index.html b，找到和你版本最接近的哪个安装包 c，下载好之后将我们的chromedriver放到和我们py
1、在命令提示符环境使用pipinstallscrapy命令安装Python扩展库scrapy，详见Python使用Scrapy爬虫框架爬取天涯社区小说“大宗师”全文2、使用下图中的命令创建爬虫项目3、进入爬虫项目文件夹，执行下面的命令创建爬虫现在，爬虫项目的文件夹结构如下图所示4、使用浏览器打开网址http://www.weather.com.cn/shandong/index.shtml，然后下拉，找到“城市预报列表”5、在页面上单击鼠标右键，选择“查看网页源代码”，然后找到与“城市预报列表”对应的位置6、选择并打开山东省内任意城市的天气预报页面，此处以烟台为例7、在页面上单击鼠标右键，选
1、在命令提示符环境使用pipinstallscrapy命令安装Python扩展库scrapy，详见Python使用Scrapy爬虫框架爬取天涯社区小说“大宗师”全文2、使用下图中的命令创建爬虫项目3、进入爬虫项目文件夹，执行下面的命令创建爬虫现在，爬虫项目的文件夹结构如下图所示4、使用浏览器打开网址http://www.weather.com.cn/shandong/index.shtml，然后下拉，找到“城市预报列表”5、在页面上单击鼠标右键，选择“查看网页源代码”，然后找到与“城市预报列表”对应的位置6、选择并打开山东省内任意城市的天气预报页面，此处以烟台为例7、在页面上单击鼠标右键，选
文章参考千锋教育大佬的课程：https://www.bilibili.com/video/BV1QY411F7Vt?p=1&vd_source=5f425e0074a7f92921f53ab87712357b，多谢大佬的课程一、用Selenium操作谷歌浏览器，登录TB账号获取Cookie 因为TB网的搜索功能需要登录之后才能使用，所以我们要通过程序去控制浏览器实现登录功能，然后再获取登录之后的Cookie. 首先创建一个Chrome浏览器对象，用这个对象去操控谷歌浏览器：importjsonfromseleniumimportwebdriverdefcreate_chrome_drive
文章参考千锋教育大佬的课程：https://www.bilibili.com/video/BV1QY411F7Vt?p=1&vd_source=5f425e0074a7f92921f53ab87712357b，多谢大佬的课程一、用Selenium操作谷歌浏览器，登录TB账号获取Cookie 因为TB网的搜索功能需要登录之后才能使用，所以我们要通过程序去控制浏览器实现登录功能，然后再获取登录之后的Cookie. 首先创建一个Chrome浏览器对象，用这个对象去操控谷歌浏览器：importjsonfromseleniumimportwebdriverdefcreate_chrome_drive
CrawlSpider类是什么？是Spider的一个子类区别：Spider是获取到URL进行手动发送请求：yieldscrapy.Request(url=new_url,callback=self.parse)是通过提取器类：LinkExtractor，提前到页面所有符合条件的URL，然后用Rule类对符合条件的URL自动发送请求创建CrawlSpider爬虫的命令：scrapygenspider-tcrawlxxx（爬虫名称）www.xxxx.com（爬取的URL）基于CrawlSpider创建的爬虫类，代码示例：importscrapyfromscrapy.linkextractorsim
CrawlSpider类是什么？是Spider的一个子类区别：Spider是获取到URL进行手动发送请求：yieldscrapy.Request(url=new_url,callback=self.parse)是通过提取器类：LinkExtractor，提前到页面所有符合条件的URL，然后用Rule类对符合条件的URL自动发送请求创建CrawlSpider爬虫的命令：scrapygenspider-tcrawlxxx（爬虫名称）www.xxxx.com（爬取的URL）基于CrawlSpider创建的爬虫类，代码示例：importscrapyfromscrapy.linkextractorsim
一、什么是scrapy？ Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试. 其最初是为了页面抓取(更确切来说,网络抓取)所设计的，后台也应用在获取API所返回的数据(例如AmazonAssociatesWebServices)或者通用的网络爬虫. Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持. 二、Scrapy五大
一、什么是scrapy？ Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试. 其最初是为了页面抓取(更确切来说,网络抓取)所设计的，后台也应用在获取API所返回的数据(例如AmazonAssociatesWebServices)或者通用的网络爬虫. Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持. 二、Scrapy五大
开发技术前端：vue.js、echarts、websocket后端API:springboot+mybatis-plus数据库：mysql数据分析：Spark机器学习：PyTroch（基于神经网络的混合CF推荐算法）、协同过滤算法(基于用户、基于物品全部实现)、lstm评论情感分析第三方平台：支付宝沙箱支付、百度AI图片识别、短信接口数据集：Scrapy爬虫框架(Python)创新点Spark大屏、爬虫、协同过滤推荐算法、PyTroch神经网络推荐算法、AI识别、短信、支付宝沙箱支付、lstm评论情感分析运行截图8.png12.png
