互联网的大数据时代的来临，网络爬虫也成了互联网中一个重要行业，它是一种自动获取网页数据信息的爬虫程序，是网站搜索引擎的重要组成部分。通过爬虫，可以获取自己想要的相关数据信息，让爬虫协助自己的工作，进而降低成本，提高业务成功率和提高业务效率。本文一方面从爬虫与反反爬的角度来说明如何高效的对网络上的公开数据进行爬取，另一方面也会介绍反爬虫的技术手段，为防止外部爬虫大批量的采集数据的过程对服务器造成超负载方面提供些许建议。爬虫指的是按照一定规则自动抓取万维网信息的程序，本次主要会从爬虫的技术原理与实现，反爬虫与反反爬虫两个方面进行简单的介绍，介绍的案例均只是用于安全研究和学习，并不会进行大量爬虫或者
开发技术前端：vue.js、echarts、websocket后端API:springboot+mybatis-plus数据库：mysql数据分析：Spark机器学习：PyTroch（基于神经网络的混合CF推荐算法）、协同过滤算法(基于用户、基于物品全部实现)、lstm评论情感分析第三方平台：支付宝沙箱支付、百度AI图片识别、短信接口数据集：Scrapy爬虫框架(Python)创新点Spark大屏、爬虫、协同过滤推荐算法、PyTroch神经网络推荐算法、AI识别、短信、支付宝沙箱支付、lstm评论情感分析运行截图8.png12.png
做测试七年多，有不少人问过我下面问题：现在的手工测试真的不行了吗？测试工程师，三年多快四年的经验，入门自动化测试需要多久？自学自动化测试到底需要学哪些东西？不得不说，随着行业的竞争加剧，互联网产品迭代速度越来越快，QA与测试工程师都需要在越来越短的测试周期内充分保证质量。可是，App测试面临着很多挑战，比如多端发布、多版本发布、多机型发布等等，导致了手工测试很难完全胜任。因此，自动化测试、持续测试就成为了每个开发团队的必要需求。而现实是，很多团队在实施自动化测试的过程中，并未取得良好的质量效果，这主要是因为学习自动化测试有两大难点：1.自动化测试本身拥有一定的技术门槛；2.最大的难点是需要大量
完全使用vscode开发python作为Python开发，以前一直使用Pycharm社区版，因为卡顿，尝试使用vscode替换，尝试后并在工作中使用了半个月觉得真香，所以分享给大家。更详细的视频介绍请看:Bilibili解决痛点先说说我的情况，有相同的情况的话可以考虑转战vscode卡顿，由于使用微服务架构，开发时需要在本地启动多个项目，全部使用Pycharm启动项目卡到怀疑人生全栈开发时，Pycharm社区版对前端代码欠佳（可能因为WebStorm收费，故意弱化了前端支持）Pycharm社区版不支持Jupyternotebook（社区版只能查看，编辑需要专业版）SSH远程连接服务器，Dock
推荐：北平旧少年朗读：HellenJinBGM：Daybreak作者：WadsworthLongfellow LostandGain失与得WhenIcompareWhatIhavelostwithwhatIhavegained,WhatIhavemissedwithwhatattained,LittleroomdoIfindforpride.IamawareHowmanydayshavebeenidlyspent;likeanarrowthegoodindentHasfallenshortorbeenturnedaside.ButwhoshalldareTomeasurelossan
一、下载Miniconda到服务器上下载方法：1.百度搜索miniconda,点击进入image.png2.查看服务器是多少位的：输入命令uname-aimage.png3.点击下载最新版Linux版minicondaimage.png4.建立biosoft文件目录，利用cd进入cd~/biosoft5.用wget下载wget加已查询到的下载链接：wgetthttps://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py39_4.9.2-Linux-x86_64.shPS:sh是脚本（就是一个程序，后台的代码）文件的后缀
知道这个工具还是在一篇文章中提到内网环境上传木马时可以通过这个工具，稳稳当当。工具介绍certutil是windows下一款下载文件的工具，自从WindowsServer2003就自带，但是在Server2003使用会有问题，也就是说，以下命令是在Win7及其以后的机器中使用。其功能可校验文件MD5，SHA1，SHA256，下载恶意文件和免杀。图片.png功能使用看图就懂，base64的编码解码（十六进制也行，未演示），校验文件的哈希值。图片.png重点学习下载功能首先先在服务器上新建两个测试文件，然后使用python起一个http服务：图片.png使用命令：certutil.exe-urlc
从本质上讲，敏捷开发的一个重要目标是建立持续价值交付的能力。这种能力最终必须服务于业务的创新，促进业务的成功。一、敏捷开发业务目标我们经常会说敏捷模式，那什么开发模式是不敏捷呢？对，我们通常说“瀑布”是不敏捷的。瀑布模式瀑布开发模式把开发分成一系列阶段，如需求、设计、开发、测试，就像上图它画出来的，看起来很像瀑布，所以叫瀑布开发。问题是需求的交付难道不都是要经历这些阶段吗？瀑布开发的本质问题并不是阶段，而是批量。需求批量地在一起进行设计，然后是批量地开发，批量地测试、交付等等。批量有什么问题?首先，批量让价值交付延迟，所有需求在最后的阶段才能交付，价值交付比较晚。摩尔定律VS反摩尔定律价值交付
B站上有很多博主拍过iPad作为生产力的视频，比如用iPad画漫画、记笔记、剪视频、轻办公等等，那么iPad可以用来写代码、跑Python吗？这也是一些初学Python的小伙伴关心的问题，他们经常下载一些编辑Python的APP，试图在上面练习Python，比如像pythonista、Pyto、Python3IDE等。我的想法是iPad并不适合写代码，更不适合运行Python，因为它既有环境很多限制，也不方便编辑。如知乎回答调侃说：iPad唯一一个有利于学习python的功能就是关机.....但如果你非要用的话，可以考虑iPad+Jupyter的组合，再配置一个外置键盘，当做笔记应用。说到Ju
今天来给大家介绍三个我在学习Python路上帮助比较大的堪称神级的网站，尤其是对于刚刚入门的同学来说，绝对不容错过~pythontutor这个网站对于新手同学理解代码的运行逻辑简直是太好用了首先进入网站我们看到的就是如下这个页面067e4d75738a7e1b0aa9057df163556b.png左边是一段Python代码，右边则是对应的运行逻辑、变量值等信息，我们点击下方的Prev和Next按钮，就会产生联动的效果dd2043f2c3f5241d998f6180205f61b1.jpg是不是很清晰呢，代码运行到哪里、变量是多少都展示的一清二楚，这对于初学者来说，可以省去很多弯路，也能够加深
