草庐IT

【Selenium】Selenium绕过检测 & 隐藏特征

是小菜欸 2023-04-18 原文

前言

一文给你介绍的清清楚楚, 伪装Selenium特征的N种方式✨✨

在使用 Selenium 访问某些网站时候,会不成功。像很多url中带gov 字眼的,往往都无法正常打开。

因为网站检测到了 我们使用自动化工具,所以就给ban掉了,所以这篇文章就来说说怎么过掉它。

值得一提的是,这篇文章不针对任何一个网站,只用下面的这个网站来做参照~

访问这个网站时候,可以看到它会检测很多项浏览器的信息。明显可以看到 正常浏览器 和 Selenium打开浏览器是有区别的~

输入 window.navigator.webdriver 时候,正常浏览器是 false,Selenium打开的是true

下面去看看怎么绕过检测 & 隐藏特征。


三种方式

这里主要介绍三大类隐藏 Selenium 特征的方式,分别是以下:

  1. 注入JS代码
  2. 中间人修改文件
  3. 接管已打开浏览器

1. 注入JS代码

注入JS代码 的大类中,分了三个方式来讲,大体上差别不是很大

1.1 执行cdp

hide_features.py

# -*- coding: utf-8 -*-
# Name:         hide_features.py
# Author:       小菜
# Date:         2022/8/29 2:43
# Description:

from selenium import webdriver


driver = webdriver.Chrome()

# 代码的关键所在
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    "source": """
    Object.defineProperty(navigator, 'webdriver', {
      get: () => false
    })
  """
})


driver.get('https://bot.sannysoft.com/')

代码释义:

  • driver.execute_cdp_cmd :执行 Chrome Devtools Protocol 命令
  • Page.addScriptToEvaluateOnNewDocument:在浏览器启动之前执行给定的JS脚本
  • Object.defineProperty:JS语法,直接在一个对象上定义一个新属性,或者修改一个对象的现有属性,并返回此对象(代码中是将 navigator.webdriver 设置为 undefined

CDP文档https://chromedevtools.github.io/devtools-protocol/tot/Page/

代码运行效果如下:

  • 明明 window.navigator.webdriver 输出已经是 false 了,为啥还是不通过?

看下图,差别在这里

  • 注:有部分网站不会检测的这么深,在这一步其实就可以绕过检测了

继续讲如何更深入的绕过检测~


1.2 执行cdp_2

这里分两步走,需要先获取 隐藏特征的JS文件,然后再将JS代码注入到Selenium中

1.2.1 获取隐藏特征文件

隐藏特征文件的官方文档:https://github.com/berstend/puppeteer-extra

如果没有科学的话,生成一份还是比较耗时间的,所以我也准备了一份,点击即可下载
https://download.csdn.net/download/weixin_45081575/86502704

隐藏特征文件的简介和获取如下图所示:

  • 可以将最新的隐身规避从 puppeteer-extra-stealth 提取到一个js文件中。生成的JS文件可以用于纯CDP实现,也可以用于测试devtools中的规避。
  • 只要安装了NodeJS,就可以一行代码即可拿下~
  • 将在当前文件夹中创建一个 stealth.min.js 文件。


在cmd窗口输入 npx extract-stealth-evasions,稍后便可以看到生成的 stealth.min.js 文件了。

# -*- coding: utf-8 -*-
# Name:         hide_features.py
# Author:       小菜
# Date:         2022/8/29 122:43
# Description:

from selenium import webdriver

driver = webdriver.Chrome()

with open('stealth.min.js', mode='r') as f:
    js = f.read()


# 关键代码
driver.execute_cdp_cmd(
    cmd_args={'source': js},
    cmd="Page.addScriptToEvaluateOnNewDocument",
)

driver.get('https://bot.sannysoft.com/')

代码运行如下图所示:

  • 现在,正常的浏览器和Selenium浏览器都一样了,都可以通过检测~
  • 虽然一个是 false 一个是undefined(但并不影响~


后续再访问任何网页都能成功隐藏Selenium 的特征了,但是只能在当前页面去操作~

值得注意的是:如果新开一个网页再去访问,那就没法隐藏特征了,看下图

  • 所以这个方法也是不够完美的~


1.3 添加 ChromeOptions & 修改默认参数

这个不算是注入JS的内容,是修改默认参数的,只是并到了一块儿;
到第三种方法了,这个只需要添加一个参数即可~

这个方法的出处在这里:https://stackoverflow.com/questions/53039551/selenium-webdriver-modifying-navigator-webdriver-flag-to-prevent-selenium-detec

代码

# -*- coding: utf-8 -*-
# Name:         hide_features.py
# Author:       小菜
# Date:         2022/8/29 22:43
# Description:

from selenium import webdriver

options = webdriver.ChromeOptions()
options.add_argument("disable-blink-features=AutomationControlled")
driver = webdriver.Chrome(options=options)


driver.get('https://bot.sannysoft.com/')

代码释义:

  • disable-blink-features=AutomationControlled:禁用 blink 特征

百度百科:Blink – https://baike.baidu.com/item/blink引擎/871884

代码运行效果如下:

  • 通过检测,且新开的窗口也同样可以通过检测

新开一个窗口

可见,这个操作是相对完美了。
因为没有做过详尽的测试,所以我无法保证这个方法是否能100%适用~
如果网站检测的信息有很多,甚至检测 经纬度、ip代理等。那可能就会失效!


2:中间人抓包修改文件

一个思路,不属于是好方法的思路

这个方法就介绍一下思路吧,
在可以找到网站检测代码的前提下,去替换检测代码的文件。
可以使用抓包工具,如 Charles、fiddler、mitmproxy等去监听检测文件,然后替换它
也可以使用 Chrome浏览器 -> 开发者工具 -> Sources -> Overrides 去做替换
替换的方法有很多,

但我觉得这不是一个好方法,只是也是一种方法。


3. 接管已打开浏览器

这个网站没法检测出来,完美如斯。正常的浏览器是咋样的,这个就是咋样的

接管已经打开的浏览器(强烈推荐

如何接管已经打开的浏览器,参考这两篇文章,这里不再赘述

标题链接
【Selenium】控制当前已经打开的 chrome浏览器窗口https://blog.csdn.net/weixin_45081575/article/details/112621581
【Selenium】控制当前已经打开的 chrome浏览器窗口(高级篇)https://blog.csdn.net/weixin_45081575/article/details/126389273

代码

# -*- coding: utf-8 -*-
# Name:         hide_features.py
# Author:       小菜
# Date:         2022/8/29 22:43
# Description:

import os
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

if __name__ == '__main__':
    os.system(r'start chrome --remote-debugging-port=9527 --user-data-dir="F:\selenium"')
    options = Options()
    options.add_experimental_option("debuggerAddress", "127.0.0.1:9527")
    driver = webdriver.Chrome(options=options)
    driver.get('https://bot.sannysoft.com/')

代码运行如下:

  • 无论打开多少个窗口,都是可以通过检测的


总结

上面介绍了三大类隐藏 Selenium 特征的方式,但是最好用是 第三种,即

  • 接管已经打开的浏览器端口,不用担心被网站所检测到,因为它就是你正常使用的浏览器

使用起来也很简单,调用cmd命令去打开浏览器然后再使用 Selenium 去接管即可。

后话

自己动手,试验一番,岂不美哉~
see you🐱‍🏍🐱‍🏍

有关【Selenium】Selenium绕过检测 & 隐藏特征的更多相关文章

  1. ruby-on-rails - rails : "missing partial" when calling 'render' in RSpec test - 2

    我正在尝试测试是否存在表单。我是Rails新手。我的new.html.erb_spec.rb文件的内容是:require'spec_helper'describe"messages/new.html.erb"doit"shouldrendertheform"dorender'/messages/new.html.erb'reponse.shouldhave_form_putting_to(@message)with_submit_buttonendendView本身,new.html.erb,有代码:当我运行rspec时,它失败了:1)messages/new.html.erbshou

  2. ruby-on-rails - 由于 "wkhtmltopdf",PDFKIT 显然无法正常工作 - 2

    我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中,我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-

  3. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗?当我运行compasswatch时,它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行?文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们?我自己编译的.sass文件编译成compiled/t

  4. ruby-on-rails - 如何从 format.xml 中删除 <hash></hash> - 2

    我有一个对象has_many应呈现为xml的子对象。这不是问题。我的问题是我创建了一个Hash包含此数据,就像解析器需要它一样。但是rails自动将整个文件包含在.........我需要摆脱type="array"和我该如何处理?我没有在文档中找到任何内容。 最佳答案 我遇到了同样的问题;这是我的XML:我在用这个:entries.to_xml将散列数据转换为XML,但这会将条目的数据包装到中所以我修改了:entries.to_xml(root:"Contacts")但这仍然将转换后的XML包装在“联系人”中,将我的XML代码修改为

  5. ruby - 检查 "command"的输出应该包含 NilClass 的意外崩溃 - 2

    为了将Cucumber用于命令行脚本,我按照提供的说明安装了arubagem。它在我的Gemfile中,我可以验证是否安装了正确的版本并且我已经包含了require'aruba/cucumber'在'features/env.rb'中为了确保它能正常工作,我写了以下场景:@announceScenario:Testingcucumber/arubaGivenablankslateThentheoutputfrom"ls-la"shouldcontain"drw"假设事情应该失败。它确实失败了,但失败的原因是错误的:@announceScenario:Testingcucumber/ar

  6. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

    我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他,以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时,出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

  7. ruby-on-rails - 如何优雅地重启 thin + nginx? - 2

    我的瘦服务器配置了nginx,我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例,但找不到好的解决方案。有没有人能做到这一点? 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器,例如server{listen80;server

  8. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案? - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  9. ruby - 主要 :Object when running build from sublime 的未定义方法 `require_relative' - 2

    我已经从我的命令行中获得了一切,所以我可以运行rubymyfile并且它可以正常工作。但是当我尝试从sublime中运行它时,我得到了undefinedmethod`require_relative'formain:Object有人知道我的sublime设置中缺少什么吗?我正在使用OSX并安装了rvm。 最佳答案 或者,您可以只使用“require”,它应该可以正常工作。我认为“require_relative”仅适用于ruby​​1.9+ 关于ruby-主要:Objectwhenrun

  10. ruby - 无法让 RSpec 工作—— 'require' : cannot load such file - 2

    我花了三天的时间用头撞墙,试图弄清楚为什么简单的“rake”不能通过我的规范文件。如果您遇到这种情况:任何文件夹路径中都不要有空格!。严重地。事实上,从现在开始,您命名的任何内容都没有空格。这是我的控制台输出:(在/Users/*****/Desktop/LearningRuby/learn_ruby)$rake/Users/*******/Desktop/LearningRuby/learn_ruby/00_hello/hello_spec.rb:116:in`require':cannotloadsuchfile--hello(LoadError) 最佳

随机推荐