草庐IT

荔枝网 or 广东网络广播电视台？sign逆向

嗷呜呜 2023-03-28 原文

写这篇文章也是因为踩坑浪费了不少时间，难度一星，坑爹五星，把这个网站拎出来给大家避个雷，来自工作中需要抓取的一个网站
https://www.gdtv.cn/search?key=珠江新闻眼

找请求

没啥好说的，这个接口：https://gdtv-api.gdtv.cn/api/search/v1/news

python模拟请求

老爬虫操作都是从浏览器控制台copy as url 到 postman 再生成 python-requests 代码

nm的诡异现象来了，postman发出的请求永远正常，复制代码发出的请求永远401

我的噩梦来了，先是拿出charles抓包看两次请求不一样的地方，再就是使用文本对比看两次curl不一样的地方，最后甚至手写原生的urllib请求，tm的都没找到原因，此时到这里我已经去解决headers里面加密的字段了，实在不行python调用shell脚本执行curl拿数据

在解决完x-itouchtv-ca-signature这玩意之后，我找到了401的原因，前面的signature是由request-body生成的，而json.dumps之后的body是加了空格美化的，当然和signature对不上了

还有一个地方是body需要encode才行，这里我没去细究原因了，各位看官可以给我留言

这里我必须吐槽下，我是吐槽postman还是这个网站的后端

signature逆向

定位加密位置以及后续打断点还是非常easy的，直接看图


搜索 & 断点

加密参数生成步骤

a 为 JSON.stringify(body)
p = (0, r.default)(a)
_ = l.default.stringify(p)
m = "".concat(t, "\n").concat(n, "\n").concat(d, "\n").concat(_)
signature = l.default.stringify((0, o.default)(m, "dfkcY1c3sfuw0Cii9DWjOUO3iQy2hqlDxyvDXd1oVMxwYAJSgeB6phO8eW1dfuwX"))
等价于，其中变量d为13位时间戳，a为body
 l.default.stringify(o.default(["POST", "https://gdtv-api.gdtv.cn/api/search/v1/news", d,  l.default.stringify(r.default(a))].join("\n"), "dfkcY1c3sfuw0Cii9DWjOUO3iQy2hqlDxyvDXd1oVMxwYAJSgeB6phO8eW1dfuwX"))
加密参数生成步骤

加密方法，到这里我们需要关注的也就是l.default.stringify、o.default、r.default三个方法
我们跟进去看一下l.default.stringify，这不就是个base64吗


l.default.stringify

o.default，hmac + hash，加盐的hash，挨个测试一下，是hmacsha256
r.default，hash，挨个测试一下，是md5


o.default & r.default

写个代码测试下，就几行，主要想让你们看下我背景图，哈哈哈
sign生成逻辑

获取数据

nice，可以拿到数据，下班回家


收工

怎么才50啊，再呆10min混个25餐补吧，哈哈哈

网络广播电视台sectiondefaultimages

有关荔枝网 or 广东网络广播电视台？sign逆向的更多相关文章

  1. ruby - 用 Ruby 编写一个简单的网络服务器 - 2

    我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不，不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本，提供另一个脚本，它将在其标准输入上获取请求，并在其标准输出上返回完整的响应。到目前为止一切顺利，但事实证明这真的很脆弱，因为它在第二个请求上中断并出现错误:/usr/b

  2. 网络编程套接字 - 2

    网络编程套接字网络编程基础知识理解源`IP`地址和目的`IP`地址理解源MAC地址和目的MAC地址认识端口号理解端口号和进程ID理解源端口号和目的端口号认识`TCP`协议认识`UDP`协议网络字节序socket编程接口`sockaddr``UDP`网络程序服务器端代码逻辑：需要用到的接口服务器端代码`udp`客户端代码逻辑`udp`客户端代码`TCP`网络程序服务器代码逻辑多个版本服务器单进程版本多进程版本多线程版本线程池版本服务器端代码客户端代码逻辑客户端代码TCP协议通讯流程TCP协议的客户端/服务器程序流程三次握手（建立连接）数据传输四次挥手（断开连接）TCP和UDP对比网络编程基础知识

  3. ruby-on-rails - 缺失区域；使用 :region option or export region name to ENV ['AWS_REGION' ] - 2

    我知道还有其他相同的问题，但他们没有解决我的问题。我不断收到错误:Aws::Errors::MissingRegionErrorinBooksController#create,缺少区域；使用:region选项或将区域名称导出到ENV['AWS_REGION']。但是，这是我的配置开发.rb:config.paperclip_defaults={storage::s3,s3_host_name:"s3-us-west-2.amazonaws.com",s3_credentials:{bucket:ENV['AWS_BUCKET'],access_key_id:ENV['AWS_ACCE

  4. ruby-on-rails - ActiveRecord 的 find_or_create* 方法是否存在根本性缺陷？ - 2

    有几种方法:first_or_create_by、find_or_create_by等，它们的工作原理是:与数据库对话以尝试找到我们想要的东西如果我们找不到，就自己做保存到数据库显然，并发调用这些方法可能会使两个线程都找不到它们想要的东西，并且在第3步中一个线程会意外失败。似乎更好的解决方案是，创建或查找即:提前在您的数据库中创建合理的唯一性约束。如果你想保存一些东西，就保存它如果有效，那就太好了。如果它因为RecordNotUnique异常而无法工作，它已经存在，太好了，加载它那么在什么情况下我想使用Rails内置的东西而不是我自己的(看起来更可靠)create_or_find？

  5. ruby-on-rails - Rails 3 - 过滤器链暂停为 :authentication rendered or redirected - 2

    我仍然收到标题中的“错误”消息，但不知道如何解决。在ApplicationController中，classApplicationController在routes.rb#match'set_activity_account/:id/:value'=>'users#account_activity',:as=>:set_activity_account--thisdoesn'tworkaswell..resources:usersdomemberdoget:action_a,:action_bendcollectiondoget'account_activity'endend和User

  6. ruby-on-rails - Rails FasterCSV "unquoted fields do not allow\r or\n" - 2

    我在使用FasterCSV和我的rakedb:seeds迁移时遇到问题。我收到错误:“rake中止!未加引号的字段不允许\r或\n(第2行)”在以下seeds.rb数据上:require'csv'directory="db/init_data/"file_name="gardenzing020812.csv"path_to_file=directory+file_nameputs'LoadingPlantrecords'#Pre-loadallPlantrecordsn=0CSV.foreach(path_to_file)do|row|Plant.create!:name=>row[1

  7. ruby-on-rails - Rails 5，公寓和设计 : sign in with subdomains are not working - 2

    我已经使用Apartment设置了一个Rails5应用程序(1.2.0)和Devise(4.2.0)。由于某些DDNS问题，应用只能在app.myapp.com下访问(请注意子域app)。myapp.com重定向到app.myapp.com。我的用例是每个注册该应用的用户(租户)都应该通过他们的子域(例如tenant.myapp.com)访问他们的特定数据。用户不应限定在其子域内。基本上应该可以从任何子域登录。重定向到租户的正确子域由ApplicationController处理。根据Devise标准，登录页面位于app.myapp.com/users/sign_in。这就是问题开始的

  8. ruby - 检查网络文件是否存在，而不下载它？ - 2

    是否可以在不实际下载文件的情况下检查文件是否存在？我有这么大的(~40mb)文件，例如:http://mirrors.sohu.com/mysql/MySQL-6.0/MySQL-6.0.11-0.glibc23.src.rpm这与ruby​​不严格相关，但如果发件人可以设置内容长度就好了。RestClient.get"http://mirrors.sohu.com/mysql/MySQL-6.0/MySQL-6.0.11-0.glibc23.src.rpm",headers:{"Content-Length"=>100} 最佳答案

  9. ruby - 404 未找到，但可以从网络浏览器正常访问 - 2

    我在这方面尝试了很多URL，在我遇到这个特定的之前，它们似乎都很好:require'rubygems'require'nokogiri'require'open-uri'doc=Nokogiri::HTML(open("http://www.moxyst.com/fashion/men-clothing/underwear.html"))putsdoc这是结果:/Users/macbookair/.rvm/rubies/ruby-2.0.0-p481/lib/ruby/2.0.0/open-uri.rb:353:in`open_http':404NotFound(OpenURI::HT

  10. ruby - OR 运算符和 Ruby where 子句 - 2

    可能真的很简单，但我很难在网上找到关于这个的文档我在Ruby中有两个activerecord查询，我想通过OR运算符连接在一起@pro=Project.where(:manager_user_id=>current_user.id)@proa=Project.where(:account_manager=>current_user.id)我是ruby​​的新手，但我自己尝试使用||@pro=Project.where(:manager_user_id=>current_user.id||:account_manager=>current_user.id)这没有用，所以1.我想知道如何在

随机推荐