草庐IT

Python Unpack 处理网络字节流

阳海川 2023-04-14 原文

python struct 包中有pack和unpack 可以处理与C语言对应的数据,详细参考:https://blog.csdn.net/weiwangchao_/article/details/80395941

如果C/C++/C#端发送网络字节流中包含字符串,Python用unpack解析接收到的网络字节流时,可能会遇到字节对齐的问题。

比如, 下图中msg[4]是从网络中接收到的一个数据包,截图中是以16进制数据呈现的,可以用在线进制转化工具来查看十进制下的数值。

事实上,以上数据正确解析结果应该是:

红色竖线之间包含4个十六进制的数据,每个十六进制的数据代表一个字节,字符串每个元素占1个字节,可以算出上图中msg[4]总共有44个字节。 

 注意到,数据开头是一个逗号,ASII码值是44,正好就是上图解析出来的包头长度44。

 第二段数据是消息类型,xe9\x03\x00\x00 ,借助上面提到在线进制转换工具,可以看到十进制数值是1001,与正确解析结果相吻合。

注意:我的网络数据流采用大端模式,因此低位地址存放高字节,高危地址存放低地址,所以十进制转化时输入的是03e9而不是e903。

 

 注意到,unpack解析时,fmt中开头是=,查阅资料可知,=意味着按照网络原字节解析,即解析时不考虑字节对齐,按照用户输入大小'=3i 5s 4i 11s'直接解析。

 如果把fmt内容替换为'3i 5s 4i 11s',即去掉等号,那么解析出错

 i代表int, 4字节,1个s占个字节

那么,fmt指定的大小为 3i 5s 4i 11s=3*4+5+4*4+11=44,这与msg中总字节数完全一致。但是fmt去掉等号之后,考虑字节对齐,要求有47个字节,比实际多了3个字节。

原因:5s夹在3i和4i之间,前三个int应该能正确解析,解析字符串01-98的时候,由于字符串本身是5个字节,对齐到4字节的话,要用8个字节来存这个数据,刚好比实际多3个字节。

将msg[4]中的数据拷贝出来,在01-98后面填三个空字节,fmt内容不变,再解析,成功。

 那么,位于msg[4]末尾的Hello World本身占11个字节,如果字节对齐的话,应该也要加1个字节,为什么这里没有加,仍然能正确解析? 

根本原因尚不清楚,但是猜测只要字符串后面没有其他数据,就不会有问题,下面印证一下

在Hello World后面加个int。

fmt_test = 3i5s4i11si=3*4+5+4*4+11+1*4=48, 由于已经给01-98后面加了三个空字节,所以test实际大小是51字节,报错提醒要52字节。

 由于Hello World占11个字节,内存对齐到4字节的话,额外需要1个空字节,51+1=52刚刚好。下图可以看到hello World后加一个空字节后,解析正确。

如果把所有手动加入的空字节去掉,仍然想正确解析,就在 fmt内容前加等号,即按照fmt给定的数据类型和长度解析,效果见文章开头正确解析的案例。

有关Python Unpack 处理网络字节流的更多相关文章

  1. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时,rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  2. ruby - 用 Ruby 编写一个简单的网络服务器 - 2

    我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不,不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本,提供另一个脚本,它将在其标准输入上获取请求,并在其标准输出上返回完整的响应。到目前为止一切顺利,但事实证明这真的很脆弱,因为它在第二个请求上中断并出现错误:/usr/b

  3. Ruby - 如何将消息长度表示为 2 个二进制字节 - 2

    我正在使用Ruby,我正在与一个网络端点通信,该端点在发送消息本身之前需要格式化“header”。header中的第一个字段必须是消息长度,它被定义为网络字节顺序中的2二进制字节消息长度。比如我的消息长度是1024。如何将1024表示为二进制双字节? 最佳答案 Ruby(以及Perl和Python等)中字节整理的标准工具是pack和unpack。ruby的packisinArray.您的长度应该是两个字节长,并且按网络字节顺序排列,这听起来像是n格式说明符的工作:n|Integer|16-bitunsigned,network(bi

  4. 网络编程套接字 - 2

    网络编程套接字网络编程基础知识理解源`IP`地址和目的`IP`地址理解源MAC地址和目的MAC地址认识端口号理解端口号和进程ID理解源端口号和目的端口号认识`TCP`协议认识`UDP`协议网络字节序socket编程接口`sockaddr``UDP`网络程序服务器端代码逻辑:需要用到的接口服务器端代码`udp`客户端代码逻辑`udp`客户端代码`TCP`网络程序服务器代码逻辑多个版本服务器单进程版本多进程版本多线程版本线程池版本服务器端代码客户端代码逻辑客户端代码TCP协议通讯流程TCP协议的客户端/服务器程序流程三次握手(建立连接)数据传输四次挥手(断开连接)TCP和UDP对比网络编程基础知识

  5. Ruby-vips 图像处理库。有什么好的使用示例吗? - 2

    我对图像处理完全陌生。我对JPEG内部是什么以及它是如何工作一无所知。我想知道,是否可以在某处找到执行以下简单操作的ruby​​代码:打开jpeg文件。遍历每个像素并将其颜色设置为fx绿色。将结果写入另一个文件。我对如何使用ruby​​-vips库实现这一点特别感兴趣https://github.com/ender672/ruby-vips我的目标-学习如何使用ruby​​-vips执行基本的图像处理操作(Gamma校正、亮度、色调……)任何指向比“helloworld”更复杂的工作示例的链接——比如ruby​​-vips的github页面上的链接,我们将不胜感激!如果有ruby​​-

  6. ruby - Faye WebSocket,关闭处理程序被触发后重新连接到套接字 - 2

    我有一个super简单的脚本,它几乎包含了FayeWebSocketGitHub页面上用于处理关闭连接的内容:ws=Faye::WebSocket::Client.new(url,nil,:headers=>headers)ws.on:opendo|event|p[:open]#sendpingcommand#sendtestcommand#ws.send({command:'test'}.to_json)endws.on:messagedo|event|#hereistheentrypointfordatacomingfromtheserver.pJSON.parse(event.d

  7. ruby - 如何使用 Ruby HTTP::Net 处理 404 错误? - 2

    我正在尝试解析网页,但有时会收到404错误。这是我用来获取网页的代码:result=Net::HTTP::getURI.parse(URI.escape(url))如何测试result是否为404错误代码? 最佳答案 像这样重写你的代码:uri=URI.parse(url)result=Net::HTTP.start(uri.host,uri.port){|http|http.get(uri.path)}putsresult.codeputsresult.body这将打印状态码和正文。

  8. ruby - 检查网络文件是否存在,而不下载它? - 2

    是否可以在不实际下载文件的情况下检查文件是否存在?我有这么大的(~40mb)文件,例如:http://mirrors.sohu.com/mysql/MySQL-6.0/MySQL-6.0.11-0.glibc23.src.rpm这与ruby​​不严格相关,但如果发件人可以设置内容长度就好了。RestClient.get"http://mirrors.sohu.com/mysql/MySQL-6.0/MySQL-6.0.11-0.glibc23.src.rpm",headers:{"Content-Length"=>100} 最佳答案

  9. ruby - 404 未找到,但可以从网络浏览器正常访问 - 2

    我在这方面尝试了很多URL,在我遇到这个特定的之前,它们似乎都很好:require'rubygems'require'nokogiri'require'open-uri'doc=Nokogiri::HTML(open("http://www.moxyst.com/fashion/men-clothing/underwear.html"))putsdoc这是结果:/Users/macbookair/.rvm/rubies/ruby-2.0.0-p481/lib/ruby/2.0.0/open-uri.rb:353:in`open_http':404NotFound(OpenURI::HT

  10. ruby - Sinatra:哈希的未定义方法字节大小 - 2

    很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈,无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开,visitthehelpcenter.关闭9年前。我正在创建一个Sinatra应用程序,它采用上传的CSV文件并将其内容放入哈希中。当我像这样在我的app.rb中引用这个散列时:hash=extract_values(path_to_filename)我不断收到此错误消息:undefinedmethod`bytesize'forHash:0x007fc5e28f2b90#object_idfile:utils.rblocation:bytesiz

随机推荐