草庐IT

php - 通过 Amazon SQS 从 PHP 向 NodeJS 发送压缩文本

coder 2024-04-06 原文

我似乎无法通过 Amazon SQS 将压缩消息从 PHP 发送到 NodeJS。

在 PHP 方面，我有:

$SQS->sendMessage(Array(
    'QueueUrl'    => $queueUrl,
    'MessageBody' => 'article',
    'MessageAttributes' => Array(
        'json' => Array(
            'BinaryValue' => bzcompress(json_encode(Array('type'=>'article','data'=>$vijest))),
            'DataType' => 'Binary'
        )
    )
));

注意 1:我也试过将压缩数据直接放在消息中，但是库给了我一些无效字节数据的错误

在 Node 端，我有:

body = decodeBzip(message.MessageAttributes.json.BinaryValue);

消息来自 sqs.receiveMessage() 调用并且该部分有效，因为它适用于原始(未压缩的消息)

我得到的是类型错误:格式不正确

我也试过使用:

PHP - NODE

gzcompress() - zlib.inflateraw()

gzdeflate() - zlib.inflate()

gzencode() - zlib.gunzip()

每一对都给了我他们对相同错误的版本(本质上，输入数据是错误的)

考虑到所有这些，我开始怀疑消息传输中的某处存在错误

我做错了什么？

编辑 1:似乎错误出在传输的某个地方，因为 php 中的 bin2hex() 和 Node 中的 .toString('hex') 返回完全不同的值。 PHP 中的 Amazon SQS API 似乎使用 base64 传输 BinaryAttribute，但 Node 无法对其进行解码。我设法通过关闭 amazon aws 配置文件中的自动转换，然后在 Node 中手动解码 base64 来部分解码它，但它仍然无法解码。

编辑 2:我设法通过在 php 端使用 base64_encode() 并将 base64 作为 messageBody 发送(不使用 MessageAttributes)来完成同样的事情。在 Node 端，我使用了 new Buffer(messageBody,'base64') 然后在其上使用了 decodeBzip。一切正常，但我仍然想知道为什么 MessageAttribute 不能正常工作。当前的 base64 增加了开销，我喜欢按预期使用服务，而不是变通。

最佳答案

This是所有 SQS 库在幕后所做的事情。大家可以拿到SQS库的php源码自己看看。二进制数据将始终进行 base64 编码(无论是否使用 MessageAttributes 都无关紧要)作为满足具有 form-url 编码消息的 API 要求的一种方式。

我不知道你的 $vijest 中的数据有多长，但我敢打赌，在压缩和 base64 编码之后，它会比以前更大。

所以我对你的回答分为两部分(如果你真的很固执，再加上第三部分):

  • 在查看底层原始 API 时，绝对清楚不使用 MessageAttributes 不会增加 base64 的额外开销。相反，由于 SQS php 库强制执行的数据结构，使用 MessageAttributes 会增加一些额外的开销。因此，不使用 MessageAttributes 显然不是一种解决方法，如果您想自己压缩数据并使其以这种方式工作，您应该这样做。
  • 由于 http POST 请求的性质，在您的应用程序中压缩您的数据是一个非常糟糕的主意。 Base64 开销可能会抵消压缩优势，您最好发送纯文本。
  • 如果您绝对不相信我或 API 规范或 HTTP 规范并想继续，那么我会建议在 BinaryValue 参数中发送一个简单的短字符串“teststring”，并将您发送的内容与您收到的内容进行比较。这将使理解 SQS 库对 BinaryValue 参数所做的转换变得非常容易。

关于php - 通过 Amazon SQS 从 PHP 向 NodeJS 发送压缩文本，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/35844377/

AmazonNodeJSMessageAttributesstrongsectionphpnode.jszlibamazon-sqs

有关php - 通过 Amazon SQS 从 PHP 向 NodeJS 发送压缩文本的更多相关文章

  1. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  2. ruby - 使用 ruby​​ 将 HTML 转换为纯文本并维护结构/格式 - 2

    我想将html转换为纯文本。不过，我不想只删除标签，我想智能地保留尽可能多的格式。为插入换行符标签，检测段落并格式化它们等。输入非常简单，通常是格式良好的html(不是整个文档，只是一堆内容，通常没有anchor或图像)。我可以将几个正则表达式放在一起，让我达到80%，但我认为可能有一些现有的解决方案更智能。 最佳答案 首先，不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案，它会随着HTML的变化而崩溃，或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h

  3. ruby - 通过 rvm 升级 ruby​​gems 的问题 - 2

    尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub

  4. ruby - 通过 erb 模板输出 ruby​​ 数组 - 2

    我正在使用puppet为ruby​​程序提供一组常量。我需要提供一组主机名，我的程序将对其进行迭代。在我之前使用的bash脚本中，我只是将它作为一个puppet变量hosts=>"host1,host2"我将其提供给bash脚本作为HOSTS=显然这对ruby​​不太适用——我需要它的格式hosts=["host1","host2"]自从phosts和putsmy_array.inspect提供输出["host1","host2"]我希望使用其中之一。不幸的是，我终其一生都无法弄清楚如何让它发挥作用。我尝试了以下各项:我发现某处他们指出我需要在函数调用前放置“function_”……这

  5. ruby - 通过 ruby​​ 进程共享变量 - 2

    我正在编写一个gem，我必须在其中fork两个启动两个webrick服务器的进程。我想通过基类的类方法启动这个服务器，因为应该只有这两个服务器在运行，而不是多个。在运行时，我想调用这两个服务器上的一些方法来更改变量。我的问题是，我无法通过基类的类方法访问fork的实例变量。此外，我不能在我的基类中使用线程，因为在幕后我正在使用另一个不是线程安全的库。所以我必须将每个服务器派生到它自己的进程。我用类变量试过了，比如@@server。但是当我试图通过基类访问这个变量时，它是nil。我读到在Ruby中不可能在分支之间共享类变量，对吗？那么，还有其他解决办法吗？我考虑过使用单例，但我不确定这是

  6. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  7. ruby-on-rails - Enumerator.new 如何处理已通过的 block ？ - 2

    我在理解Enumerator.new方法的工作原理时遇到了一些困难。假设文档中的示例:fib=Enumerator.newdo|y|a=b=1loopdoy[1,1,2,3,5,8,13,21,34,55]循环中断条件在哪里，它如何知道循环应该迭代多少次(因为它没有任何明确的中断条件并且看起来像无限循环)？ 最佳答案 Enumerator使用Fibers在内部。您的示例等效于:require'fiber'fiber=Fiber.newdoa=b=1loopdoFiber.yieldaa,b=b,a+bendend10.times.m

  8. ruby - 寻找通过阅读代码确定编程语言的ruby gem？ - 2

    几个月前，我读了一篇关于ruby​​gem的博客文章，它可以通过阅读代码本身来确定编程语言。对于我的生活，我不记得博客或gem的名称。谷歌搜索“ruby编程语言猜测”及其变体也无济于事。有人碰巧知道相关gem的名称吗？ 最佳答案 是这个吗:http://github.com/chrislo/sourceclassifier/tree/master 关于ruby-寻找通过阅读代码确定编程语言的rubygem？，我们在StackOverflow上找到一个类似的问题：

  9. 通过 MacPorts 的 RubyGems 是个好主意吗？ - 2

    从MB升级到新的MBP后，Apple的迁移助手没有移动我的gem。我这次是通过macports安装ruby​​gems，希望在下次升级时避免这种情况。有什么我应该注意的陷阱吗？ 最佳答案 如果你想把你的gems安装在你的主目录中(在传输过程中应该复制过来，作为一个附带的好处，会让你以你自己的身份运行geminstall，而不是root)，将gemhome:键设置为您在~/.gemrc中的主目录中的路径. 关于通过MacPorts的RubyGems是个好主意吗？，我们在StackOverf

  10. jquery - 我的 jquery AJAX POST 请求无需发送 Authenticity Token (Rails) - 2

    rails中是否有任何规定允许站点的所有AJAXPOST请求在没有authenticity_token的情况下通过？我有一个调用Controller方法的JqueryPOSTajax调用，但我没有在其中放置任何真实性代码，但调用成功。我的ApplicationController确实有'request_forgery_protection'并且我已经改变了config.action_controller.consider_all_requests_local在我的environments/development.rb中为false我还搜索了我的代码以确保我没有重载ajaxSend来发送

随机推荐