当我尝试运行 Kafka Consumer with Avro 时在我各自模式的数据上，它返回错误“AvroRuntimeException: Malformed data.Length is negative: -40”。我看到其他人也有类似的问题 converting byte array to json , Avro write and read , 和 Kafka Avro Binary *coder .我也引用了这个 Consumer Group Example ，这些都有帮助，但到目前为止对这个错误没有帮助。 它一直工作到这部分代码(第 73 行)
解码器decoder = DecoderFactory.get().binaryDecoder(byteArrayInputStream, null);
我已经尝试过其他解码器并打印出 byteArrayInputStream 变量的内容，它看起来像我相信你期望序列化 avro 数据的样子(在消息中我可以看到模式和一些数据以及一些格式错误的数据)我有使用 .available() 方法打印出可用字节数，该方法返回 594。我无法理解为什么会发生此错误。 Apache Nifi 用于从 hdfs 生成具有相同模式的 Kafka 流。如果有任何帮助，我将不胜感激。
最佳答案
也许问题在于 Nifi 写入(编码)Avro 数据的方式与您的消费者应用程序读取(解码)数据的方式不匹配。
简而言之，Avro 的 API 提供了两种不同的序列化方法:
org.apache.avro.file.{DataFileWriter/DataFileReader })。将模式嵌入到 Avro 文件中很有意义，因为 (a) 通常 Avro 文件的“有效负载”比嵌入的 Avro 模式大几个数量级，并且 (b) 然后您可以复制或移动这些文件的核心内容并且仍然确保您可以再次阅读它们而无需咨询某人或某事。org.apache.avro.io.{BinaryEncoder/BinaryDecoder}；注意包名的区别: io 与上面的 file)。例如，当对写入 Kafka 主题的消息进行 Avro 编码时，这种方法通常很受欢迎，因为与上面的变体 1 相比，您不会产生将 Avro 模式重新嵌入每条消息的开销，假设您(非常合理)策略是，对于同一个 Kafka 主题，消息使用相同的 Avro 模式进行格式化/编码。这是一个显着优势，因为在流数据上下文中，动态数据数据记录通常比上述静态数据 Avro 文件(通常为数百或数千 MB)；所以 Avro schema 的大小比较大，因此你不想在向 Kafka 写入 2000 条数据记录时将它嵌入 2000x。缺点是您必须“以某种方式”跟踪 Avro 模式如何映射到 Kafka 主题——或者更准确地说，您必须以某种方式跟踪消息是使用哪个 Avro 模式编码的，而不是沿着直接嵌入模式的路径前进。好消息是有 tooling available in the Kafka ecosystem (Avro schema registry)透明地做这件事。因此，与变体 1 相比，变体 2 以牺牲便利性为代价提高了效率。效果是编码的 Avro 数据的“有线格式”看起来会有所不同，具体取决于您使用的是上面的 (1) 还是 (2)。
我对 Apache Nifi 不是很熟悉，但快速查看源代码(例如 ConvertAvroToJSON.java)告诉我它使用的是变体 1，即它在 Avro 记录旁边嵌入了 Avro 模式。但是，您的消费者代码使用 DecoderFactory.get().binaryDecoder()，因此使用变体 2(未嵌入模式)。
也许这可以解释您遇到的错误？
关于java - 具有解码器问题的 Kafka Avro 消费者，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/36022358/
我想安装一个带有一些身份验证的私有(private)Rubygem服务器。我希望能够使用公共(public)Ubuntu服务器托管内部gem。我读到了http://docs.rubygems.org/read/chapter/18.但是那个没有身份验证-如我所见。然后我读到了https://github.com/cwninja/geminabox.但是当我使用基本身份验证(他们在他们的Wiki中有)时，它会提示从我的服务器获取源。所以。如何制作带有身份验证的私有(private)Rubygem服务器？这是不可能的吗？谢谢。编辑:Geminabox问题。我尝试“捆绑”以安装新的gem..
我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po
尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub
我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search
由于fast-stemmer的问题，我很难安装我想要的任何rubygem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=
我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么？ 最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设？ 关于java-等价于Java中的RubyHash，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/22737685/
当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub
我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java，并成功地将它与另一个Java包一起使用，但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www
我意识到这可能是一个非常基本的问题，但我现在已经花了几天时间回过头来解决这个问题，但出于某种原因，Google就是没有帮助我。(我认为部分问题在于我是一个初学者，我不知道该问什么......)我也看过O'Reilly的RubyCookbook和RailsAPI，但我仍然停留在这个问题上.我找到了一些关于多态关系的信息，但它似乎不是我需要的(尽管如果我错了请告诉我)。我正在尝试调整MichaelHartl'stutorial创建一个包含用户、文章和评论的博客应用程序(不使用脚手架)。我希望评论既属于用户又属于文章。我的主要问题是:我不知道如何将当前文章的ID放入评论Controller。
我正在使用Rails3.1并在一个论坛上工作。我有一个名为Topic的模型，每个模型都有许多Post。当用户创建新主题时，他们也应该创建第一个Post。但是，我不确定如何以相同的形式执行此操作。这是我的代码:classTopic:destroyaccepts_nested_attributes_for:postsvalidates_presence_of:titleendclassPost...但这似乎不起作用。有什么想法吗？谢谢! 最佳答案 @Pablo的回答似乎有你需要的一切。但更具体地说...首先改变你View中的这一行对此#