草庐IT

repl-buffer

全部标签

基于美团Leaf-Segment的双buffer方案实现序列号生成器

业务背景    有时项目中对于流水号有一些特殊的需求。比如,和业务A有关数据,我们在落库时想要给每条数据添加一个流水号字段,用于作为全局唯一标识。流水号格式规则如下,如:BTA(业务A代号)+年月日(20221208)+序列号。并且对序列号的长度有要求,如序列号要求为5位,即从00001到99999,当序列号达到99999后,再次获取则继续从00001开始累加循环。流水号的形式如TX2022120800001。在此之前需要对业务A有关数据每日的数据量进行评估,以上述为例,若一天的单据量超过99999,再次循环可能会造成流水号重复,以致流水号不唯一,所以序列号最大值可以设的稍大一位。初期方案最开

java - 将 REPL 添加到 Java 项目的技巧

人们发现哪些技术有助于使用Clojure、Scala、JRuby、构建工具等来改造带有REPL的Java项目以快速进行试验?我经常需要处理普通的旧Java项目(POJO项目?)并且怀念REPL。OtherSOquestions解决这个话题,但这些已经有好几年了,而且回复也过时了。我将首先贡献一些我用来解决这个问题的技术。 最佳答案 如果项目使用Maven,gmaven插件和随附的mvngroovy:shell会很有帮助,尽管得到它configuredcorrectly可能具有挑战性。对于那些不使用Maven的项目,一种常见的模式是将

innodb_log_file_size 和 innodb_buffer_pool_size

innodb_log_file_size和innodb_buffer_pool_size是MySQL数据库中InnoDB存储引擎的两个重要配置参数。它们对数据库的性能和可靠性有着显著的影响。1.innodb_log_file_sizeinnodb_log_file_size参数用于指定InnoDB重做日志文件(redologfiles)的大小。重做日志是InnoDB用来保证事务的持久性和数据库的恢复能力的重要机制。当事务提交时,相关的更改会先被写入重做日志,然后再异步地刷新到磁盘上的数据文件中。设置建议:这个参数的设置应该基于你的工作负载和系统的可用磁盘空间。太小的设置可能会导致频繁的日志切换

java - 使用 Protocol Buffer 进行二进制日志记录

我们正在考虑将ProtocolBuffers用于二进制日志记录,因为:这就是我们对对象进行编码的方式相对紧凑,读写速度快等。也就是说,我们应该如何去做并不明显,因为API倾向于专注于创建整个对象,因此将DataLogEntry列表包装为DataLogFile中的重复字段将是您在消息传递中所做的术语,但我们真正想要的只是能够写入然后读取整个DataLogEntry,将其附加到文件末尾。我们这样做遇到的第一个问题是这样做(在测试中:FileInputStreamfileIn=newFileInputStream(logFile);CodedInputStreamin=CodedInputS

java - 在 Java 中扩展 Protocol Buffers

我在访问扩展ProtocolBuffer成员时遇到问题。这是场景:MessageFoo{optionalinti=1;}messageBar{extendFoo{optionalintj=10001;}}我的任何其他原型(prototype)中都没有Bar消息。如何在Java中获取Bar.j?我发现的所有示例都需要在消息中使用Bar。谢谢! 最佳答案 ProtocolBuffer中的扩展并不一定像您期望的那样工作,即它们不匹配Java继承机制。针对您的问题,我创建了以下foobar.proto文件:packagetest;messa

java - Java Protocol Buffers 能否在重复字段的列表 getter 上返回 null?

假设您有一个重复字段。messageFoo{optionalint32val=1;}messageBar{repeatedFoofoo=1;}这将生成方法ListgetFooList()有没有getFooList会返回null的情况?或者它是否已经返回一个列表,即使它是空的? 最佳答案 不,不存在返回null的情况。事实上,Javaprotobuf生成的类中的任何字段访问器都不会返回null;如果该字段不存在,它们总是返回默认值。同样,setter不允许您设置null。 关于java-J

java - Protocol Buffer : get byte array from ByteString without copying

假设我有一个方法voidfoo(byte[]bytes)需要一个字节数组作为它的参数。但是,Protobuf中字节数组的Java类型是ByteString。我可以使用byte[]toByteArray()获取字节数组。但问题是这种方法使用copy来构建一个新的数组,代价比较大。我宁愿它直接返回底层数组,或者返回一个View。是否有任何API,或者性能损失是可以接受的? 最佳答案 通常这是不可能的,因为在ByteString的某些子类中可能没有这样的数组。BoundedByteString可以包含更大的数组,因此需要复制才能获得正确大

java - Protocol Buffer Java RPC 栈

根据this维基百科词条:“ProtocolBuffers与Facebook的Thrift协议(protocol)非常相似,只是它不包含用于定义服务的具体RPC堆栈。自从ProtocolBuffers开源以来,出现了许多RPC堆栈来填补这一空白”但是没有引用RPC栈的例子。谁能建议基于Java的RPC堆栈实现? 最佳答案 如果你想要基于Java的RPC堆栈,它是RMI.但是,它不能很好地跨平台工作。我一直在使用ProtoBuf做RPC。您几乎可以通过将protobuf消息包装在另一个定义服务或调用的protobuf中来模拟RPC堆栈

java - Protocol Buffer 3 : Enums as keys in a map

枚举不允许用作映射中的键。这里的PaxType是一个枚举,不允许用作键。enumPaxType{ADULT=0;CHILD=1;INFANT=2;}messageFlightData{mapfareType=1;} 最佳答案 这是不允许的,因为它不能很好地与proto3开放枚举语义兼容。例如,在Java中,如果您有一个Map,则键只能是定义的值之一。如果您碰巧从远程客户端/服务器接收到不在定义值集中的枚举键值,则无法将其放入Map中。此限制迫使我们要么删除具有未知枚举键的映射条目(这违反了proto3开放枚举语义),要么禁止枚举作为

java - 提高 Protocol Buffer 的性能

我正在编写一个应用程序,需要从单个文件中快速反序列化数百万条消息。应用程序所做的基本上是从文件中获取一条消息,做一些工作然后丢弃该消息。每条消息由大约100个字段组成(并非所有字段都始终被解析,但我需要所有字段,因为应用程序的用户可以决定他想处理哪些字段)。此时,应用程序包含一个循环,在每次迭代中仅使用readDelimitedFrom()调用执行。有没有办法优化问题以更好地适应这种情况(拆分为多个文件等...)。此外,在这一刻,由于消息的数量和每条消息的尺寸,我需要对文件进行gzip压缩(由于字段的值非常重复,它在减小大小方面相当有效)——虽然这减少了性能。