草庐IT

skb_buffer

全部标签

java - 提高 Protocol Buffer 的性能

我正在编写一个应用程序,需要从单个文件中快速反序列化数百万条消息。应用程序所做的基本上是从文件中获取一条消息,做一些工作然后丢弃该消息。每条消息由大约100个字段组成(并非所有字段都始终被解析,但我需要所有字段,因为应用程序的用户可以决定他想处理哪些字段)。此时,应用程序包含一个循环,在每次迭代中仅使用readDelimitedFrom()调用执行。有没有办法优化问题以更好地适应这种情况(拆分为多个文件等...)。此外,在这一刻,由于消息的数量和每条消息的尺寸,我需要对文件进行gzip压缩(由于字段的值非常重复,它在减小大小方面相当有效)——虽然这减少了性能。

java - Protocol Buffer 和枚举组合?

这是我的原型(prototype)文件:messageMSG{requiredMsgCodesMsgCode=1;optionalint64Serial=2;//UniqueIDnumberforthisperson.requiredint32From=3;requiredint32To=4;//blabla...enumMsgCodes{MSG=1;FILE=2;APPROVE=4;ACK=8;ERROR_SENDING=16;WORLD=32;}}在我的C#中,我正在尝试:msg=msg.ToBuilder().SetMsgCode(msg.MsgCode|MSG.Types.Ms

java - 在 Java 中使用 Buffered writer 编写一个 csv 文件

我正在使用java中的缓冲写入器编写一个csv文件。我的数据写入正确,但我希望数据位于不同的列下,目前它正在将日期的每个实例写入一行但不按列分隔。代码是DateFormatdf=newSimpleDateFormat("yyyy-MM-dd_HH.mm.ss");Filefile=newFile(dirName+"\\"+df.format(newDate())+"_Statistics.csv");if(!file.exists())file.createNewFile();FileWriterfw=newFileWriter(file);writer=newBufferedWrit

java - 寻找 java.net.SocketException : No buffer space available

嗨,我有一个非常难看的问题:java.net.SocketException:没有可用的缓冲区空间(达到最大连接数?)它是客户端-服务器应用程序。客户端是WindowsXPSP232b,两block网卡coreduo。Java1.6。u7。应用程序为本地通信打开了几个服务器套接字,并为rmi到jboss服务器打开了几个客户端套接字。几小时/几天后!我无法打开任何新的客户端套接字来与服务器进行通信。服务器套接字仍然有效。Windowsnetstat显示130到150个连接。手动尝试时,我在~3500个连接后耗尽了缓冲区!我试过:检查我们使用的每个套接字,我们也将其关闭。在后台运行nets

[数据结构-1]:环形buffer以及读写同步

目录一、什么是环形buffer二、环形buffer的优点与使用场合三、环节buffer的读写同步3.1基本原理3.2代码示例一、什么是环形buffer环形缓冲区(CircularBuffer)也被称为环形队列(CircularQueue)或循环缓冲区,是一种数据结构,用于在固定大小的缓冲区中存储和处理数据。环形缓冲区的特点是首尾相连,即缓冲区的最后一个元素和第一个元素相邻。当缓冲区写满时,新数据可以覆盖旧数据,实现循环利用。环形缓冲区常见的应用场景是数据流处理,例如音频、视频、网络通信等。它具有以下优点:内存利用率高:由于循环利用,不会浪费内存空间。读写效率高:读写指针移动固定步长,无需频繁移

C++ 谷歌 Protocol Buffer 。 RPC怎么来的?

我已经按照谷歌RPC上的3个教程尝试了3个不同的来源。而且总是同样的问题。我无法让它工作。我现在非常接近,我正在使用protoserv.我现在遇到的问题是在他们的教程中说:intmain(intargc,char*argv[]){EchoServiceImplecho_service;RpcManagerrpcman;...我找不到如何访问RpcManager及其位置。我对protobuf和protoserv目录进行了grep,但无济于事。只有RpcManager位于.java包中。也许它只是一个不受支持的版本,即使它有C++中的示例。如有任何帮助,我们将不胜感激。即使链接到稳定/简单

java - Google Protocol Buffer 和 UTF-16

我有一个以UTF-16格式存储数据的应用程序(主要是因为中文/Big-5字符)。它使用GoogleProtocolBuffers作为请求/响应协议(protocol)。我知道您不能以字符串格式发回UTF-16数据。我试图通过协议(protocol)以字节数据类型发回数据,并让客户端读取字节数据并创建一个UTF-16字符串。这是最好的方法吗?有没有人遇到过这样的事情?有没有一种方法可以使用字符串数据类型将UTF-8数据转换为UTF-16? 最佳答案 如果您已经拥有一个有效的UTF-8字符串,为什么不尝试string=newString

c++ - 为什么 boost::circular_buffer 在我的基准测试中这么慢?

阅读rationale,boost::circular_buffer看起来很有希望:Suitabilityforreal-timeandperformancecriticalapplications.Fastconstant-timeinsertionandremovalofelementsfromthefrontandback.当我运行一个模拟我的用例的简单基准测试时,将其用作字节缓冲区:写一个更大的block读取较小的block直到为空重复性能绝对糟糕,超过4000x比我自己的hack和spsc_queue慢。lin:101//10240xlock:109//10240xcirc:

c++ - 与 Thrift 或 Protocol Buffers 的双向通信

(对不起我的英语)是否可以构建一个应用程序(实际上是2个)来实现进程之间的双向通信?我知道两个“框架”来传达不同的进程(使用不同的语言)Thrift和Protocolbuffers。我知道thrift在客户端/服务器模式下工作,所以如果我想要双向通信,我需要像客户端和服务器一样同时构建两侧/进程。客户端/服务器客户端/服务器我不知道这种做法是否正确。但是..我无法使用ProtocolBuffers找到关于此的信息。这可能吗?我有一个C++进程和一个Node.js(Javascript)应用程序..C++进程向deNode.js应用程序发送通知(效果很好,我使用thrift进行测试)..

c++ - 游戏机上的 Protocol Buffer

有人在游戏机上尝试过googleprotocolbuffers吗?与手持系统相比,我对PS3或Xbox360等高端游戏机更感兴趣。我感兴趣的是:它是否开箱即用地很好地编译,还是您需要处理protobuf编译器才能正确生成正确的代码?是否存在任何可能导致问题的有争议的库依赖项?是否担心生成过多的代码会导致游戏的代码量激增?我正在考虑在C++环境中使用它。随意添加您认为我应该考虑的更多问题。我不仅在寻找问题,成功的故事也同样有趣。 最佳答案 它编译得非常干净。您只需要将protobufheader放在您的包含路径中,然后与库链接。我也没