草庐IT

file - 通过多次 append 来检索写入文件的采空区

coder 2023-06-30 原文

我正在尝试使用 encoding/gob 将数据存储到文件中并稍后加载它。我希望能够将新数据 append 到文件并稍后加载所有保存的数据，例如重新启动我的应用程序后。使用 Encode() 存储到文件时没有问题，但在读取时似乎我总是只得到最先存储的项目，而不是简洁存储的项目。

这是一个最小的例子:https://play.golang.org/p/patGkKDLhM

如您所见，它可以将两次写入编码器然后再读回。但是当关闭文件并以 append 模式再次打开它时，写入似乎有效，但读取仅适用于前两个元素(之前已写入)。无法检索新添加的两个结构，我得到错误:

panic: extra data in buffer

我知道 Append to golang gob in a file on disk我还读了https://groups.google.com/forum/#!topic/golang-nuts/bn6vjC5Abd8

最后我也找到了https://gist.github.com/kjk/8015952这似乎表明我正在尝试做的事情不起作用。为什么？这个错误是什么意思？

最佳答案

我还没有使用过 encoding/gob 包(看起来很酷，我可能需要为它找一个项目)。但是阅读 godoc 时，在我看来，每个编码都是一个预期从头到尾解码的记录。也就是说，一旦您Encode 一个流，生成的字节就是一个完整的集合，从头到尾尊重整个流 - 以后无法通过再次编码 append 到后面。

godoc 声明编码的 gob 是自描述的。在编码流的开头，它描述了整个数据集结构、类型等，包括字段名称。然后字节流中的是那些导出字段的值的大小和字节表示。

然后可以假设文档中省略的内容是因为流在一开始就 self 描述了自身，包括将要传递的每个字段，这就是Decoder会关心。 Decoder 将不知道在描述的内容之后添加的任何连续字节，因为它只看到开头描述的内容。因此，错误消息 panic: extra data in buffer 是准确的。

在您的 Playground 示例中，您对同一个编码器实例进行了两次编码，然后关闭了文件。由于您正好传入两条记录，并对两条记录进行编码，因此可能会工作，因为编码器的单个实例可能会将两个 Encode 调用视为单个编码流。然后，当您关闭文件 io 的流时，gob 现在已完成 - 并且该流被视为单个记录(即使您发送了两种类型)。

在解码函数中也是如此，你从同一个流中读取 X 次。但是，您在关闭文件时写了一条记录——一条记录中实际上有两种类型。因此，为什么它在读取 2 时有效，并且正好是 2。但如果读取超过 2，则会失败。

如果您想将其存储在单个文件中，解决方案是您需要为每个完整的“写入”或编码器实例/ session 创建自己的索引。有些形成您自己的 Block 方法，允许您使用“开始”和“结束”标记包装或定义写入磁盘的每个条目。这样，当回读文件时，由于开始/结束标记，您确切地知道要分配哪个缓冲区。一旦缓冲区中有一条记录，就可以使用 gob 的 Decoder 对其进行解码。并在每次写入后关闭文件。

我用于此类标记的模式类似于:

uint64:uint64
uint64:uint64
...

第一个是起始字节数，第二个以冒号分隔的条目是它的长度。不过，我通常将其存储在另一个文件中，适本地称为 indexes。这样它可以快速读入内存，然后我可以流式传输大文件，确切地知道每个开始和结束地址在字节流中的位置。

另一种选择是将每个 gob 存储在自己的文件中，使用文件系统目录结构按照您认为合适的方式进行组织(或者甚至可以使用目录来定义类型，例如) .那么每个文件的存在都是一条记录。这就是我使用事件溯源技术渲染的 json 的方式，将数百万个文件组织在目录中。

总而言之，在我看来，gob 数据是从头到尾的完整数据集 - 一条“记录”有你。如果你想存储多个编码/多个 gob，那么将需要创建你自己的索引来跟踪每个 gob 字节的开始和大小/结束，因为你存储它们。然后，您需要分别解码每个条目。

关于file - 通过多次 append 来检索写入文件的采空区，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/36385955/

采空区appendcodesection的filegogob

有关file - 通过多次 append 来检索写入文件的采空区的更多相关文章

  1. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  2. ruby - 其他文件中的 Rake 任务 - 2

    我试图在一个项目中使用rake，如果我把所有东西都放到Rakefile中，它会很大并且很难读取/找到东西，所以我试着将每个命名空间放在lib/rake中它自己的文件中，我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题，但没有任务。我现在只有一个.rake文件作为测试，名为“servers.rake”，它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时

  3. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

    我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，

  4. ruby-on-rails - Rails 3 中的多个路由文件 - 2

    Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情？ 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中，使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件，我们在StackOverflow上找到一个类似的问题

  5. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

  6. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  7. ruby - 多次弹出/移动 ruby​​ 数组 - 2

    我的代码目前看起来像这样numbers=[1,2,3,4,5]defpop_threepop=[]3.times{pop有没有办法在一行中完成pop_three方法中的内容？我基本上想做类似numbers.slice(0,3)的事情，但要删除切片中的数组项。嗯...嗯，我想我刚刚意识到我可以试试slice! 最佳答案 是numbers.pop(3)或者numbers.shift(3)如果你想要另一边。 关于ruby-多次弹出/移动ruby​​数组，我们在StackOverflow上找到一

  8. ruby - 通过 rvm 升级 ruby​​gems 的问题 - 2

    尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub

  9. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  10. ruby - 通过 erb 模板输出 ruby​​ 数组 - 2

    我正在使用puppet为ruby​​程序提供一组常量。我需要提供一组主机名，我的程序将对其进行迭代。在我之前使用的bash脚本中，我只是将它作为一个puppet变量hosts=>"host1,host2"我将其提供给bash脚本作为HOSTS=显然这对ruby​​不太适用——我需要它的格式hosts=["host1","host2"]自从phosts和putsmy_array.inspect提供输出["host1","host2"]我希望使用其中之一。不幸的是，我终其一生都无法弄清楚如何让它发挥作用。我尝试了以下各项:我发现某处他们指出我需要在函数调用前放置“function_”……这

随机推荐