草庐IT

java - 是否有对象更改跟踪/版本控制 Java API?

coder 2023-05-18 原文

我知道至少有两个字节码增强器在运行时修改“对象模型”以允许透明地执行事务。其中一个是我每天在工作中使用的 Versant VOD 的一部分,另一个是 Terracotta 的一部分。可能还有很多其他的,例如在 ORM 中,但 Versant 在我的公司负责。

我的问题是,是否有这样的开源 API 可以独立使用,独立于它所设计的产品?你可以说一个“可破解”的 API。它应该只跟踪更改,而不是读取访问,这会显着减慢代码速度。换句话说,它不应该需要显式的读/写锁定。这需要访问所有执行更改的类,而不仅仅是数据模型,或者需要在内存中保留某种形式的“先前版本”以进行比较。

我要解决的问题是我在(NoSQL)数据库中“序列化”了“大”(32K 到 256K)对象图。它们是长期存在的,必须定期重新序列化以获取更改的“历史”。但是它们的序列化成本相当高,而且大多数更改都是很小的。

我可以每次都完全序列化它们并在流上运行二进制差异,但这听起来非常占用 CPU。更好的解决方案是使用 API 修改模型上的写入操作以对更改进行协议(protocol),以便在存储初始“图像”后,只需要存储协议(protocol)。

我发现了一些关于 Apache Commons Beanutils 比较对象的问题,但这对于就地更改没有用;我需要在每个“业务交易”之间对模型进行完整的克隆。

重申一下,我正在寻找一个“内存中”API,在同一个 JVM 中,它不涉及任何外部服务器应用程序。如果在 Win、Mac 和 Linux 上可用,涉及 native 代码的 API 是可以的。 API 目前不必打包独立;它只需要可以从“父项目”中提取出来形成一个独立的 API(父项目许可证必须允许这样做)。

我的对象图将涉及许多大型数组,因此需要有效地支持。

这些更改不仅用于审计,而且可以重放或撤消。更准确地说,使用反序列化的初始图和更改列表,我应该得到一个相同的结束图。此外,从结束图开始,应该可以通过反向应用更改返回到初始图。这使用完全相同的功能,但要求更改协议(protocol)在保留新值的同时保留旧值。

API 许可应与商业用途兼容。

[编辑] 到目前为止,我没有得到有用的答案,而且我想要的似乎也不存在。这让我只有一个选择:让它发生。当我有一个可行的实现时,我会在此处发布一个链接作为答案,因为这是我项目的下一步,没有它我无法继续。

[编辑] 我偶然发现了这个有点相关的问题:Is there a Java library that can "diff" two Objects?

最佳答案

Kryo v1 有一个序列化程序,它知道最后被序列化的数据 并且只发出一个增量。读取时,它知道最后收到的数据 并应用增量。增量是在字节级别上完成的。 Here是个 序列化器。大部分工作由 this class 完成.这可以用于一些有用的方式,例如类似于 Quake 3 的网络。

这在 Kryo v2 中被省略了,因为 AFAIK 它从未被使用过。 此外,它没有广泛的测试集。虽然可以移植 并且可以做你需要的,或者作为你需要的基础。

上面还发布在 JVM 序列化程序 mailing list .

在对象级别执行此操作会有点棘手。您可以编写类似于 FieldSerializer 的内容。同时遍历两个对象图虽然这将是独立代码,而不是 Kryo 序列化程序。在每个级别,您都可以调用 equals。写一个字节,这样当你读的时候你就知道它是否相等。如果不等于,则使用 Kryo 编写对象。对于同一个对象,Equals 会被多次调用,尤其是对于深度嵌套的对象。

您可能会这样做的另一种方法是仅对标量和字符串执行上述操作,即仅对输出类写入的值执行上述操作。问题是走两个对象图。要使用 Kryo,我认为您必须复制所有序列化程序才能了解其他对象图。

您可能可以将 Kryo 与您自己的输出一起使用,该输出在列表中收集值而不是编写它们。使用它来“序列化”您的旧对象图。现在编写另一个版本的你自己的输出,它接受这个列表并用它来序列化你的新对象图。每次写入一个值时,首先检查它与列表中的下一个对象。如果等于,写一个 1。如果不等于,写一个 0,然后是值。

这可以通过两次使用第一个输出来提高空间效率,一次在旧图上,一次在新图上。现在你有两个值列表。使用这些来编写一个表示相等的位串。这节省了为每个值写入整个字节的空间,但具有额外列表的开销。最后,写出所有不相等的值。

要完成这个想法,您需要能够反序列化数据。您将需要一个您自己的 Input 类版本,该类从旧对象图中获取值列表。您的输入首先读取位串(或每个值一个字节)。对于相等的值,它从列表中返回值,而不是从数据中读取。如果一个值不相等,它会调用 super 方法从数据中读取。

我不确定这是否会比在字节级别上更快。如果我不得不猜测,我会说它可能会更快。将所有值存储在列表中将需要大量装箱/拆箱,并且这种方法仍然会分配所有字段,即使它们没有更改。我怀疑无论哪种方式性能都会成为问题,所以我可能只会选择更简单的方法。很难说那是什么...复活 delta 的东西或编写自己的输出/输入类。

如果您想回馈 Kryo,那当然很棒。 :)

关于java - 是否有对象更改跟踪/版本控制 Java API?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/10044476/

有关java - 是否有对象更改跟踪/版本控制 Java API?的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法? - 2

    总的来说,我对ruby​​还比较陌生,我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础,我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. ruby-on-rails - Ruby on Rails 迁移,将表更改为 MyISAM - 2

    如何正确创建Rails迁移,以便将表更改为MySQL中的MyISAM?目前是InnoDB。运行原始执行语句会更改表,但它不会更新db/schema.rb,因此当在测试环境中重新创建表时,它会返回到InnoDB并且我的全文搜索失败。我如何着手更改/添加迁移,以便将现有表修改为MyISAM并更新schema.rb,以便我的数据库和相应的测试数据库得到相应更新? 最佳答案 我没有找到执行此操作的好方法。您可以像有人建议的那样更改您的schema.rb,然后运行:rakedb:schema:load,但是,这将覆盖您的数据。我的做法是(假设

  3. ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2

    给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息? 最佳答案 在Rails3中,update_all不返回任何有意义的信息,除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru

  4. ruby-on-rails - 按天对 Mongoid 对象进行分组 - 2

    在控制台中反复尝试之后,我想到了这种方法,可以按发生日期对类似activerecord的(Mongoid)对象进行分组。我不确定这是完成此任务的最佳方法,但它确实有效。有没有人有更好的建议,或者这是一个很好的方法?#eventsisanarrayofactiverecord-likeobjectsthatincludeatimeattributeevents.map{|event|#converteventsarrayintoanarrayofhasheswiththedayofthemonthandtheevent{:number=>event.time.day,:event=>ev

  5. ruby-on-rails - 如何验证非模型(甚至非对象)字段 - 2

    我有一个表单,其中有很多字段取自数组(而不是模型或对象)。我如何验证这些字段的存在?solve_problem_pathdo|f|%>... 最佳答案 创建一个简单的类来包装请求参数并使用ActiveModel::Validations。#definedsomewhere,atthesimplest:require'ostruct'classSolvetrue#youcouldevencheckthesolutionwithavalidatorvalidatedoerrors.add(:base,"WRONG!!!")unlesss

  6. Ruby 写入和读取对象到文件 - 2

    好的,所以我的目标是轻松地将一些数据保存到磁盘以备后用。您如何简单地写入然后读取一个对象?所以如果我有一个简单的类classCattr_accessor:a,:bdefinitialize(a,b)@a,@b=a,bendend所以如果我从中非常快地制作一个objobj=C.new("foo","bar")#justgaveitsomerandomvalues然后我可以把它变成一个kindaidstring=obj.to_s#whichreturns""我终于可以将此字符串打印到文件或其他内容中。我的问题是,我该如何再次将这个id变回一个对象?我知道我可以自己挑选信息并制作一个接受该信

  7. ruby - 检查数组是否在增加 - 2

    这个问题在这里已经有了答案:Checktoseeifanarrayisalreadysorted?(8个答案)关闭9年前。我只是想知道是否有办法检查数组是否在增加?这是我的解决方案,但我正在寻找更漂亮的方法:n=-1@arr.flatten.each{|e|returnfalseife

  8. Ruby Readline 在向上箭头上使控制台崩溃 - 2

    当我在Rails控制台中按向上或向左箭头时,出现此错误:irb(main):001:0>/Users/me/.rvm/gems/ruby-2.0.0-p247/gems/rb-readline-0.4.2/lib/rbreadline.rb:4269:in`blockin_rl_dispatch_subseq':invalidbytesequenceinUTF-8(ArgumentError)我使用rvm来管理我的ruby​​安装。我正在使用=>ruby-2.0.0-p247[x86_64]我使用bundle来管理我的gem,并且我有rb-readline(0.4.2)(人们推荐的最少

  9. ruby-on-rails - 项目升级后 Pow 不会更改 ruby​​ 版本 - 2

    我在我的Rails项目中使用Pow和powifygem。现在我尝试升级我的ruby​​版本(从1.9.3到2.0.0,我使用RVM)当我切换ruby​​版本、安装所有gem依赖项时,我通过运行railss并访问localhost:3000确保该应用程序正常运行以前,我通过使用pow访问http://my_app.dev来浏览我的应用程序。升级后,由于错误Bundler::RubyVersionMismatch:YourRubyversionis1.9.3,butyourGemfilespecified2.0.0,此url不起作用我尝试过的:重新创建pow应用程序重启pow服务器更新战俘

  10. ruby-on-rails - 如果 Object::try 被发送到一个 nil 对象,为什么它会起作用? - 2

    如果您尝试在Ruby中的nil对象上调用方法,则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而,有一个tryRails中的方法,如果它被发送到一个nil对象,它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常? 最佳答案 像Ruby中的所有其他对象

随机推荐