java - Spring JPA : What is the cost of saveandflush vs save?

coder 2023-05-12 原文

我有一个由一组微服务构建的应用程序。一个服务接收数据，通过 Spring JPA 和 Eclipse 链接将其持久化，然后向第二个服务发送警报 (AMQP)。

根据特定条件，第二个服务然后针对持久化数据调用 RESTfull Web 服务以检索保存的信息。

我注意到有时 RESTfull 服务会返回空数据集，即使数据之前已保存。查看持久化服务的代码，使用了 save 而不是 saveandflush，所以我假设数据刷新的速度不够快以供下游服务查询。

saveandflush 是否有我应该厌倦的成本，或者默认使用它是否合理？

它会确保数据对下游应用程序的即时可用性吗？

应该说原来的持久化函数是包裹在@Transactional里面的

最佳答案

问题的可能预测
我相信这里的问题与save无关。对比 saveAndFlush .问题似乎与 Spring 的性质有关 @Transactional方法，以及在涉及您的数据库和 AMQP 代理的分布式环境中错误使用这些事务，并且可能会增加对 JPA 上下文如何工作的一些基本误解。
在您的解释中，您似乎暗示您在 @Transactional 内开始您的 JPA 事务。方法，并且在事务期间(但在提交之前)，您将消息发送到 AMQP 代理。稍后，在队列的另一端，消费者应用程序获取消息并进行 REST 服务调用。此时，您注意到来自发布方的事务性更改尚未提交到数据库，因此对消费者方不可见。
问题似乎是您在 JPA 事务中传播这些 AMQP 消息，然后才将其提交到磁盘。当消费者读取消息并对其进行处理时，您从发布方的交易可能尚未完成。因此，消费者应用程序看不到这些更改。
如果你的 AMPQ 实现是 Rabbit，那么我之前也见过这个问题。当您开始 @Transactional使用数据库事务管理器的方法，在该方法中，您使用 RabbitTemplate发送相应的消息。
如果您的 RabbitTemplate未使用事务 channel (即 channelTransacted=true )，那么您的消息将在数据库事务提交之前传递。我相信通过在您的 RabbitTemplate 中启用交易 channel (默认情况下禁用) ，你解决了部分问题。

<rabbit:template id="rabbitTemplate" 
                 connection-factory="connectionFactory" 
                 channel-transacted="true"/>

当 channel 被交易时，则 RabbitTemplate “加入”当前的数据库事务(显然是一个 JPA 事务)。一旦您的 JPA 事务提交，它就会运行一些尾声代码，这些代码也会提交您的 Rabbit channel 中的更改，这会强制实际“发送”消息。
关于 save 与 saveAndFlush
您可能认为刷新 JPA 上下文中的更改应该可以解决问题，但您错了。刷新 JPA 上下文只会强制将实体中的更改(此时仅在内存中)写入磁盘。但是，它们仍然在相应的数据库事务中写入磁盘，直到您的 JPA 事务提交后才会提交。这发生在您的 @Transactional 的末尾方法(不幸的是，在您已经发送了 AMQP 消息之后的一段时间 - 如果您不使用如上所述的事务处理 channel )。
因此，即使您刷新 JPA 上下文，您的消费者应用程序也不会看到这些更改(根据经典数据库隔离级别规则)，直到您 @Transactional方法已在您的发布者应用程序中完成。
当您调用 save(entity), EntityManager不需要立即同步任何更改。大多数 JPA 实现只是将实体标记为内存中的脏，并等到最后一分钟将所有更改与数据库同步并在数据库级别提交这些更改。
注意:在某些情况下，您可能希望其中一些更改立即下放到磁盘，直到异想天开的 EntityManager决定这样做。当数据库表中有一个触发器需要它运行以生成一些您稍后在事务期间需要的附加记录时，就会发生这种情况的一个经典示例。因此，您强制将更改刷新到磁盘，从而强制运行触发器。
通过刷新上下文，您只是强制将内存中的更改同步到磁盘，但这并不意味着这些修改的即时数据库提交。因此，您刷新的那些更改不一定对其他事务可见。基于传统的数据库隔离级别，它们很可能不会。
2PC 问题
这里的另一个经典问题是您的数据库和您的 AMQP 代理是两个独立的系统。如果这是关于 Rabbit，那么您就没有 2PC(两阶段提交)。
因此，您可能需要考虑一些有趣的场景，例如，您的数据库事务成功提交。尽管如此，Rabbit 仍无法提交您的消息，在这种情况下，您将不得不重复整个事务，可能会跳过数据库副作用并重新尝试将消息发送给 Rabbit。
您可能应该在 Distributed transactions in Spring, with and without XA 上阅读这篇文章，特别是链上交易的部分有助于解决这个问题。
他们提出了更复杂的事务管理器定义。例如:

<bean id="jdbcTransactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
    <property name="dataSource" ref="dataSource"/>
</bean>

<bean id="rabbitTransactionManager" class="org.springframework.amqp.rabbit.transaction.RabbitTransactionManager">
    <property name="connectionFactory" ref="connectionFactory"/>
</bean>

<bean id="chainedTransactionManager" class="org.springframework.data.transaction.ChainedTransactionManager">
    <constructor-arg name="transactionManagers">
        <array>
            <ref bean="rabbitTransactionManager"/>
            <ref bean="jdbcTransactionManager"/>
        </array>
    </constructor-arg>
</bean>

然后，在您的代码中，您只需使用该链式事务管理器来协调您的数据库事务部分和 Rabbit 事务部分。
现在，您仍有可能提交数据库部分，但 Rabbit 事务部分会失败。
所以，想象一下这样的事情:

@Retry
@Transactional("chainedTransactionManager")
public void myServiceOperation() {
    if(workNotDone()) {
        doDatabaseTransactionWork();
    }
    sendMessagesToRabbit();
}

通过这种方式，如果您的 Rabbit 事务部分由于任何原因失败，并且您被迫重试整个链式事务，您将避免重复数据库副作用，只需确保将失败的消息发送给 Rabbit。
同时，如果你的数据库部分出现故障，那么你永远不会向Rabbit发送消息，也不会有问题。
或者，如果您的数据库副作用是幂等的，那么您可以跳过检查，重新应用数据库更改，然后重新尝试将消息发送给 Rabbit。
事实是，最初，您尝试做的事情看似简单，但是一旦您深入研究了不同的问题并理解了它们，您就会意识到以正确的方式做这件事是一件棘手的事情。

关于java - Spring JPA : What is the cost of saveandflush vs save?，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43883786/

saveandflush Spring code 34 的 java eclipselink spring-data-jpa

有关java - Spring JPA : What is the cost of saveandflush vs save?的更多相关文章

java - 等价于 Java 中的 Ruby Hash - 2
我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么？最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设？关于java-等价于Java中的RubyHash，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/22737685/
java - 从 JRuby 调用 Java 类的问题 - 2
我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java，并成功地将它与另一个Java包一起使用，但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www
java - 我的模型类或其他类中应该有逻辑吗 - 2
我只想对我一直在思考的这个问题有其他意见，例如我有classuser_controller和classuserclassUserattr_accessor:name,:usernameendclassUserController//dosomethingaboutanythingaboutusersend问题是我的User类中是否应该有逻辑user=User.newuser.do_something(user1)oritshouldbeuser_controller=UserController.newuser_controller.do_something(user1,user2)我
java - 什么相当于 ruby 的 rack 或 python 的 Java wsgi？ - 2
什么是ruby的rack或python的Java的wsgi？还有一个路由库。最佳答案来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht
Observability：从零开始创建 Java 微服务并监控它（二） - 2
这篇文章是继上一篇文章“Observability：从零开始创建Java微服务并监控它（一）”的续篇。在上一篇文章中，我们讲述了如何创建一个Javaweb应用，并使用Filebeat来收集应用所生成的日志。在今天的文章中，我来详述如何收集应用的指标，使用APM来监控应用并监督web服务的在线情况。源码可以在地址 https://github.com/liu-xiao-guo/java_observability 进行下载。摄入指标指标被视为可以随时更改的时间点值。当前请求的数量可以改变任何毫秒。你可能有1000个请求的峰值，然后一切都回到一个请求。这也意味着这些指标可能不准确，你还想提取最小/
【Java 面试合集】HashMap中为什么引入红黑树，而不是AVL树呢 - 2
HashMap中为什么引入红黑树，而不是AVL树呢1.概述开始学习这个知识点之前我们需要知道，在JDK1.8以及之前，针对HashMap有什么不同。JDK1.7的时候，HashMap的底层实现是数组+链表JDK1.8的时候，HashMap的底层实现是数组+链表+红黑树我们要思考一个问题，为什么要从链表转为红黑树呢。首先先让我们了解下链表有什么不好？？？2.链表上述的截图其实就是链表的结构，我们来看下链表的增删改查的时间复杂度增：因为链表不是线性结构，所以每次添加的时候，只需要移动一个节点，所以可以理解为复杂度是N(1)删：算法时间复杂度跟增保持一致查：既然是非线性结构，所以查询某一个节点的时候
【Java入门】使用Java实现文件夹的遍历 - 2
遍历文件夹我们通常是使用递归进行操作，这种方式比较简单，也比较容易理解。本文为大家介绍另一种不使用递归的方式，由于没有使用递归，只用到了循环和集合，所以效率更高一些！一、使用递归遍历文件夹整体思路1、使用File封装初始目录，2、打印这个目录3、获取这个目录下所有的子文件和子目录的数组。4、遍历这个数组，取出每个File对象4-1、如果File是否是一个文件，打印4-2、否则就是一个目录，递归调用代码实现publicclassSearchFile{publicstaticvoidmain(String[]args){//初始目录Filedir=newFile("d:/Dev");Datebeg
java - 为什么 ruby modulo 与 java/other lang 不同？ - 2
我基本上来自Java背景并且努力理解Ruby中的模运算。(5%3)(-5%3)(5%-3)(-5%-3)Java中的上述操作产生，2个-22个-2但在Ruby中，相同的表达式会产生21个-1-2.Ruby在逻辑上有多擅长这个？模块操作在Ruby中是如何实现的？如果将同一个操作定义为一个web服务，两个服务如何匹配逻辑。最佳答案在Java中，模运算的结果与被除数的符号相同。在Ruby中，它与除数的符号相同。remainder()在Ruby中与被除数的符号相同。您可能还想引用modulooperation.
java - Ruby 相当于 Java 的 Collections.unmodifiableList 和 Collections.unmodifiableMap - 2
Java的Collections.unmodifiableList和Collections.unmodifiableMap在Ruby标准API中是否有等价物？最佳答案使用freeze应用程序接口(interface):Preventsfurthermodificationstoobj.ARuntimeErrorwillberaisedifmodificationisattempted.Thereisnowaytounfreezeafrozenobject.SeealsoObject#frozen?.Thismethodretur
java - Java 的 StringReader 的 Ruby 等价物是什么？ - 2
在Java中，可以像这样从一个字符串创建一个IO流:Readerr=newStringReader("mytext");我希望能够在Ruby中做同样的事情，这样我就可以获取一个字符串并将其视为一个IO流。最佳答案 r=StringIO.new("mytext")和here'sthedocumentation. 关于java-Java的StringReader的Ruby等价物是什么？，我们在StackOverflow上找到一个类似的问题： https://st

java - Spring JPA : What is the cost of saveandflush vs save?

有关java - Spring JPA : What is the cost of saveandflush vs save?的更多相关文章

随机推荐