草庐IT

mongodb/mongoTemplate.upsert批量插入更新数据的实现

热爱生活的猴子 2023-08-21 原文

今天来记录一下，项目中使用到的mongoTemplate.upsert，在批量更新数据上的用法。

   // mongoTemplate.upsert有三种用法，主要功能是更新数据，如果数据不存在就新增
   mongoTemplate.upsert(query,update, MongoDbJavaTest.class);

   //"mongodb_java_test"这里的字符串可以按照MongoDbJavaTest.class实体类对应的表格名称
   mongoTemplate.upsert(query,update,"mongodb_java_test");

   mongoTemplate.upsert(query,update, MongoDbJavaTest.class,"mongodb_java_test");

下面直接举实例： 

import org.springframework.data.util.Pair;//Pair的包地址

public void upsertUser(List<UserPo> users){

  List<Pair<Query, Update>> updateList = new ArrayList<>(userTagDocs.size());
 
  users.forEach(data -> {
     Query query = new Query(new 
     Criteria("phone").is(data.getPhone()).and("deleted").is(false);

     Update update = new Update();

//如果userId是主键，必须使用setOnInsert()。当满足查询条件的记录存在，则不执行setOnInsert中的操作，当满足条件的记录不存在则执行setOnInsert操作。与set指令配合使用，可以作为set指令的补充。
     update.setOnInsert("userId", data.getUserId());
     update.set("name", data.getName());
     update.set("phone", data.getPhone());
     update.setOnInsert("deleted", false);

     Pair<Query, Update> updatePair = Pair.of(query, update);

     updateList.add(updatePair);
  });

 //BulkMode.UNORDERED:表示并行处理，遇到错误时能继续执行不影响其他操作；
 //BulkMode.ORDERED：表示顺序执行，遇到错误时会停止所有执行

 mongoTemplate.bulkOps(BulkOperations.BulkMode.UNORDERED, userPo.class).upsert(updateList);

//一定要加.execute()才能执行
 BulkWriteResult result = operations.execute();
}

附录一些可以参考的帖子：

mongoTemplate批量更新保存子文档集合_隔壁的老司机的博客-CSDN博客_mongotemplate批量保存项目中遇到批量保存或者更新文档,使用mongotemplate的upsert来处理，发现会直接覆盖之前的子集，而不是按照自己的规则去追加，或者更新子集最后想到一个思路，记录一下List<DayAir> dayAirList = mergeList(currentTime, syncMinutes);if (!dayAirList.isEmpty()) { //按照唯一键查询出对应文档 dayAirList.forEach(air -> { ...https://blog.csdn.net/chenxing1990/article/details/113250330?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~aggregatepage~first_rank_ecpm_v1~rank_v31_ecpm-2-113250330-null-null.pc_agg_new_rank&utm_term=mongotemplate%20upsert%20%E6%89%B9%E9%87%8F&spm=1000.2123.3001.4430 
springboot mongodb 批量(bulkOps)插入或更新(upsert)数据_sms technonogy的博客-CSDN博客_mongodb 批量upsert参与的项目中有一个业务场景，有两个消费者从kafka中拉取数据消费：1、订单消费者：从订单队列中拉取订单数据，插入到mongodb，集合名称为order（主要包含id、orderNo、orderName、status）2、订单状态消费者：从订单状态队列中拉取数据，更新order集合中的状态字段（status）存在问题：1、订单状态消费者消费依赖于订单消费者，如果订单消费者消费速度慢了，订单还没有插入到mongodb中，订单状态根据订单号orderNo去更新数据，则会找不到订单数据...https://blog.csdn.net/maxi1234/article/details/114088805?spm=1001.2101.3001.6650.2&utm_medium=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromBaidu~default-2-114088805-blog-84794894.pc_relevant_vip_default&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromBaidu~default-2-114088805-blog-84794894.pc_relevant_vip_default&utm_relevant_index=1

mongodb的BulkOperations，springboot批量插入数据时若数据库存在数据则更新，同时更新elasticSearch_小龙飞2的博客-CSDN博客// mongodb 的批量插入或者更新 List<Pair<Query, Update>> updateList = new ArrayList<>(userTagDocs.size()); BulkOperations operations = mongoTemplate.bulkOps(BulkOpera...https://blog.csdn.net/weixin_40898368/article/details/103485123

mongoTemplatemongodbxff0cxffclass数据库java

有关mongodb/mongoTemplate.upsert批量插入更新数据的实现的更多相关文章

  1. ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2

    给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru

  2. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  3. ruby-on-rails - 使用 rails 4 设计而不更新用户 - 2

    我将应用程序升级到Rails4，一切正常。我可以登录并转到我的编辑页面。也更新了观点。使用标准View时，用户会更新。但是当我添加例如字段:name时，它​​不会在表单中更新。使用devise3.1.1和gem'protected_attributes'我需要在设备或数据库上运行某种更新命令吗？我也搜索过这个地方，找到了许多不同的解决方案，但没有一个会更新我的用户字段。我没有添加任何自定义字段。 最佳答案 如果您想允许额外的参数，您可以在ApplicationController中使用beforefilter，因为Rails4将参数

  4. ruby - 如何根据特征实现 FactoryGirl 的条件行为 - 2

    我有一个用户工厂。我希望默认情况下确认用户。但是鉴于unconfirmed特征，我不希望它们被确认。虽然我有一个基于实现细节而不是抽象的工作实现，但我想知道如何正确地做到这一点。factory:userdoafter(:create)do|user,evaluator|#unwantedimplementationdetailshereunlessFactoryGirl.factories[:user].defined_traits.map(&:name).include?(:unconfirmed)user.confirm!endendtrait:unconfirmeddoenden

  5. ruby - Ruby 有 `Pair` 数据类型吗？ - 2

    有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？ 最佳

  6. ruby - 我如何添加二进制数据来遏制 POST - 2

    我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_

  7. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD

  8. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

    华为OD机试题本篇题目：明明的随机数题目输入描述输出描述：示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od，od薪资待遇，od机试题清单华为OD机试真题大全，用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

  9. FOHEART H1数据手套驱动Optitrack光学动捕双手运动(Unity3D) - 2

    本教程将在Unity3D中混合Optitrack与数据手套的数据流，在人体运动的基础上，添加双手手指部分的运动。双手手背的角度仍由Optitrack提供，数据手套提供双手手指的角度。 01  客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照：https://gitee.com/foheart_1/foheart-h1-data-summary.git02  数据转发打开MotiveBody软件的Streaming，开始向Unity3D广播数据；MotionVenus中设置->选项选择Unit

  10. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

随机推荐