草庐IT

去重复

全部标签

mongodb - 尝试使用 scala 从 Spark 向 mongodb 写入 $group 聚合时出现重复键错误

编辑:此编辑可能会改变此问题的进程。在spark上运行的mongodb聚合(特别是$group)在写回集合时创建了重复的_id记录。结果,mongodb抛出重复键错误。顺便说一句,这个查询在mongoshell中运行得很好。这是我做的:我拿了一个小数据集,并将(聚合)spark代码的结果打印到控制台,而不是写入集合。我打印了完整的结果集,但在_id字段中发现了重复项。数据看起来像这样:(已编辑)Document{{_id=Document{{prodCategory=123},{proId=ABC},{‌​location=US}},details=[Document{{....}},

c# - Mongo 替换导致子文档中的重复项 C#

interfaceNameable{stringName{get;set;}}classParent:Nameable{publicstringName{get;set;}publicListChildren{get;set;}=newList();}classChild{publicstringName{get;set;}publicintValue{get;set;}publicstringDataOne{get;set;}publicstringDataTwo{get;set;}publicdoubleDataThree{get;set;}}staticasyncvoidMain

javascript - Mongoose 的 findOneAndUpdate 和 upsert 中的重复键错误

当来self的csv文件的输入有两行或更多行具有相同的电子邮件地址时,我在使用findOneAndUpdate时遇到了一些问题。电子邮件地址在我的模型中设置为唯一,我认为findOneAndUpdate可以让我处理csv文件中的重复。代码如下。阅读here这是因为我的查询中的字段(在本例中为电子邮件)也是我想要创建的字段之一,以防找不到记录。我不确定这是不是真的。在任何情况下,电子邮件都是我的标识符,所以它必须在那里。进一步解释该行为:当csv文件包含在我运行脚本之前已存储在MongoDB中的电子邮件地址时,findOneAndUpdate完美运行但是,当我在csv文件中有两条记录共享

javascript - 从 for 循环中推送一个数组并将对象存储到 Mongoose 中,是重复值

我正在发布一个数组,其中包含这样的名称元素,'[Training1,Training2,Training3]',这些数组元素有自己的'_ids'。我需要将这些元素的对象_id保存到另一个模型中,该模型有一个ref.varTrainingNameSchema=newSchema({trainingname:{type:String}});varTrainingLevelSchema=newSchema({levelname:{type:String},trainingnames:[{type:Schema.Types.ObjectId,ref:'TrainingName'}]});我在发

mongodb - 处理 CRUD 应用程序中的重复值错误(react-redux + express-mongoose)

具有mongoose架构,其中carNumber应该是唯一的:varSchema=mongoose.Schema({createdAt:{type:Date,default:Date.now},carNumber:{type:String,index:{unique:true,dropDups:true},},carOwner:String});使用expresscontroller函数数据保存到db:exportconstaddCar=(req,res)=>{constnewCar=newCar(req.body);newCar.save((err,car)=>{if(err){re

mongodb - 多组 - 对数组内的每个值进行平均,而不会与另一个文档重复

为了更好地理解,我添加了三个JSON示例数据:{"_id":ObjectId("5b961bdfd6588fed3fd8e2a9"),"claim":ObjectId("5b927bd9c725181a3dc9107e"),"user":ObjectId("5b869a5d0d56de9d788edb7e"),"comprisedPhrase":[{"phrase":"ABC","like":1,"dislike":0},{"phrase":"DEF","like":0,"dislike":1},{"phrase":"GHI","like":1,"dislike":0}],},{"_i

mongodb - MongoDB 模型上的重复键错误,即使模型没有为该值强制执行唯一性

在我的应用程序中,我有一个端点,允许用户通过简单地传递如下内容来创建新文档:{name:{long:"somename"}}现在,本文档模型的相关部分如下所示:name:{long:{type:String,trim:true},short:{type:String,trim:true}}如您所见,我没有将“short”设置为“unique:true”。但是,用户收到此错误:"errmsg":"E11000duplicatekeyerrorcollection:hr.agenciesindex:name.short_1dupkey:{:null}"所以,这里的问题显然是,一旦您有多个值

mongodb - 没有重复的 Mongoose 帖子

我正在尝试查看不允许数据库中有多个实例(因此没有重复项)的发布/创建。我查看了带有{upsert:true}的updateOne,这对我不起作用,因为它仅在您有一组特定数据时才有效。示例数据:cat:{name:"jim",age:8}示例模型:cat:{name:String}我的代码:object.updateOne(req.body,req.body,{upsert:true},function(err,object){if(err)console.log(err);res.json(object);})}else{res.json('error:type:'+req.param

javascript - 防止 MongoDB 中的重复文档?

我正在尝试找出防止重复文档保存在MongoDB中的最佳方法。现在我的表单从用户那里获取user_url。逻辑是:检查user_url是否有效。(dns.lookup)如果user_url是新的,将其保存到数据库并返回url_ID。如果user_url是旧的,只返回url_ID。我认为我的2个选择是:varfindOneURL=function(user_url,done){URL.findOne({orig_url:user_url},(err,data)=>{if(err){done(err);}done(null,data);})}或varfindEditThenSave=func

SQL查询来自重复项的最高价值

我有一个看起来像这样的桌子。username|vendor|time-------------------------x|a|10x|b|11x|c|12y|a|9y|c|14我想在其用户名之间取出时间值最高的行,因此看起来应该这样:username|vendor|time-------------------------x|c|12y|c|14我不知道如何在几个疑问中没有得到我想要的东西。这会是什么样?谢谢!看答案此代码是数据库不可知论:SELECTusername,vendor,MAX(time)FROMfooWHEREvendor='c'GROUPBYusername,vendor;如果