草庐IT

mapreduce-name

全部标签

mongoDB mapreduce 运行 3m 文档需要很长时间

我有一个包含300万份文档的集合。每个文档有40个字段。字段如下所示。{"b_date":"2016-04-05","d_date":"2016-06-25","pos":"MISC","origin":"DXB","destination":"HGA","pax":1,"pax_1":2},{"b_date":"2016-04-05","d_date":"2016-06-25","pos":"MISC","origin":"DXB","destination":"HGA","pax":4,"pax_1":5},{"b_date":"2016-04-05","d_date":"2016

node.js - MongoDB NodeJS 驱动程序 : Duplicate key `E11000` extract index name

在使用MongoDBNodeJS驱动程序(甚至mongoose)时,插入新文档时,可能会返回一个E11000错误,表明发生了重复键冲突。如果我要插入的集合有多个唯一索引并且我想确定其中一个被命中(例如,通知用户他的用户名和/或电子邮件已被占用)怎么办?这是插入具有冲突索引的文档后引发的错误:{"name":"MongoError","message":"E11000duplicatekeyerrorindex:db.users.$_id_dupkey:{:\"blucell\"}","driver":true,"index":0,"code":11000,"errmsg":"E1100

Error creating bean with name ‘xx‘: Invocation of init method failed; 无法创建 SqlSessionFactory !

今天遇到了这个问题,新增了一个功能后springboot项目起不了了,报错日志在下面,百度了很久都没有解决,一直以为是不是有同事改了配置文件然后给提交了,后来发现原来是新增的sql没有把“”能正常启动了16:58:56.153[main]ERRORorg.springframework.boot.SpringApplication:Applicationrunfailedorg.springframework.beans.factory.BeanCreationException:Errorcreatingbeanwithname'com.xxx.light.container.spring.

mongodb - 如何在 MongoDB ex : name instead of id 中使用自定义字段对分页进行索引和排序

https://scalegrid.io/blog/fast-paging-with-mongodb/Example:{_id,name,company,state}我已经完成了上面链接中解释的2个场景,它说按对象ID排序在检索和排序结果时性能良好。我不想使用对象id进行默认排序,而是想为自己的自定义字段“名称”建立索引,而“公司”希望对这两个字段进行排序和分页(两个字段都包含字符串值)。我不确定我们如何使用gt或lt作为名称,目前已阻止如何解决此问题以在用户按名称排序时提供分页。如何对两个字段进行索引和分页? 最佳答案 你的问题的

java - Java中MongoDB的MapReduce函数返回null

我的MongoDB中有一些测试数据:>db.test2.find(){"_id":ObjectId("4e76ad8e9d7dc2438ab63dbb"),"name":"John","number":2}{"_id":ObjectId("4e76ad8e9d7dc2438ab63dbc"),"name":"Jane","number":1}{"_id":ObjectId("4e76ad8e9d7dc2438ab63dbd"),"name":"John","number":2}{"_id":ObjectId("4e76ad8e9d7dc2438ab63dbe"),"name":"Jan

ruby - MongoDB 和 MongoRuby : Sorting on mapreduce

我目前正在尝试对存储在MongoDB中的一些文档进行简单的mapreduce。我用map=BSON::Code.new"function(){emit(this.userid,1);}"用于映射和reduce=BSON::Code.new"function(key,values){varsum=0;values.forEach(function(value){sum+=value;});returnsum;}"为减少。当我按以下方式调用map_reduce时,效果很好:output=col.map_reduce(map,reduce,#colisthecollectioninmongo

当 reduce 函数不使用来自 emit 的变量时,MongoDB MapReduce 出现奇怪的值

我想使用mapreduce来执行组聚合。这是我的map功能:function(){emit(this.TransactionType,{Count:1});}这里有两个reduce函数:function(key,values){varresult={Count:0};values.forEach(function(value){result.Count+=1;});returnresult;}function(key,values){varresult={Count:0};values.forEach(function(value){result.Count+=value.Count;

perl - 如何使用 Perl MongoDB 包在 Mongo 副本上进行 MapReduce

我正在使用Perlv5.12和MongoDB软件包v0.45。我想运行一个MapReduce作业来创建一个新集合,然后我将创建一个游标以供稍后使用。我的另一个愿望是这项工作在副本而不是主服务器上运行。如perl文档中所定义,MapReduce作业将使用run_command方法执行。当我执行perl脚本时,我得到:Mongoerror:notmasteratperlib/Connections.pmline63.阅读关于CPAN的MongoDB文档后,似乎只有一种方法可以使游标从副本读取。因此该方法不适用于对run_command()的调用。这是我的代码:subget_data{my$

node.js - 如何在带有 NodeJS 的 MongoDB 中为 mapReduce 使用变量

我有一组看起来像的事件{_id:BSONIDname:"event_name",values:{a:10,b:1000,c:50}}我正在尝试使用mapReduce它们使用map=function(){returnemit([this.name,this.values['a']],this.values['b']);}reduce=function(key,values){//stuff}collection.mapReduce(map,reduce,{out:{inline:1}},callback);但是,我希望能够动态更改我映射的值。本质上,我想要varkey='a';varva

深入理解MapReduce:使用Java编写MapReduce程序【上进小菜猪】

📬📬我是上进小菜猪,沈工大软件工程专业,爱好敲代码,持续输出干货。MapReduce是一种用于处理大规模数据集的并行编程模型。由于其高效性和可扩展性,MapReduce已成为许多大型互联网公司处理大数据的首选方案。在本文中,我们将深入了解MapReduce,并使用Java编写一个简单的MapReduce程序。MapReduce的原理MapReduce由两个主要阶段组成:Map和Reduce。在Map阶段中,数据集被分成若干个小块,每个小块由Map函数处理,输出一系列键值对。在Reduce阶段中,键值对被聚合成一组较小的结果集。下面我们详细讲解每个阶段的原理。Map阶段Map阶段的输入是原始数据