草庐IT

mapReduce

全部标签

mongoDB mapreduce 运行 3m 文档需要很长时间

我有一个包含300万份文档的集合。每个文档有40个字段。字段如下所示。{"b_date":"2016-04-05","d_date":"2016-06-25","pos":"MISC","origin":"DXB","destination":"HGA","pax":1,"pax_1":2},{"b_date":"2016-04-05","d_date":"2016-06-25","pos":"MISC","origin":"DXB","destination":"HGA","pax":4,"pax_1":5},{"b_date":"2016-04-05","d_date":"2016

java - Hadoop map/reduce 显示错误 : com. mongodb.connection.SslSettings$Builder.context(Ljavax/net/ssl/SSLContext;)

我定期运行map/reduce作业,最近我收到了这种日志:17/09/2710:38:03INFOmapreduce.Job:map27%reduce0%17/09/2710:38:07INFOmapreduce.Job:TaskId:attempt_1494368272823_5583_m_000014_0,Status:FAILEDError:com.mongodb.connection.SslSettings$Builder.context(Ljavax/net/ssl/SSLContext;)Lcom/mongodb/connection/SslSettings$Builder

mongodb - Map Reduce 标记计数范围按日期和类别

我仍在努力思考mapreduce。我有一组文章,每篇文章属于一个类别,每篇文章都有一组关键词。假设文档看起来像这样:{author:"kris",category:"mongodb",content:"...",keywords:["keyword1","keyword2","keyword3"],created_at:"..."}我想基本上从所有文档中提取关于作者的关键字计数,所以我最终得到如下内容:{author:"kris",categories:{mongodb:{keyword1:5,keyword2:3,keyword3:1},ruby:{...},python:{...}

java - Java中MongoDB的MapReduce函数返回null

我的MongoDB中有一些测试数据:>db.test2.find(){"_id":ObjectId("4e76ad8e9d7dc2438ab63dbb"),"name":"John","number":2}{"_id":ObjectId("4e76ad8e9d7dc2438ab63dbc"),"name":"Jane","number":1}{"_id":ObjectId("4e76ad8e9d7dc2438ab63dbd"),"name":"John","number":2}{"_id":ObjectId("4e76ad8e9d7dc2438ab63dbe"),"name":"Jan

ruby - MongoDB 和 MongoRuby : Sorting on mapreduce

我目前正在尝试对存储在MongoDB中的一些文档进行简单的mapreduce。我用map=BSON::Code.new"function(){emit(this.userid,1);}"用于映射和reduce=BSON::Code.new"function(key,values){varsum=0;values.forEach(function(value){sum+=value;});returnsum;}"为减少。当我按以下方式调用map_reduce时,效果很好:output=col.map_reduce(map,reduce,#colisthecollectioninmongo

mongodb - "missing : after property id"在简单 map/reduce 的上下文中意味着什么?

我在mongodb数据库中有一组对象,其中嵌入了测量值。我正在尝试进行映射/缩减以获取有关测量的统计信息。好吧,我遇到了一些问题,所以我只是让它尽可能简单:获取每个测量的数量。m=function(){emit(mp,{meas:this.measurements});};r=function(){return{count:meas.length};};res=db.meas_points.mapReduce(m,r,{query:{measurements:{$exists:true}}},{out:{"measurements_stats"}});当我运行此查询时出现错误:MonJ

当 reduce 函数不使用来自 emit 的变量时,MongoDB MapReduce 出现奇怪的值

我想使用mapreduce来执行组聚合。这是我的map功能:function(){emit(this.TransactionType,{Count:1});}这里有两个reduce函数:function(key,values){varresult={Count:0};values.forEach(function(value){result.Count+=1;});returnresult;}function(key,values){varresult={Count:0};values.forEach(function(value){result.Count+=value.Count;

perl - 如何使用 Perl MongoDB 包在 Mongo 副本上进行 MapReduce

我正在使用Perlv5.12和MongoDB软件包v0.45。我想运行一个MapReduce作业来创建一个新集合,然后我将创建一个游标以供稍后使用。我的另一个愿望是这项工作在副本而不是主服务器上运行。如perl文档中所定义,MapReduce作业将使用run_command方法执行。当我执行perl脚本时,我得到:Mongoerror:notmasteratperlib/Connections.pmline63.阅读关于CPAN的MongoDB文档后,似乎只有一种方法可以使游标从副本读取。因此该方法不适用于对run_command()的调用。这是我的代码:subget_data{my$

node.js - 如何在带有 NodeJS 的 MongoDB 中为 mapReduce 使用变量

我有一组看起来像的事件{_id:BSONIDname:"event_name",values:{a:10,b:1000,c:50}}我正在尝试使用mapReduce它们使用map=function(){returnemit([this.name,this.values['a']],this.values['b']);}reduce=function(key,values){//stuff}collection.mapReduce(map,reduce,{out:{inline:1}},callback);但是,我希望能够动态更改我映射的值。本质上,我想要varkey='a';varva

javascript - 在 mongo 映射或减少上下文中调用外部 javascript 函数(对象)的可能方法

前言:为了拥有干净有效的代码,我想在我的mapreducemongo脚本中使用外部函数。问题:假设我们有以下map函数(coffeescript语法):map:->key=foo(@field)emit(key,value)调用外部函数'foo'会引发错误➜rakemongo:mapreduceMongoDBshellversion:2.0.5connectingto:localhost:27017/connect_development{"assertion":"mapinvokefailed:JSError:ReferenceError:fooisnotdefinednofile_