草庐IT

mapReduce

全部标签

c# - MapReduce输出C#读取mongoDB

publicclassmyType{publicintkey1;publicintkey2;publicintval1;publicintval2;publicintval3;};当我将myType对象插入集合时,读取没有问题。只是:collection.FindAs(query);获取对象:"key1":key1,"key2":key2,"val1":val1,"val2":val2,"val3":val3但是在mapreduce之后(键被构造为两个字段的组合)输出集合的结构略有修改。有点像"_id"{"key1":key1,"key2":key2},"value":{"val1":

java - 使用 Java-Hadoop 连接器更新 MongoDB 中的现有集合

是否可以用新数据更新现有的MongoDB集合。我正在使用hadoop作业将数据读写到Mongo。所需的场景是:-假设Mongo中的第一个集合是{"_id":1,"value":"aaa""value2":null}从Mongo中读取数据并处理数据后,MongoDB应该包含{"_id":1,"value":"aaa""value2":"bbb"}如果可能,请提供一些虚拟代码。 最佳答案 BasicBSONObjectquery=newBasicBSONObject();query.append("fieldname",value);B

arrays - 如何计算数组中每个值的出现次数?

我在MongoDB中有一个ISSUES的数据库,有些issue有评论,是一个数组;每个评论都有一个作者。如何统计每位作者发表的评论数?我试过了db.test.issues.group({key="comments.username":true;initial:{sum:0},reduce:function(doc,prev){prev.sum+=1},});但没有运气:(示例:{"_id":ObjectId("50f48c179b04562c3ce2ce73"),"project":"RubyDriver","key":"RUBY-505","title":"GETMOREissent

javascript - 如何在 MongoDB MapReduce 中生成累积结果

我刚刚开始在mongo中使用MapReduce,并有一个包含复合键(日期、候选人)的查询,该查询返回与该键关联的值(该候选人当天的总票数)。我真正想要的是在每个日期累计投票数。也就是说,对于每个日期/候选人键,该值是该日期当天及之前投给该候选人的所有选票的总和。这是我当前的代码:示例输入:{"interaction":{"type":"draft","parameters":{"value":[{"candidate":453510,"votes":2},{"candidate":325786,"votes":2}]}},"created_at":1360796255}map:varm

MongoDB MapReduce,与 "same approach"不同的结果,我错过了什么?

我知道我在MongoDB的MapReduce中遗漏了一些东西。我正在尝试构建标签频率集合,但我得到了不同的结果,即使看起来map和reduce函数是“相同的”。示例文档(忘记值100、45...我没有使用它们):{...tags:[['Rock',100],['IndiePop',45],...]}发出标量值1:varmap=function(){if(this.tags){this.tags.forEach(function(tag){emit(tag[0],1);//Emitjust1});}};varreduce=function(key,vals){//Valsshouldbe

MongoDB:计算重复字段,mapReduce 与 python 循环

我有一个集合,我想在其中查找给定字段的所有重复项。从Mongo文档和此处的其他答案来看,大多数人似乎都建议使用mapReduce。我想知道仅从python遍历游标而不是使用mapreduce有什么缺点。无论如何,mapreduce似乎也必须遍历对象。在此处添加解决方案,这样可能会对某人有所帮助。我运行了以下查询以获取出现不止一次的所有条形码的列表。$group管道计算出现次数,$match过滤count大于1的次数。db.sandbox.aggregate([{$group:{_id:'$barcode',count:{$sum:1}}},{$match:{count:{$gt:1}}

mongodb - 使用 MongoDB 聚合管道对文档进行计数

这是我的源数据的简化版本:Cars|Manual|Petrol1|true|true2|true|false3|true|true4|true|true5|false|true6|false|true我正在尝试获取此输出:Totalcars:6Manualcars:4Petrolcars:5这在MongoDB中使用单个聚合管道是否可行? 最佳答案 是的,您可以使用$group聚合步骤和$sum运算符结合$cond来完成此操作。db.collection.aggregate([$group:{_id:null,//wewanttogr

node.js - 使用 Array 进行 MongoDB 正则表达式搜索

我正在寻找一种逻辑来从数据库中的1000条记录中检索数据。我不能在应用程序级别做。我有以两个双字母结尾的数据,如“ll,gg,ss,ff...”。想从数据库中检索以上述双字符结尾的单词。我的示例数据库:[{"word":"Floss"},{"word":"smacx"},{"word":"fuzz"},{"word":"grass"},{"word":"dress"},{"word":"puff"},{"word":"cliff"},{"word":"sniff"},{"word":"chess"},{"word":"kiss"},{"word":"fell"},{"word":"sh

javascript - Mongodb MapReduce 连接字符串?

我见过的所有MongoDBMapReduce示例都涉及计数/加法。我需要组合字符串,看起来MapReduce是完成这项工作的最佳工具。我有一个这种格式的大型MongoDB集合:{name:userone,type:typeone}{name:usertwo,type:typetwo}{name:userthree,type:typeone}每个名称只有一种类型,但名称不一定唯一。我想最终得到一个集合,它列出了特定类型的所有名称,可以是逗号分隔的列表,也可以是数组,如下所示:{type:typeone,names:userone,usertwo}{type:typetwo,names:u

javascript - 将 mongodb mapReduce 结果写入文件

我在MongoDb中有一个集合,其中集合中的数据具有以下结构:{userid=1(theidoftheuser),key1=value1,key2=value2,....}我想编写mongodbmapreduce函数,我可以将userid放在map函数中,在reduce函数中我需要将它们(键,值)对写入csv(?)文件中,这样它们将是:key1,key2,key3,...值1,值2,值3,..值1,值2,值3,..值1,值2,值3,..我怎样才能用mongodb做到这一点谢谢 最佳答案 没有“文件输出”选项。MongoDB文档有关于