草庐IT

mongoDB map/reduce 减去 reduce

coder 2023-05-04 原文

我有一些 25k 文档(原始 json 中为 4 GB)的数据，我想对其执行一些 javascript 操作，以使我的最终数据使用者 (R) 更容易访问这些数据，并且我想通过为每个更改添加一个新集合来对这些更改进行“版本控制”，但我无法弄清楚如何在没有 reduce 的情况下进行 map/reduce。我想要一个一对一的文档映射——我从 collection_1 中的 25,356 个文档开始，我想在 collection_2 中以 25,356 个文档结束。

我可以用这个破解它:

var reducer = function(key, value_array) {
    return {key: value_array[0]}
}

然后这样调用它:

db.flat_1.mapReduce(mapper, reducer, {keeptemp: true, out: 'flat_2'})

(我的映射器只调用一次发射，第一个参数是字符串，第二个参数是最终文档。这是我真正想要的第二个参数的集合。)

但这看起来很尴尬，我不知道它为什么会起作用，因为我的映射器中的 emit 调用参数不等同于我的 reducer 的返回参数.另外，我最终得到了一个像

这样的文件 
{
    "_id": "0xWH4T3V3R", 
    "value": {
        "key": {
            "finally": ["here"],
            "thisIsWhatIWanted": ["Yes!"]
        }
    }
}

这似乎没有必要。

此外，执行自己的插入操作的游标速度甚至不及 mapReduce 的十分之一。我对 MongoDB 的了解不足以对其进行基准测试，但我猜它的速度大约 50x 慢。有没有办法并行运行游标？我不在乎我的 collection_2 中的文档是否与 collection_1 中的文档顺序不同。

最佳答案

当使用 map/reduce 时，你总是会得到

{ "value" : { <reduced data> } }

为了删除 value 键，您必须使用 finalize 函数。

这是将数据从一个集合复制到另一个集合的最简单方法:

map = function() { emit(this._id, this ); }
reduce = function(key, values) { return values[0]; }
finalize = function(key, value) { db.collection_2.insert(value); }

那么当你正常运行时:

db.collection_1.mapReduce(map, reduce, { finalize: finalize });

关于mongoDB map/reduce 减去 reduce，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/3581058/

reducemongoDBcodesectioncollection

有关mongoDB map/reduce 减去 reduce的更多相关文章

  1. ruby - 从另一个哈希中的相应值中减去哈希中的值 - 2

    我希望能够在Ruby中减去两个哈希值并得到第三个哈希值。两个哈希看起来像这样:h1={"Cat"=>100,"Dog"=>5,"Bird"=>2,"Snake"=>10}h1.default=0h2={"cat"=>50,"dog"=>3,"BIRD"=>4,"Mouse"=>75,"Snake"=>10}h2.default=0我希望能够像这样在h1上调用一个方法:h1.difference(h2)并得到这个散列作为结果:{"Cat"=>50,"Dog"=>2,"BIRD"=>-2,"Mouse"=>-75}我想创建一个新的散列，其中包含两个散列中的键，新散列的值是第一个散列中键的值

  2. Ruby-用另一个数组从一个数组中添加/减去元素 - 2

    我这样做:a=[1,2,3,4]b=[2,3,4,5]c=b-aputc我明白了答案->[1]我想要这个答案->[1,1,1,1](比如矩阵加法/减法)我试过这个:c.each{|e|c[e]=b[e]-a[e]}但我得到了这个答案:[1,0,0,0]谁能给我一个正确的方法来做到这一点？非常感谢! 最佳答案 你可以使用zip:a.zip(b).map{|x,y|y-x}#=>[1,1,1,1]还有一个Matrix类:require"matrix"a=Matrix[[1,2,3,4]]b=Matrix[[2,3,4,5]]c=b-a#

  3. ruby - 在 Ruby 中减去两个哈希值 - 2

    是否可以修改hash类，以便在给定两个散列的情况下，可以创建一个仅包含存在于一个散列中但不存在于另一个散列中的键的新散列？例如:h1={"Cat"=>100,"Dog"=>5,"Bird"=>2,"Snake"=>10}h2={"Cat"=>100,"Dog"=>5,"Bison"=>30}h1.difference(h2)={"Bird"=>2,"Snake"=>10}可选地，difference方法可以包含任何键/值对，这样键出现在两个哈希值中但它们之间的值不同。 最佳答案 h1={"Cat"=>100,"Dog"=>5,"Bi

  4. ruby - 用 map reduce 解决一个问题 - 2

    我想在ruby​​中模拟我对像hadoop这样的系统的map和reduce函数的实现，以验证这个想法至少有效。我有以下问题。我有两个元素列表:List13-A4-B5-C7-D8-FList22-A8-B6-C9-D4-E我需要构建一个公共(public)列表，其中包括与两个列表中公共(public)字母关联的数字总和:commonList5-A12-B11-C16-D我想用map和reduce操作制作一个ruby​​脚本来解决这个问题。我不确定如何解决这个问题或在ruby​​脚本中模拟这个问题要遵循什么程序。感谢任何帮助。 最佳答案

  5. ruby - 用 Ruby 减去日期 - 2

    我只是看看ruby​​，正在玩弄日期/时间。irb(main):001:0>jamis_DOB=Time.mktime(2003,10,22,06,59)=>WedOct2206:59:00+03002003irb(main):002:0>age=Time.now-jamis_DOB=>222934108.172989irb(main):005:0>age_in_years=(((age/3600)/24)/365).to_i=>7所以我的例子不太好，因为age_in_years不知道这些年加起来是否有闰年。我已经浏览了一些用谷歌搜索的时间/日期教程，但还没有找到一种简单的方法来减去两

  6. ruby-on-rails - 你如何从日期时间中减去？ - 2

    我想写一个简单的函数来表示几个小时:创建后经过了多长时间？我的尝试:-time=DateTime.now.hour-(self.created_at.hour)有人知道如何在RubyonRails中执行此操作吗？ 最佳答案 Rails通常使用Time，而不是DateTime。你为什么不做Time.now-self.created_at？然后您可以通过除以3600从秒转换为小时。 关于ruby-on-rails-你如何从日期时间中减去？，我们在StackOverflow上找到一个类似的问题

  7. ruby-on-rails - 在 Ruby 中减去日期并得到以分钟为单位的差异 - 2

    我如何在Ruby中减去两个不同的UTC日期，然后得到以分钟为单位的差异？谢谢 最佳答案 如果减去两个Date或DateTime对象，结果是一个Rational表示它们之间的天数。你需要的是:a=Date.new(2009,10,13)-Date.new(2009,10,11)(a*24*60).to_i#2880minutes或a=DateTime.new(2009,10,13,12,0,0)-DateTime.new(2009,10,11,0,0,0)(a*24*60).to_i#3600minutes

  8. ruby - 从 Ruby 中的 DateTime 中减去 n 小时 - 2

    我有一个从表单中填充的RubyDateTime。此外，我还有n小时的表格。我想从之前的DateTime中减去这n小时。(获取时间范围)。DateTime有两个方法“-”和“API)。有什么建议吗？ 最佳答案 你可以这样做。adjusted_datetime=(datetime_from_form.to_time-n.hours).to_datetime 关于ruby-从Ruby中的DateTime中减去n小时，我们在StackOverflow上找到一个类似的问题：

  9. ruby - 在 Ruby 中从一个数组中减去另一个数组 - 2

    我有两个任务数组-创建和分配。我想从创建的任务数组中删除所有分配的任务。这是我的工作代码，但很困惑:@assigned_tasks=@user.assigned_tasks@created_tasks=@user.created_tasks#Donotshowcreatedtasksassignedtoself@created_not_doing_tasks=Array.new@created_tasks.eachdo|task|unless@assigned_tasks.include?(task)@created_not_doing_tasks我相信有更好的方法。它是什么？谢谢:-

  10. ruby - inject 和 ruby​​ 中的 reduce 是一样的吗？ - 2

    我看到他们一起记录了here.它们是一样的吗？为什么Ruby有那么多别名(比如数组的map/collect)？非常感谢。 最佳答案 是的，它在许多其他编程语言和数学中也被称为fold。为了让具有不同背景的程序员更直观，Ruby有很多别名。如果您想在数组上使用#length，您可以。如果你想使用#size，那也没关系! 关于ruby-inject和ruby​​中的reduce是一样的吗？，我们在StackOverflow上找到一个类似的问题： https://s

随机推荐