草庐IT

r - 从 R 到 MongoDB 的并行插入

coder 2023-11-05 原文

问题

我正在使用包 mongolite从 R 连接到 MongoDB 数据库。我想看看是否可以并行地向数据库中插入多个？虽然并行包中的 mcmapply 在其他情况下有效，但它似乎不适用于 MongoDB 的多次插入。

示例代码

我有一个数据框 grid.df，其中包含网格 ID 和网格点的地理位置。我想将 id_grid、lon 和 lat 列插入到数据库中。

    insert.grid <- function(i){

           # check which data to insert            
            criteria <- sprintf('{"id_grid" : %s}', id_grid[i])

           # values to be inserted
            newdoc <- sprintf('{"$set" : {"id_grid" : %s, "loc" : {"type" : "Point", "coordinates" : [%s, %s] } }   }', 
                              grid.df$id_grid[i], 
                              round(grid.df$lon[i], digits = 4),
                              round(grid.df$lat[i], digits = 4)
            )
            inserted <- F
            while (!inserted) {
              inserted <- gcon$update(query = criteria, update = newdoc, upsert = T)
            }
          }

尝试

1)使用mcmapply

mcmapply 适用于 1 个核心。但是，一旦我尝试使用多核，它就会失败。 

results <- mcmapply(insert.grid, 1:nrow(grid.df), mc.cores = 4)

将 mc.preschedule 参数设置为 FALSE 也无济于事。

results <- mcmapply(insert.grid, 1:nrow(grid.df), mc.cores = 4, mc.preschedule = FALSE)

两者都给出以下错误:

Warning message: In mclapply(seq_len(n), do_one, mc.preschedule = mc.preschedule, : all scheduled cores encountered errors in user code

2) 使用文件锁

我也遵循了这里介绍的方法:http://www.quintuitive.com/2014/11/20/synchronization-for-r-with-the-flock-package/虽然它适用于多个内核，但我并没有真正获得太多性能提升，因为为每个插入设置锁会完全减慢进程并且它类似于使用 1 个内核。

最佳答案

这是通过在函数定义中移动 gcon 连接解决的。问题很简单，只定义了一个连接，不能用于并行插入。

关于r - 从 R 到 MongoDB 的并行插入，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/40239974/

MongoDB从codestronggridrparallel-processing

有关r - 从 R 到 MongoDB 的并行插入的更多相关文章

  1. ruby - 带括号和 splat 运算符的并行赋值 - 2

    我明白了:x,(y,z)=1,*[2,3]x#=>1y#=>2z#=>nil我想知道为什么z的值为nil。 最佳答案 x,(y,z)=1,*[2,3]右侧的splat*是内联扩展的，所以它等同于:x,(y,z)=1,2,3左边带括号的列表被视为嵌套赋值，所以它等价于:x=1y,z=23被丢弃，而z被分配给nil。 关于ruby-带括号和splat运算符的并行赋值，我们在StackOverflow上找到一个类似的问题： https://stackoverflow

  2. ruby - 使对象的行为类似于 ruby​​ 中并行分配的数组 - 2

    假设您在Ruby中执行此操作:ar=[1,2]x,y=ar然后，x==1和y==2。是否有一种方法可以在我自己的类中定义，从而产生相同的效果？例如rb=AllYourCode.newx,y=rb到目前为止，对于这样的赋值，我所能做的就是使x==rb和y=nil。Python有这样一个特性:>>>classFoo:...def__iter__(self):...returniter([1,2])...>>>x,y=Foo()>>>x1>>>y2 最佳答案 是的。定义#to_ary。这将使您的对象被视为要分配的数组。irb>o=Obje

  3. ruby - 如何在 Ruby 字符串中插入项目符号字符？ - 2

    我正在尝试创建一个带有项目符号字符的Ruby1.9.3字符串。str="•"+"helloworld"但是，当我输入它时，我收到有关非ASCII字符的语法错误。我该怎么做？ 最佳答案 你可以把Unicode字符放在那里。str="\u2022"+"helloworld" 关于ruby-如何在Ruby字符串中插入项目符号字符？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/1195

  4. ruby - 在 ruby​​ 中使用自动创建插入数组 - 2

    我想知道是否可以通过自动创建数组来插入数组，如果数组不存在的话，就像在PHP中一样:$toto[]='titi';如果尚未定义$toto，它将创建数组并将“titi”压入。如果已经存在，它只会推送。在Ruby中我必须这样做:toto||=[]toto.push('titi')可以一行完成吗？因为如果我有一个循环，它会测试“||=”，除了第一次:Person.all.eachdo|person|toto||=[]#with1billionofperson,thislineisuseless999999999times...toto.push(person.name)你有更好的解决方案吗？

  5. ruby-on-rails - 在方法调用中插入 Ruby？ - 2

    在我的用户模型中，我有一堆属性，例如is_foos_admin和is_bars_admin，它们决定允许用户编辑哪些类型的记录。我想干掉我的编辑链接，目前看起来像这样:'edit'ifcurrent_user.is_foos_admin?%>...'edit'ifcurrent_user.is_bars_admin?%>我想做一个帮助程序，让我传入一个foo或bar并返回一个链接来编辑它，就像这样:助手可能看起来像这样(这不起作用):defedit_link_for(thing)ifcurrent_user.is_things_admin?link_to'Edit',edit_poly

  6. Ruby 将对象插入现有的已排序对象数组 - 2

    我有以下现有的Dog对象数组，它们按age属性排序:classDogattr_accessor:agedefinitialize(age)@age=ageendenddogs=[Dog.new(1),Dog.new(4),Dog.new(10)]我现在想插入一条新的狗记录，并将它放在数组中的正确位置。假设我想插入这个对象:another_dog=Dog.new(8)我想把它插入到数组中，让它成为数组中的第三项。这是一个人为的示例，旨在演示我特别想如何将一个项目插入到现有的有序数组中。我意识到我可以创建一个全新的数组并重新对所有对象进行排序，但这不是我的目标。谢谢!

  7. Ruby:如何将条件插入字符串连接 - 2

    在字符串连接中，是否可以直接在语句中包含条件？在下面的示例中，我希望仅当dear列表不为空时才连接"mydear"。dear=""string="hello"+"mydear"unlessdear.empty?+",goodmorning!"但是结果报错:undefinedmethod'+'fortrue我知道另一种方法是在这条语句之前定义一个额外的变量，但我想避免这种情况。 最佳答案 使用插值而不是连接更容易和更具可读性:dear=""string="hello#{'mydear'unlessdear.empty?},goodmo

  8. ruby - 如何在数组中间插入一个数组？ - 2

    我有一个Ruby数组[1,4]。我想在中间插入另一个数组[2,3]，这样它就变成了[1,2,3,4]。我可以使用[1,4].insert(1,[2,3]).flatten实现这一点，但是有更好的方法吗？ 最佳答案 您可以通过以下方式进行。[1,4].insert(1,*[2,3])insert()方法处理多个参数。因此，您可以使用splat运算符*将数组转换为参数。 关于ruby-如何在数组中间插入一个数组？，我们在StackOverflow上找到一个类似的问题：

  9. Ruby 并行赋值 - 2

    我想测试一个并行赋值的返回值，我写了puts(x,y=1,2)，但是不行，打印错误信息:SyntaxError:(irb):74:syntaxerror,unexpected',',expecting')'puts(x,y=1,2)^(irb):74:syntaxerror,unexpected')',expectingend-of-input有什么问题吗？ 最佳答案 你有两个问题。puts和(之间的空格防止括号列表被解释为参数列表。一旦你在方法名后放置一个空格，任何argumentlisthastobeoutsidethepare

  10. ruby - 用 ruby​​ 将 2 个破折号插入这个字符串的最短方法是什么？ - 2

    这是字符串:04046955104021109我需要这样格式化:040469551-0402-1109用ruby​​做到这一点的最短/最有效的方法是什么？ 最佳答案 两个简单的插入就可以了:example_string.insert(-9,'-').insert(-5,'-')负数表示您从字符串末尾开始计数。如果您愿意，也可以从头数起:example_string.insert(9,'-').insert(14,'-') 关于ruby-用ruby​​将2个破折号插入这个字符串的最短方法是

随机推荐