草庐IT

elastic-mapreduce

全部标签

mongodb - mapReduce 内联结果与 java mongodb 驱动程序 3.2

如何使用mongodbjava驱动程序3.2从mapReducet获得内联结果?我在使用驱动程序版本2.x时:DBColleciontcoll=client.getDB(dbName).getCollection(collName);coll.mapReduce(map,reduce,null,OutputType.INLINE,query);新的3.x驱动程序有两个返回MapReduceIterable的mapReduce()方法,其中缺少指定INLINE输出模式的方法。MongoCollectioncoll=client.getDatabase(dbName).getCollect

mongodb - mongoDB 中具有时间间隔的增量 MapReduce

我以10分钟的时间间隔从服务器获取了一些记录(在1小时内我将获取6个文件)我想在接下来的几个小时内每1小时做一次mapreduce我将不得不对6个文件和最后几个小时的文件进行下一组的mapreduce我将如何解决这个问题?帮我我混淆了过去1个月谢谢苏希尔·克尔·辛格 最佳答案 为了按小时汇总您的10分钟日志文件,您可以在map函数中将每个日志文件的时间戳舍入到最接近的小时,并在reduce函数中按小时对结果进行分组。这是一个小的虚拟示例,它从mongoshell中说明了这一点:创建100个日志文件,每个间隔10分钟并包含一个0-10

hadoop学习:mapreduce入门案例二:统计学生成绩

这里相较于wordcount,新的知识点在于学生实体类的编写以及使用数据信息:1.Student实体类importorg.apache.hadoop.io.WritableComparable;importjava.io.DataInput;importjava.io.DataOutput;importjava.io.IOException;publicclassStudentimplementsWritableComparable{//Objectprivatelongstuid;privateStringstuName;privateintscore;publicStudent(longs

机器人运动|浅谈Time Elastic Band算法

前言在自主移动机器人路径规划的学习与开发过程中,我接触到TimeElasticBand算法,并将该算法应用于实际机器人,用于机器人的局部路径规划。在此期间,我也阅读了部分论文、官方文档以及多位大佬的文章,在此对各位大佬的分享表示感谢。在本文中,我将分享TimeElasticBand算法的原理、个人对TimeElasticBand算法的理解以及在ROS下通过teb_local_planner对该算法进行演示和讲解。01相关论文以下两篇论文主要介绍了TimeElasticBand算法以及使用稀疏模型进行优化:[1].C.Rösmann,W.Feiten,T.Wösch,F.HoffmannandT

mongodb - 使用 mapReduce 选择一行中的所有字段

我在nodejs中使用mongoose。我正在使用mapReduce来获取按字段分组的数据。所以它作为一个集合给我的只是来自数据库每一行的分组字段的键。我需要从数据库中获取按一个字段分组并根据另一个字段排序的所有字段。例如:我有一个数据库,其中包含前往这些地方和其他一些字段的地点和票价的详细信息。现在我需要以这样一种方式获取数据,即根据按票价为他们排序的地点对数据进行分组。MapReduce帮助我得到它,但我无法得到其他字段。有没有办法使用mapreduce获取所有字段,而不是像上面示例中提到的那样只获取两个字段? 最佳答案 我必须

php - 如何通过 Elastica 使用 ES 插件 MongoDB river 连接 MongoDB 和 Elastic Search

我是编程新手,如果我的问题很简单,我深表歉意。首先,我已经使用MongoDBriver安装并配置了MongoDB和ES,但我找不到如何通过Elastica进行操作。我的例子是curl-XPUT'http://localhost:9200/_river/mongodb/_meta'-d'{"type":"mongodb","mongodb":{"db":"testTweets","collection":"msgs"},"index":{"name":"mongoindex","type":"my_type"}}'还有一个查询是curl-XGET'http://localhost:920

performance - 我们如何改进MongoDB MapReduce函数,该函数需要很长时间才能检索数据并导致内存不足错误?

从mongo检索数据花费的时间太长,即使对于小数据集也是如此。对于更大的数据集,我们会得到javascript引擎的内存不足错误。我们尝试了几种模式设计和几种检索数据的方法。如何优化mongodb/mapreduce函数/mongowire以更快地检索更多数据?我们对MongoDB还不是很有经验,因此不确定我们是否遗漏了优化步骤,或者只是使用了错误的工具。1。背景为了绘图和回放,我们希望随着时间的推移存储多个对象的更改。目前我们每个项目有几十个对象,但我们需要存储数千个对象。对象可能每秒更改一次,也可能长时间不更改。delphi后端通过mongowire和superobjects对mo

mongodb - mongodb mapreduce 函数是否接受文档的计算值作为映射器

我使用MongoDB2.6.10版。下面是集合结构。我使用MapReduce函数根据(创建(不包括秒))、事件名称对用户名称进行分组。{"_id":ObjectId("59c11d79078dc54153c36ee8"),"event_name":"notification","created":ISODate("2017-09-19T13:36:57.252Z"),"sender_name":"nathan","user_name":"Ragul"",}{"_id":ObjectId("59c11d79078dc54153c36eeb"),"event_name":"notifica

javascript - Mongodb mapreduce 遍历对象的键值对

我有一个包含以下数据的mongodb集合:{"_id":ObjectId("4da31b8b5ba19e3c11345a66"),"USERID":4,"datekey":"BIBAK","balancekey":"MAIYM"}{"_id":ObjectId("4da31b8b5ba19e3c12345a66"),"USERID":4,"datekey":"QOTWH","balancekey":"SFEYQ"}{"_id":ObjectId("4da31b8b5ba19e3c14345a66"),"USERID":4,"datekey":"TLWJJ","balancekey":"

PHP、MongoDB 和使用 MapReduce 或聚合框架的电力监控

我目前正在以不同的时间间隔(1到5秒之间)将功率测量值(瓦特)记录到我的MongoDB2.2(db->monitoring->kWh)。我的集合中的数据打包如下。{"_id":ObjectId("5060c134f05e888e03000001"),"reading":"power","watts":"549.","datetime":1348518196}我需要聚合信息到小时,因此从一开始就将所有瓦特相加到最后一小时的时间,然后除以该小时内的读数数。我需要能够通过PHP将此结果推送到MongoDB中的新集合。这当然可以作为cron运行。工作,但是是否有一种机制可以将其作为插入的一部分