草庐IT

row_divide_col_reduce

全部标签

python - 如何将 MongoDB "Row(oid=u' 0123456789abcdef0123456 7')"转换为 "0123456789abcdef01234567"?

我在Python中使用ApacheSpark和MongoDB。最后,我从数据库中获取了一个条目行,并试图从中获取_id列。不幸的是,我收到了这种格式的ObjId:Row(oid=u'0123456789abcdef01234567')为了继续我的工作,我正在寻找某种转换,使对象看起来像这样:0123456789abcdef01234567当然,我可以对它进行子字符串化,但我们将不胜感激更优雅的方式。 最佳答案 因为它是一个对象,所以您必须使用点来访问它的属性:obj.oid然后你有一个unicode字符串,使用'utf-8'字符集对

mongodb - Map Reduce 标记计数范围按日期和类别

我仍在努力思考mapreduce。我有一组文章,每篇文章属于一个类别,每篇文章都有一组关键词。假设文档看起来像这样:{author:"kris",category:"mongodb",content:"...",keywords:["keyword1","keyword2","keyword3"],created_at:"..."}我想基本上从所有文档中提取关于作者的关键字计数,所以我最终得到如下内容:{author:"kris",categories:{mongodb:{keyword1:5,keyword2:3,keyword3:1},ruby:{...},python:{...}

java - 在 java 项目中在哪里编写和存储 mongoDB map/reduce 函数

对于在Java项目中的何处以及如何编写和存储用于MongoDB数据库的javascriptmap/reduce函数,是否有人有任何建议或知道任何最佳实践?我正在寻找的标准是:在编写和编辑函数时,我想要IDE(我使用的是Eclipse)提供的语法高亮显示和错误检查功能。如果可能的话,我不想在完成编辑功能后将它们复制到其他位置。为了便于引用、版本控制等,我宁愿将函数存储在源代码中而不是数据库本身。任何关于您如何解决此问题的示例都会很棒。编辑:我不确定我是否已经正确地解释了自己,所以这是另一个:我问的不是基本的资源管理。如果可能的话,我所追求的是一个工作环境,它允许我在“就地”编辑函数的同时

mongodb - "missing : after property id"在简单 map/reduce 的上下文中意味着什么?

我在mongodb数据库中有一组对象,其中嵌入了测量值。我正在尝试进行映射/缩减以获取有关测量的统计信息。好吧,我遇到了一些问题,所以我只是让它尽可能简单:获取每个测量的数量。m=function(){emit(mp,{meas:this.measurements});};r=function(){return{count:meas.length};};res=db.meas_points.mapReduce(m,r,{query:{measurements:{$exists:true}}},{out:{"measurements_stats"}});当我运行此查询时出现错误:MonJ

当 reduce 函数不使用来自 emit 的变量时,MongoDB MapReduce 出现奇怪的值

我想使用mapreduce来执行组聚合。这是我的map功能:function(){emit(this.TransactionType,{Count:1});}这里有两个reduce函数:function(key,values){varresult={Count:0};values.forEach(function(value){result.Count+=1;});returnresult;}function(key,values){varresult={Count:0};values.forEach(function(value){result.Count+=value.Count;

python - Map Reduce 时间戳

Mongodb数据库:{"thread":"abc","message":"hjhjh","Date":(2010,4,5,0,0,0)}{"thread":"abc","message":"hjhjh","Date":(2009,3,5,0,0,0)}{"thread":"efg","message":"hjhjh","Date":(2010,3,7,0,0,0)}{"thread":"efg","message":"hjhjh","Date":(2011,4,5,0,0,0)}我如何对上述数据进行Map-Reduce或聚合以生成如下输出:{"thread":"abc","messa

mongodb - 在 map reduce 中使用 IF/ELSE

我正在尝试在我的一个MongoDB数据库集合上创建一个简单的映射/归约函数。我得到了数据,但它看起来不对。我不确定map部分。我可以这样使用IF/ELSE吗?更新我想获得拥有这些文件的作者数量。换句话说,有多少作者拥有上传的文件,因此有多少作者没有文件。集合中的对象如下所示:{"_id":{"$id":"4fa8efe33a34a40e52800083d"},"file":{"author":"john","type":"mobile","status":"ready"}}map/reduce看起来像这样:$map=newMongoCode("function(){if(this.fi

mongodb - 在嵌套文档上使用 mongo 进行 Map Reduce

我有以下文档结构:{"country_id":328,"country_name":"Australien","cities":[{"city_id":19398,"city_name":"BondiBeach(Sydney)"},{"city_id":31102,"city_name":"DoubleBay(Sydney)"},{"city_id":31101,"city_name":"RushcuttersBay(Sydney)"},{"city_id":817,"city_name":"Sydney"},{"city_id":31022,"city_name":"WollyCre

Mysql中关于 错误 1366 - Incorrect string value: ‘\xE5\xBC\xA0\xE4\xB8\x89‘ for column ‘name‘ at row 1

在向数据库中添加英文测试数据时没问题,但是添加中文测试数据时发现一个错误:1366-Incorrectstringvalue:‘\xE5\xBC\xA0\xE4\xB8\x89’forcolumn‘name’atrow1。解释为:1366-字符串值不正确:第1行的列’name’为’\xE5\xBC\xA0\xE4\xB8\x89’出现这个问题的原因是你的数据库编码、排序类型不是utf-8的,所以你创建的表的排序规则自然也不是utf-8类型的。如下:people表是正常支持中文的,user表是错误1366的,看他们排序规则区别。为什么会出现这种情况?在mysql中新建数据库,如果只写数据库名,没

java - 如何限制 Spring data Mongo 的 map reduce 方法返回的 MapReduceResults 的大小

当使用spring-data-mongodb的MongoTemplate执行mapreduce操作时,该方法返回一个MapReduceResults对象。在我的用例中,未使用此对象(及其内容)(结果与数据库中的现有集合合并)。似乎MongoDB驱动程序向结果返回了一个游标(无数据),但spring库将此游标解析为实际的数据库对象。这会导致大量数据通过网络传递,调用作业会因OutOfMemoryError而失败。有没有什么方法(不用直接下降到MongoDB驱动程序)来限制Spring层返回给调用方法的数据库对象的数量?mongo-java-driver-2.12.1spring-data