草庐IT

node.js - 找不到将 leveldb 转储到平面文件的有效方法

我将LevelDB用作本地进程的一部分,当所有这些都完成后,它有大约10-1亿个JSON条目。我需要将它们转换成一种可移植格式,最好是一个或多个csv(或者甚至是行分隔的json)文件,以导入到单独的mongodb系统中。我在node.js中做了一个快速测试,将数据库内容流式传输到文件(使用node-levelup,在我的机器上,1000万对花费了大约18.5分钟。看起来很慢。寻找有关从leveldb更快转储/导出的建议。我考虑过使用mongodb作为本地处理的存储,因为mongoexport快得多,但是在设置中有更多的开销,因为我需要多个分片来获得更快的速度在我的写作中。

python - 使用 python 转储和恢复 mongo db

你好,我有一个简单的脚本,它使用来自远程mongo服务器的shell命令转储mongo数据库,然后运行​​shell命令将该数据库恢复到另一台服务器上的开发数据库。脚本位于/home/ubuntu/mongo,转储位于/home/ubuntu/mongo/dump这是我的代码:!/usr/bin/pythonimporttimeimportsubprocessimportosimportshutilnow=int(time.time())cmd="mongodump--host-dbchronotrack"printsubprocess.check_output(cmd,stderr=

mongodb - 不用 mongodump 命令转储和恢复 mongo 数据库

我需要一种方法来为特定的mongo数据库生成快照,并能够在另一台服务器上重新创建该数据库。我熟悉mongodump和mongorestore命令,但是我需要一个人类可读的文件(或者最好将所有内容打印到标准输出)整个数据库,mongodump还没有,这是已知和预期的,herearethedetailswhy.我有两个相关的问题。首先,mongodump是否产生除了集合名称和索引之外的任何其他关键数据(当转储特定数据库时),如果它产生了什么?如果我没记错的话,mongo可能不喜欢不同版本的转储,这也可能是个问题,是这样吗?其次,如果我手动提取集合名称和索引信息,将其存储到我自己的格式的js

python - 如何使用 pymongo 将集合转储到 json 文件

我试图将一个集合转储到.json文件,但在查看pymongo教程后我找不到任何与之相关的东西。教程链接:https://api.mongodb.com/python/current/tutorial.html 最佳答案 只需获取所有文档并将它们保存到文件中,例如:frombson.json_utilimportdumpsfrompymongoimportMongoClientif__name__=='__main__':client=MongoClient()db=client.db_namecollection=db.collec

mongodb - Fedora 29 MongoDB Compass 安装段错误核心转储

我尝试安装MongoDBCompass,但出现了Segmentationfaultcoredump。安装了让我启动并运行的早期版本。(1)wgethttps://downloads.mongodb.com/compass/mongodb-compass-1.14.1.x86_64.rpm(2)sudodnfinstallmongodb-compass-1.14.1.x86_64.rpm(2.5)是所有(3)mongodb-compass所以这不是问题,而是给你们的提示。如果有人能向我解释为什么我会遇到段错误,我会很高兴。 最佳答案

c++ - 将树数据结构转储到文件或从文件恢复

我有一个包含一组特定类的n叉树数据结构。数据结构经历了一组转换,比如从1到n。在上述转换结束时,最终的树是用于检索信息的输出结果。有没有一种方法可以在每次正确转换后(二进制)转储树。转储将反射(reflect)先前转换后树的状态。因此,如果任何转换出错,我可以在内存中恢复转储,而无需再次进行正确的转换。它类似于GDB提供的用于保存程序状态快照的检查点功能。我查看了MongoDB、CouchDB、Redis等NoSQL数据库,但它们主要是键值数据存储(Redis)或将信息存储在文档类型结构中,而没有存储树中节点之间的关联/关系(数据库)。我还研究了Neo4j图形数据库,它是表示类图形结构

node.js - 如何从 node.js 将大数据集转储到 mongodb 中

我正在尝试将大约220万个对象转储到mongodb中(使用mongoose)。问题是当我一个一个地保存所有对象时它卡住了。我在下面保留了示例代码。如果我以50,000的价格运行这段代码,效果会很好。但是,如果我将数据大小增加到大约500,000,它就会卡住。我想知道这种方法有什么问题,我想找到一种更好的方法来做到这一点。我对nodejs很陌生。我试过循环,但一切都没有帮助,最后我找到了这种解决方案。这个对50k个对象工作正常,但对220万个对象就卡住了。一段时间后我得到了这个fatalerror:CALL_AND_RETRY_2分配失败-进程内存不足中止(核心转储)varconnect

mongodb - 将 mongoDB 转储导入 arangoDB

我需要将mongoDB中特定数据库中存在的所有内容导入到arangoDB中。我可以将mongoDB数据转储为:mongodump-d"database_name"-u"user_name"-p"password"然后会将数据库转储到转储文件夹。现在我需要将这个转储导入到我的arangoDB数据库中。我该怎么做? 最佳答案 您可以尝试的一种方法是首先将您的Mongo数据库导出到一个JSON文件中:mongoexport--dbdatabaseName--collectioncollectionName--outdump.json获得J

mongodb - 转储远程数据库 : Failed: error connecting to db server: no reachable servers

我在www.myweb.io中有一个数据库,它有SSL。服务端mongo版本为2.6.12:本地mongo版本为3.4.1。我想把它转储到我的本地机器上,修改它,然后恢复回来。我试过了mongodump--hostwww.myweb.io--port22--usernamemyname--password"mypassword"它给了我一个错误:2017-11-20T20:57:07.775+0100Failed:errorconnectingtodbserver:noreachableservers有人知道我应该设置什么主机和帖子吗?PS:在我的本地主机上,我可以使用Robo3T中的

mongodb 转储多个集合或排除集合版本 2.6

如何在mongodump上转储多个集合或排除集合?mongodb是2.6版本我现在就是这样做的。mongodump--collectionmap_accounts_clicks--out/dumps 最佳答案 由于--excludeCollection是在mongo3.0中引入的,而--collection是一个只能提交一次的参数,因此没有正式的方法可以做到这一点。您可以做的是在之前查询mongo以获取所有想要的集合作为数组,然后遍历此数组以转储每个集合:首先,让我们开始您的bash脚本。它将调用mongo客户端以接收与给定搜索词匹