草庐IT

集群NoSQL

全部标签

mongodb - 将数亿小图像存储到键/值存储或其他 nosql 数据库是个好主意吗?

我正在开发一个网络系统来处理一组非常大的小图像,大约1亿张50kb~200kb的图像,在ReiserFS上工作。目前,备份和同步那些大量的小文件非常困难。我的问题是,如果将这些小图像存储到键/值存储或其他nosql数据库(例如GridFS(Mongodb)、TokyoTyrant)是个好主意,Voldemort以获得更高的性能并带来更好的备份支持? 最佳答案 首先,看看这个:Storingamillonimagesinthefilesystem.虽然它与备份无关,但值得就手头的主题进行讨论。是的,大量的小文件很烦人;它们占用inod

C# - 使用 NoSQL (MongoDB) 生成类似 Id 的 "identity"?

我一直在将MongoDB与C#结合使用,并且一直在使用ObjectId,后来又将GUID用于我的实体ID。我讨厌看这些ID,我认为这是违反直觉的……我真的很想能够使用整数或长整数,比如关系数据库的身份列。但是我很难找到一种方法来做到这一点。如果我使用collectionmax+1,那将导致竞争条件。我读过有关使用Hi-Lo生成器算法的信息,但它是如何工作的?如果我有10个应用服务器运行相同的代码怎么办?这是否意味着每个集合必须有10个hilo标识范围?如果有人能给我指出一个C#算法来分享,那就太好了!顺便看到了RNGCryptoServiceProvider,但这并不能保证是唯一的,也

mongodb - 用于博客/内容管理系统的 NoSQL 数据库? (MongoDB/ Cassandra )

我的公司已经使用Oracle很长时间了,但我们希望寻找NoSQL数据库来替代更快的查询和灵活的模式设计。我曾尝试使用MongoDB,它是当今最流行的NoSQL数据库。我将它连接到SpringData来做一些简单的查询,这很容易设置和编码。由于我们正在使用SpringMVC进行Web开发,因此SpringData似乎非常适合集成。不过,我听说Cassandra在写入和读取方面会有更好的性能,尤其是在大型系统中。我不确定是否值得迁移到Cassandra,也不确定如何衡量MongoDB和Cassandra之间的性能。以下是我的系统的一些要求:专注于文章获取为文章打标签,方便用户搜索自己喜欢的

mongodb 副本集成员无法通过 SSL 加入集群

我已经配置了3个节点的MongoDB副本集,下面是MongoDB.conf文件,副本集成员无法加入集群。systemLog:destination:filelogAppend:truepath:/var/log/mongodb/mongod.logstorage:dbPath:/data/iddijournal:enabled:true#howtheprocessrunsprocessManagement:fork:true#forkandruninbackgroundpidFilePath:/var/run/mongodb/mongod.pid#locationofpidfileti

甲骨文 (RAC) 与 NoSQL

我很好奇是否有人针对NoSQL数据库与Oracle(特别是我在谈论OracleRAC)中的数据访问进行了基准测试?该项目需要处理至少10mil+的记录,在其中搜索(但不一定非要实时),read对速度非常重要,保证HA和可靠性(不能丢失记录!!!)我可以亲眼看到Cassandra/MongoDB可能更适合(因为当你处理超过1000万条记录时,键值存储将提供比SQL更快的读取),但我发现很难很好地表达所有这些。任何链接?建议?要点?谢谢! 最佳答案 1000万条记录。假设每条记录250字节。那是大约2.5Gb的数据,完全在基本台式机/笔

mongodb - 无论文档中的归档位置如何,任何 noSql 数据库都可以按特定字段获取数据吗?

例如,如果在数据库中有这些文档:>db.things.find()[{"_id":{"$oid":"4e0748eecc93747e680421c7"},"title":"aaaa"},{"_id":{"$oid":"4e074954cc93747e680421c8"},"desc":"bbb","children":[{"title":"ccc"},{"title":"ddd"}]}{"_id":{"$oid":"4e074a5abbdr4664546e59334"},"desc":"none","children":[{"desc":"ccc"}]}]我想获取所有包含“标题”字段的

如何在集群外用舵构建大厅?

我正在使用提供的掌舵构建https://github.com/kubernetes/charts/tree/master/stable/concourse在我们的kubernetes群集中设置大厅。我已经能够使设置工作,并且能够在集群中访问它,但是在集群之外访问它很难访问。构建的笔记显示我可以使用kubectlport-forward要进入网页,但我不想让所有开发人员都必须转发端口才能进入WebUI。我尝试创建一个具有这样的节点端口的服务:apiVersion:v1kind:Servicemetadata:name:concoursenamespace:concourse-cispec:por

mongodb - nosql:MongoDB、Cassandra 或数据仓库的替代方案

我在具体决定是使用MongoDB还是Cassandra来满足我的数据库需求之间犹豫不决,我希望输入有关我的用例的信息来指导我的决定。要求:数据来源X个数据中心包含Y个服务器。每个服务器有N个网络和M个统计信息。例如目前(3个数据中心,总共50个服务器,19个网络和10个统计数据)。这些数字会随着时间的推移而增加。数据获取:每小时为每台服务器解析一个xml页面(~20kb/页)。(~25mb/天)数据存储:有组织的(每小时、每天、每月)结构,使用聚合找到更高的值(小时->天)注意:我们需要能够:动态添加/删除值(数据中心/服务器/网络/统计数据)和可扩展性是一个关键问题,因此我们正在从S

mongodb - NoSQL 中的博客和博客评论关系

在此处接受的答案中举一个例子:MongoDBrelationsbetweenobjects对于博客系统,“帖子应该是一个集合。帖子作者可能是一个单独的集合,或者只是帖子中的一个字段,如果只是一个电子邮件地址的话。评论应该是帖子中的嵌入式对象以提高性能。”如果是这种情况,是否意味着每次我的应用程序显示一篇博文时,我都会加载对该博文发表的每一条评论?如果有3,729条评论怎么办?这不会破坏数据库连接、SQL或NoSQL吗?还有一个明显的场景,当我加载一篇博文时,我最初只想显示前10条评论。 最佳答案 文档数据库不是关系数据库。您不能先构

mongodb - 如何评估 mongodb 分片集群冗余级别?

我是mongodb的新手,并尝试接触mongodb文档。这里是我看到的“Eachshardisareplicaset”这句话?这是否意味着,如果我有10个分片,那么每个数据集在分布式系统中将有10个副本?如果是这样,有什么意义,冗余级别是否可以调整为2,因为如果我有30个分片并且冗余级别设置为2已经足以实现高可用性。还是我误解了一些mongodb术语? 最佳答案 在更透彻地阅读文档之后。我在这里回答我自己的问题。http://docs.mongodb.org/manual/core/replica-set-members/shard