我正在寻找 NoSQL 以获取大量数据。我们目前正在 MySQL 中存储网页文本的缓存版本,但似乎数据库会很快变得庞大。
我的要求是:
最佳答案
我有使用 Redis 和 MongoDB 的经验,但不推荐用于您的用例。 Redis 在各个方面都很棒,但由于它仅支持 RAM 且没有集群功能(但它们正在开发中),因此它的扩展性不是很好。 MongoDB 我永远不会再将任何东西用于只需要一个小副本集的任何东西。
基本上,MongoDB 是不成熟的,完全不适合任何类型的大容量、高性能需求。它有一个在磁盘刷新期间持有的全局写锁,这意味着性能可能会因您的操作而有很大差异。在实践中,它使更新文档变得不可能,并且您也需要非常小心删除。说到删除,它们会严重破坏数据库,因此如果您执行大量删除操作,您的性能将会受到影响。
从 1.8.0 到 1.8.1 的分片是一场灾难。有完整的显示阻止错误,本不应该使其成为稳定版本。配置未正确刷新,很容易使您的数据库进入不良状态,因此块永远不会从主分片中移出。 1.8.2 解决了大部分问题,看起来更稳定,但我一点也不相信分片实现。此外,即使一切正常,分片也很难,选择一个自然的分片键并不总是那么容易,如果你不分片会给你带来很大的痛苦。
MongoDB 真的很容易使用,而且功能集非常好。文档、驱动程序和社区都很棒。 MongoDB 作为 MySQL 的替代品非常有效,但不要将它用于需要扩展的任何东西。
我们目前正在考虑迁移到 Cassandra。我发现 dynamo 模型(例如,没有主节点;在任何地方读写;只需添加节点来扩展集群)引人注目,并且这些功能或多或少适合我们。数据模型不像 MongoDB 那样是模式,尽管有更多的限制(基本上,您可以在一级或二级散列之间进行选择)。我相信一旦你进入社区,社区就会很好,但到目前为止,我发现很难找到关于如何解决常见问题的好信息,而且文档也很缺乏。您在博客上找到的大部分信息都是一年前的,从那时起发生了很多事情(0.7 和 0.8 似乎都是非常重要的更新,但您找到的大多数信息都在 0.6 左右)。根据我目前所见,驱动程序也不是很成熟或没有很好的文档记录,而且每个人似乎都在争论是否应该使用 Thrift、Avro 或 CQL(并且已经从 0.6 变为 0.7 到 0.8) .
Riak 很有趣,原因与 Cassandra 相同,但对我们来说,纯粹的键值存储是不够的,我们需要能够在不先读取的情况下进行更新。使用 Riak 这是不可能的,因为值只是 blob。不过,这听起来对你来说不是问题。
HBase 是另一个竞争者。由于有很多不同的部分,ZooKeeper、HDFS 等,设置和运行似乎很痛苦。 但是数据模型类似于 Cassandra(列式,即一级散列),这对我们来说效果很好,但可能不是对你很重要。这似乎是经过验证的,但与 MongoDB 一样,您必须注意分片问题,您必须考虑一下您的 key ,否则您会遇到麻烦。
还有 CouchDB、Project Voldemort 和无数其他可能的选择。我认为,如果您认真对待“极大量的数据”,那么它介于 Cassandra、Riak 和 HBase 之间。如果纯键值存储还不够,请打击 Riak。根据您所说的“完全一致的复制”是什么意思,Cassandra 和 Riak 会被淘汰,因为有可能(不一定大且可调)读取过时的值。
最后,您显然必须在您的特定用例上进行尝试,因此您真正应该从这个答案中获得的全部内容是:不要打扰 MongoDB。
关于mongodb - 哪种 NoSQL 数据库可用于处理大量数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6171181/
我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时,rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack
我有一个围绕一些对象的包装类,我想将这些对象用作散列中的键。包装对象和解包装对象应映射到相同的键。一个简单的例子是这样的:classAattr_reader:xdefinitialize(inner)@inner=innerenddefx;@inner.x;enddef==(other)@inner.x==other.xendenda=A.new(o)#oisjustanyobjectthatallowso.xb=A.new(o)h={a=>5}ph[a]#5ph[b]#nil,shouldbe5ph[o]#nil,shouldbe5我试过==、===、eq?并散列所有无济于事。
我在app/helpers/sessions_helper.rb中有一个帮助程序文件,其中包含一个方法my_preference,它返回当前登录用户的首选项。我想在集成测试中访问该方法。例如,这样我就可以在测试中使用getuser_path(my_preference)。在其他帖子中,我读到这可以通过在测试文件中包含requiresessions_helper来实现,但我仍然收到错误NameError:undefinedlocalvariableormethod'my_preference'.我做错了什么?require'test_helper'require'sessions_hel
有时我需要处理键/值数据。我不喜欢使用数组,因为它们在大小上没有限制(很容易不小心添加超过2个项目,而且您最终需要稍后验证大小)。此外,0和1的索引变成了魔数(MagicNumber),并且在传达含义方面做得很差(“当我说0时,我的意思是head...”)。散列也不合适,因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题,但我很想知道:Ruby标准库是否已经带有这样一个类? 最佳
我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_
无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD
本教程将在Unity3D中混合Optitrack与数据手套的数据流,在人体运动的基础上,添加双手手指部分的运动。双手手背的角度仍由Optitrack提供,数据手套提供双手手指的角度。 01 客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照:https://gitee.com/foheart_1/foheart-h1-data-summary.git02 数据转发打开MotiveBody软件的Streaming,开始向Unity3D广播数据;MotionVenus中设置->选项选择Unit
文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co
我正在尝试在Rails上安装ruby,到目前为止一切都已安装,但是当我尝试使用rakedb:create创建数据库时,我收到一个奇怪的错误:dyld:lazysymbolbindingfailed:Symbolnotfound:_mysql_get_client_infoReferencedfrom:/Library/Ruby/Gems/1.8/gems/mysql2-0.3.11/lib/mysql2/mysql2.bundleExpectedin:flatnamespacedyld:Symbolnotfound:_mysql_get_client_infoReferencedf