草庐IT

nosql-aggregation

全部标签

nosql - Hbase性能

我正在使用Spring+DatanucleusJDO+Hbase。Hbase是一个完全分布式的模式,有两个节点。我在这里面临严重的性能问题。我的webapp可以被认为是一个pinger,它只是不断地pingURL并存储他们的响应。Hnce我的应用程序运行多个线程以插入数据库。我观察到,一旦并发写入的数量超过20左右,插入就会开始花费大量时间(有些甚至需要1000秒)。当这种情况发生时,READS也开始失败,我的webapp无法从数据库中提取任何数据(我的webapp挂起)。我不是NoSQL数据库专家,因此不知道从哪里开始寻找性能。我的主要配置是:Zookeeper法定人数:1Hbase

nosql - 单机适合Hadoop和HBase学习吗?

我对使用Hadoop和HBase编写Web服务很感兴趣(我发现我很喜欢与BigData相关的主题),但我想问你一件事。如果我将它安装在我的PC上,这是否足以学习这些技术的一些基础知识?还是会被限制甚至不能用? 最佳答案 是的,您可以在普通PC上使用它。它可以作为伪分布式安装在一台机器上,它将多个“服务器”作为单独的进程。请注意,Apache表示Windows安装分布式操作尚未经过充分测试,但如果您正在尝试学习这些技术,那应该不是问题。 关于nosql-单机适合Hadoop和HBase学习

api - 纱 API : Getting Yarn Aggregated Logs for application by API

我使用YARNjavaAPI而不是在终端中提交Hadoop应用程序。我正在寻找一种在应用程序完成后通过YarnAPI获取yarn聚合日志的方法。当然,这可以通过简单的命令来完成:“yarnlogs-applicationId{my_application_ID}”,但我想通过API来完成。有人知道如何使用API而不是命令行来获取这些日志吗?谢谢。 最佳答案 正如您在代码源上所做的那样https://github.com/apache/hadoop/blob/trunk/hadoop-yarn-project/hadoop-yarn/

nosql - 实时查询/聚合数百万条记录 - hadoop?数据库? Cassandra ?

我有一个可以并行化的解决方案,但我(还)没有使用hadoop/nosql的经验,而且我不确定哪个解决方案最适合我的需求。理论上,如果我有无限的CPU,我的结果应该会立即返回。因此,任何帮助将不胜感激。谢谢!这是我所拥有的:1000多个数据集数据集键:所有数据集都有相同的键100万个key(以后可能是10或2000万个)数据集列:每个数据集都有相同的列10到20列大多数列是我们需要聚合的数值(avg、stddev,并使用R来计算统计数据)有几列是“type_id”列,因为在特定查询中我们可能只想包含某些type_ids网络应用程序用户可以选择他们感兴趣的数据集(15到1000之间的任何一

nosql - 大规模数据处理 Hbase vs Cassandra

按照目前的情况,这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visitthehelpcenter指导。关闭10年前。在研究了大规模数据存储解决方案之后,我差一点就登陆了Cassandra。但普遍认为Hbase是大规模数据处理和分析的更好解决方案。虽然两者都是相同的键/值存储并且都是/可以运行(最近是Cassandra)Hadoop层,但是当需要对大数据进行处理/分析时,是什么让Hadoop成为更好的选择。我还在http://ria101.wordpress.com/2

php - 学说 2.1 : How to orderBy aggregate field in a collection?

我有一个带有ArrayCollection字段的实体。在我可以写的注释中@ORM\OrderBy({"somefield"="DESC"})我从该实体获得的集合将自动排序。我的问题是是否可以按聚合字段排序?我当前的问题:我在集合实体中有2个字段:visited和shown,我想按评级索引对集合进行排序,即:访问/显示。我试着把它写在注释中,但它说它应该是一个有效的字段。我知道如何使用DQL执行此操作,但我不知道如何在带有注释的实体声明中重新创建它。提前致谢! 最佳答案 不太确定我是否理解您的问题。但是什么@ORM/OrderBy({

php - 哪些 php 框架最适合与 Cassandra 等 NoSQL 数据库一起使用?

关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭8年前。ImprovethisquestionYii、Laravel、CI和Cakephp是市场上最著名的php框架,我想知道/确认以上所有这些框架是否可以有效地与Cassandra或Mongodb等NoSQL数据库一起工作?我不太清楚,谁能帮我简单理解一下?如果我们使用NoSQL类型的数据库,是否可以执行服务器端验证?

php - association, aggregation, composition 怎么写?

我已经阅读了一些关于这3种关系之间差异的帖子,我想我明白了。我就想知道,写代码的时候这些都是一样的吗?问题1:这3个都只是实例变量中对象类型的一个值?classA{public$b=''publicfunction__construct($object){$this->b=$object//问题2:必须是实例变量还是静态变量?classA{publicstatic$b=''//b=$object}}问题三:对象的创建位置有区别吗?我倾向于认为组合对象是在对象内部创建的:classA{public$b=''publicfunction__construct(){$this->b=newO

php - 是否有 NoSQL 解决方案的比较(在某些情况下哪个更好?)

关闭。这个问题需要更多focused.它目前不接受答案。想改进这个问题吗?更新问题,使其只关注一个问题editingthispost.关闭2年前。Improvethisquestion在Linux/PHP架构中构建基于key的归档应用程序时,我正在尝试了解有关NoSQL的更多信息。任何人都可以解释主要解决方案(CouchDB/MongoDB/等)之间的区别以及每个解决方案的优点/缺点吗?链接会很棒,尽管我很难单独使用Google进行研究。

android - NoSQL DB for Android 除了 MongoDB 和 CouchDB?

关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭9年前。ImprovethisquestionAndroid除了CouchDB和MongoDB之外,还有更好的NoSQLDB吗?couchdb的问题是它在Android设备上的启动时间,需要5-10秒(非常高)。另一方面,我发现TouchDB目前还不够成熟,无法使用。我想将整个数据存储在JSON格式的NoSQL数据库中(在线和Android手机上)。是否有任何数据库以毫秒为单位的启动时间并以JSON格式存储数据?