草庐IT

Erlang-Cassandra

全部标签

hadoop - 如何在 Cloudera 的 Cassandra 中启用节俭?

enterimagedescriptionhere我是Cassandra和cloudera编程的新手。我有错误“没有按要求启动RPC服务器,使用JMX(存储服务->启动rpc或nodetool(enablethrift)来启动它”。我从几个小时开始就在尝试启用盗窃使用nodetool但徒劳无功。我在Cassandra位置找到了一个文件“Enablethrift.html”,但我不知道该怎么做。请帮忙 最佳答案 更改cassandra.yaml:start_rpc:false到start_rpc:true

java - 用于时间序列数据的 Cassandra Map Reduce

如何从映射器中访问Cassandra列族?具体来说,如何将map()方法的参数转换回我期望的java类型?Key{logType}->{列名:timeUUID,列值:csvlogline,ttl:1year}感谢@Chris&@rs_atl我成功运行了hadoop作业,这里是完整的代码:packagecom.xxx.hadoop;importjava.io.IOException;importjava.nio.ByteBuffer;importjava.util.Iterator;importjava.util.SortedMap;importorg.apache.cassandra.

maven - Guava 的 Spark 1.3 和 Cassandra 3.0 问题

我正在尝试从Spark1.3连接到Cassandra3.0。我知道spark中每个版本都有Cassandra连接器,但是spark-cassandra-connector-java_2.10:1.3.0连接器依赖于cassandra-driver-core:2.1.5,这就是为什么我使用最新的cassandra连接器,它依赖于最新的核心驱动程序。无论如何,到目前为止这不是问题所在。我想问题是com.google.guava包。我的pom看起来像这样:...com.datastax.sparkspark-cassandra-connector-java_2.101.5.0-M3com.d

hadoop - cassandra可以在非hadoop环境下工作吗

我是cassandra的新手,正在考虑将其用于我的下一个大数据项目。我有一个问题。我可以在非hadoop环境中托管它吗?如果可以,我可以连接多少个节点? 最佳答案 是的,你可以。Cassandra除了最依赖之外没有任何依赖基本的,例如Java。您可以阅读安装指南officialsite.您的集群可以拥有任意数量的节点。没有描述了对节点数量的限制。我读了thisarticle那有包含超过1000个Cassandra节点的集群。 关于hadoop-cassandra可以在非hadoop环境下

java - 为什么最新版本的 apache-cassandra-X.X.X.jar 中没有类 CqlStorage

类org.apache.cassandra.hadoop.pig.CqlStorage是一个pigCassandra驱动程序。此类存在于以下Cassandra版本中,2.0.5(apache-cassandra-2.0.5.jar)2.1.12(apache-cassandra-2.1.12.jar)但在最新版本中缺少它2.2.4(apache-cassandra-2.2.4.jar)3.0.0(apache-cassandra-3.0.0-alpha1.jar)不确定它为什么停产以及相同的替代品是什么。 最佳答案 在这里查看关于它

hadoop - Cassandra/HDFS 和 Spark 中的数据移动

在设计分布式存储和分析架构时,在与数据节点相同的机器上运行分析引擎是否是一种常见的使用模式?具体来说,直接在Cassandra/HDFS节点上运行Spark/Storm是否有意义?我知道自accordingtoHortonworks以来HDFS上的MapReduce具有这种使用模式,YARN最小化数据移动。我不知道这些其他系统是否也是如此。我想这是因为它们似乎可以相互插入,但我似乎无法在网上找到有关此的任何信息。我是这个主题的新手,因此非常感谢任何资源或答案。谢谢 最佳答案 是的,在Cassandra节点上运行Spark以最大限度地

hadoop - Cassandra 查询灵 active

我是大数据领域的新手,目前正坚持一个基本的决定。对于一个研究项目,我需要每分钟将数百万条日志条目存储到我的基于Cassandra的数据中心,这工作得很好。(单数据中心,4个节点)LogEntry------------------------------------------------------------------|Timestamp|IP1|IP2...------------------------------------------------------------------|2015-01-0101:05:01|10.10.10.1|192.10.10.1...-

hadoop - 尝试使用 Sqoop 将数据从 Cassandra 传输到 Hadoop 时出错

我使用tarball安装了Cassandra-2.2.7。Cassandra运行良好,我在键空间中创建了表。现在我想将这个表数据传输到HDFS中。我正在使用Sqoop-1.4.6。我将以下库文件保存在$SQOOP_HOME/lib/下,apache-cassandra-2.2.7.jarapache-cassandra-thrift-2.2.7.jarcassandra-jdbc-1.2.5.jarcassandra-all-1.2.0.jarlibthrift-0.8.0.jarthrift-server-0.3.7.jar然后我运行命令,bin/sqooplist-tables--

hadoop - Cassandra 是用于 OLAP 还是 OLTP 或两者?

Cassandra不像RDBMS那样遵守ACID,而是CAP。因此,Cassandra从CAP中挑选出AP,并将其留给用户来调整一致性。我绝对不能将Cassandra用于核心银行交易,因为C*稍微不一致。但Cassandra的写入速度非常快,这对OLTP非常有利。我可以将C*用于OLAP,因为读取速度非常快,这也有利于报告。所以我知道只有当您的应用程序不需要您的数据在一段时间内保持一致但读写应该很快时,C*才是好的?如果我的理解是正确的,请列出一些应用程序? 最佳答案 ACID是关系数据库的属性,其中BASE是大多数nosql数据库

java - 为 cassandra 创建 ColumnFamilyInputFormat 的自定义 InputFormat

我正在做一个项目,使用cassandra1.2,hadoop1.2我已经创建了我的普通cassandra映射器和缩减器,但我想创建我自己的输入格式类,它将从cassandra读取记录,我将通过使用拆分和索引拆分该值来获得所需的列值,所以,我计划创建自定义格式类。但我很困惑,不知道,我该怎么做?要扩展和实现哪些类,以及我将如何获取行键、列名、列值等我的Mapper类如下:publicclassMyMapperextendsMapper,Text,Text>{privateTextword=newText();MyJDBCdb=newMyJDBC();publicvoidmap(ByteB