我是Cassandra和Hadoop的新手。我正在尝试按小时读取cassandra数据并转储到HDFS中。Cassandra和Hadoop在不同的集群上。非常感谢我可以用来执行此操作的有关客户端/API的任何指示。 最佳答案 我推荐Java，因为Hadoop和Cassandra都是基于Java的。Astyanax是一个很好的JavaCassandraAPI。我已经使用org.apache.hadoop通过Java写入HDFS，但可能还有更好的东西。 关于hadoop-Cassandra和

我们目前有一个写入量非常大的网络分析应用程序，它从大量网站和商店收集大量实时事件，用于后续分析和报告。我们最初计划的架构涉及一组网络服务器处理请求，并将所有数据写入Cassandra集群，同时更新大量计数器以获取实时聚合报告。我们还计划直接在CassandraFS上使用hadoop(作为HDFS的替代品-由datastax提供)在Cassandra中驻留的数据上本地运行MapReduce作业以进行更多相关分析。MapR作业的输出将被写回Cassandra中的ColumnFamilies。Hadoopmapreduce在写入密集型主cassandra集群的只读副本上运行。这个想法是为了避

我正在使用Cassandra1.2.8，并且有几个HadoopMapReduce作业，它们从一些CQL3表中读取行并将结果写回另一个CQL3表。如果输出CQL3表包含复合键，复合键字段的值不是由reducer写入的-相反，我在cqlsh中执行选择查询时看到这些字段的空值。如果主键不是复合键，则一切正常。具有复合键的输出CQL3表的示例:CREATETABLEevents_by_type_with_source(event_type_idASCII,periodASCII,dateTIMESTAMP,source_nameASCII,events_numberCOUNTER,PRIMAR

我是oozie的新手，遇到的问题很少。1)我试图在oozie中嵌入一个pigAction，它有一个python脚本导入。我已将jython.jar文件放在lib路径中，并在将采用pythonUDF的pig脚本中导入。我似乎没有得到这个工作。.py文件未被拾取。怎么办？2)我有一个pigcassandra集成，在其中我使用cql使用pig从cassandra获取数据并进行一些基本转换。在CLI中，我能够使它正常工作。但在oozie方面我不是。我似乎没有找到在oozie中执行此操作的解决方案(配置和其他)。谁能帮我解决这个问题？提前致谢。 最佳答案

我有一个pig脚本，它将从cassandra获取所有数据，进行少量转换并存储到hdfs上。在pig的grunt控制台执行时，cassandra数据量大，耗时将近30分钟。但是当我使用oozie工作流执行相同的操作时，它执行但需要很长时间，将近一个半小时。当我检查hadoop日志时，这就是它所说的。2013-11-1901:20:00,871[main]INFOorg.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher-Moreinformationat:master:50030/jobde

我已经安装了cassandra2.0.3和hive0.9.0。我已点击以下链接获取对cassandra的配置单元支持。https://github.com/milliondreams/hive但它说“CassandraHive处理程序使用Cassandra1.2.6和Hive0.9”，我的Cassandra版本是2.0.3谁能详细指导我如何从hive0.9.0访问cassandra2.0.3，因为我是cassandra和hive的新手。--哈利 最佳答案 这个Hive处理程序也应该适用于Cassandra2.0，因为它使用的是CQL

hive-site.xml中的以下属性对于Hive访问cassandra是否正确？(我复制了整个HIVE-DEFAULT.XML内容，但仅更改了以下属性)javax.jdo.option.ConnectionURL:cassandra://localhost:9160javax.jdo.option.ConnectionDriverName:org.apache.cassandra.cql.jdbc.CassandraDriverhive.stats.dbclass:jdbc:cassandrahive.stats.jdbcdriver:org.apache.cassandra.cql

我正在尝试使用pig在hadoop-2.2.0中对存储在cassandra中的数据执行mapreduce。我可以在pig本地模式下运行脚本，但无法在mapreduce模式下运行。请帮助我解决它。请查找堆栈跟踪以获取更多信息。引起:java.lang.IncompatibleClassChangeError:Foundinterfaceorg.apache.hadoop.mapreduce.JobContext,butclasswasexpected错误pigstats.SimplePigStats:错误:org.apache.hadoop.yarn.exceptions.Applica

我在2个不同的虚拟机上运行APIM和BAM，在BAM上有一个外部Cassandra。我有一个“执行Hive脚本时出错。查询返回非零代码:9，原因:失败:执行错误，从org.apache.hadoop.hive.ql.exec返回代码2.MapRedTask"执行配置单元脚本时出错(am_stats_analyzer_163)这是完整的错误跟踪:TID:[0][BAM][2014-03-1812:34:07,948]ERROR{org.apache.hadoop.hive.ql.exec.ExecDriver}-EndedJob=job_local_0001witherrors{org.

我们正在运行DatastaxEnterprise4.0.1，在向Cassandra中插入行然后在配置单元中查询COUNT(1)时遇到了一个非常奇怪的问题。设置:DSE4.0.01、Cassandra2.0、Hive、全新集群。向Cassandra中插入10,000行，然后:cqlsh:pageviews>selectcount(1)frompageviews_v1limit100000;count-------10000(1rows)cqlsh:pageviews>但是来自Hive:hive>selectcount(1)frompageviews_v1limit100000;Total