草庐IT

cassandra-driver

全部标签

hadoop - 如何从 hive 0.9.0 访问 cassandra 2.0.3

我已经安装了cassandra2.0.3和hive0.9.0。我已点击以下链接获取对cassandra的配置单元支持。https://github.com/milliondreams/hive但它说“CassandraHive处理程序使用Cassandra1.2.6和Hive0.9”,我的Cassandra版本是2.0.3谁能详细指导我如何从hive0.9.0访问cassandra2.0.3,因为我是cassandra和hive的新手。--哈利 最佳答案 这个Hive处理程序也应该适用于Cassandra2.0,因为它使用的是CQL

hadoop - cassandra 需要 javax.jdo.option.ConnectionURL

hive-site.xml中的以下属性对于Hive访问cassandra是否正确?(我复制了整个HIVE-DEFAULT.XML内容,但仅更改了以下属性)javax.jdo.option.ConnectionURL:cassandra://localhost:9160javax.jdo.option.ConnectionDriverName:org.apache.cassandra.cql.jdbc.CassandraDriverhive.stats.dbclass:jdbc:cassandrahive.stats.jdbcdriver:org.apache.cassandra.cql

hadoop - 使用 cassandra 针对 hadoop-2.2.0 运行 piglatin 脚本时出错

我正在尝试使用pig在hadoop-2.2.0中对存储在cassandra中的数据执行mapreduce。我可以在pig本地模式下运行脚本,但无法在mapreduce模式下运行。请帮助我解决它。请查找堆栈跟踪以获取更多信息。引起:java.lang.IncompatibleClassChangeError:Foundinterfaceorg.apache.hadoop.mapreduce.JobContext,butclasswasexpected错误pigstats.SimplePigStats:错误:org.apache.hadoop.yarn.exceptions.Applica

hadoop - 运行配置单元脚本 "am_stats_analyzer_163"cassandra 时出现 WSO2 BAM 错误

我在2个不同的虚拟机上运行APIM和BAM,在BAM上有一个外部Cassandra。我有一个“执行Hive脚本时出错。查询返回非零代码:9,原因:失败:执行错误,从org.apache.hadoop.hive.ql.exec返回代码2.MapRedTask"执行配置单元脚本时出错(am_stats_analyzer_163)这是完整的错误跟踪:TID:[0][BAM][2014-03-1812:34:07,948]ERROR{org.apache.hadoop.hive.ql.exec.ExecDriver}-EndedJob=job_local_0001witherrors{org.

hadoop - DSE 4.0.1 : hive count different than cassandra count

我们正在运行DatastaxEnterprise4.0.1,在向Cassandra中插入行然后在配置单元中查询COUNT(1)时遇到了一个非常奇怪的问题。设置:DSE4.0.01、Cassandra2.0、Hive、全新集群。向Cassandra中插入10,000行,然后:cqlsh:pageviews>selectcount(1)frompageviews_v1limit100000;count-------10000(1rows)cqlsh:pageviews>但是来自Hive:hive>selectcount(1)frompageviews_v1limit100000;Total

hadoop - 如何在查询 Cassandra 时指示 Hive 使用分区/主键

我们正在运行DatastaxEnterprise4.0.1并尝试针对Cassandra中的CF运行不同的M/R作业。我们这样设置了列族:CREATETABLEpageviews(websitetext,datetext,createdtimestamp,browser_idtext,iptext,referertext,user_agenttext,PRIMARYKEY((website,date),created,browser_id))WITHbloom_filter_fp_chance=0.001000ANDcaching='KEYS_ONLY'ANDcomment=''ANDd

java - Cassandra Hadoop MapReduce : java. lang.ClassCastException : java. util.HashMap 无法转换为 java.nio.ByteBuffer

我正在尝试使用ApacheCassandra创建mapreduce作业。输入日期来自cassandra,输出也转到cassandra。该程序尝试从名为tweetstore的表中选择所有数据,然后插入包含用户名的行数。这是mapreduce作业的主要类:packagecom.cassandra.hadoop;importjava.io.*;importjava.lang.*;importjava.util.*;importjava.nio.ByteBuffer;importorg.apache.commons.lang.StringUtils;importorg.apache.hadoo

hadoop - Cassandra 与 hadoop 集成以提高读取性能

我正在使用ApacheCassandra存储大约1亿条记录。有一个具有以下规范的单个节点-RAM-32GB,HDD-2TB,Intelquadcoreprocessor.cassandra存在读取性能问题。对于某些查询,给出输出大约需要40分钟。在搜索如何提高读取性能后,我开始了解以下因素-Compactionstrategy,compressiontechniques,keycache,increasetheheapspace,turningofftheswapspaceforcassandra.进行这些优化后,性能保持不变。在seraching之后,我开始考虑将Hadoop与cas

hadoop - 用于 Hadoop 作业的 Cassandra 与 HBase

在MapReduce作业方面,Cassandra相对于HBase有哪些优势?我有很多小文件想从HDFS移动到数据库,这些文件将作为MapReduce作业的输入。我不会获取所有文件,而是针对某个用户,所以可能是整行,至少是一个列族。我可以拿走某个时期的文件。我知道HBase是Hadoop数据库,所以我希望它能很好地满足我的需求,但我还了解到Cassandra的性能要好得多。但是我想知道当你将它用作MapReduce作业的输入时是什么情况。性能是否仍然比HBase好很多?我必须强调,我不是在寻找一般的HBase和Cassandra的比较,而是在MapReduce作业的具体案例中。类似thi

maven - 错误:无法找到或加载主类org.apache.mahout.driver.MahoutDriver

我试图运行以下语句:代码:/usr/local/lib/mahout/bin$mahoutseqwiki-i/user/wiki/enwiki-articles.xml-o/user/wiki/kmeansseqfiles错误:MAHOUT_LOCALisset,sowedon'taddHADOOP_CONF_DIRtoclasspath.MAHOUT_LOCALisset,runninglocallyError:Couldnotfindorloadmainclassorg.apache.mahout.driver.MahoutDriver我遵循了这个stackoverflowpage