我正在使用Cassandra1.2.8，并且有几个HadoopMapReduce作业，它们从一些CQL3表中读取行并将结果写回另一个CQL3表。如果输出CQL3表包含复合键，复合键字段的值不是由reducer写入的-相反，我在cqlsh中执行选择查询时看到这些字段的空值。如果主键不是复合键，则一切正常。具有复合键的输出CQL3表的示例:CREATETABLEevents_by_type_with_source(event_type_idASCII,periodASCII,dateTIMESTAMP,source_nameASCII,events_numberCOUNTER,PRIMAR
我是oozie的新手，遇到的问题很少。1)我试图在oozie中嵌入一个pigAction，它有一个python脚本导入。我已将jython.jar文件放在lib路径中，并在将采用pythonUDF的pig脚本中导入。我似乎没有得到这个工作。.py文件未被拾取。怎么办？2)我有一个pigcassandra集成，在其中我使用cql使用pig从cassandra获取数据并进行一些基本转换。在CLI中，我能够使它正常工作。但在oozie方面我不是。我似乎没有找到在oozie中执行此操作的解决方案(配置和其他)。谁能帮我解决这个问题？提前致谢。 最佳答案
我有一个pig脚本，它将从cassandra获取所有数据，进行少量转换并存储到hdfs上。在pig的grunt控制台执行时，cassandra数据量大，耗时将近30分钟。但是当我使用oozie工作流执行相同的操作时，它执行但需要很长时间，将近一个半小时。当我检查hadoop日志时，这就是它所说的。2013-11-1901:20:00,871[main]INFOorg.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher-Moreinformationat:master:50030/jobde
我已经安装了cassandra2.0.3和hive0.9.0。我已点击以下链接获取对cassandra的配置单元支持。https://github.com/milliondreams/hive但它说“CassandraHive处理程序使用Cassandra1.2.6和Hive0.9”，我的Cassandra版本是2.0.3谁能详细指导我如何从hive0.9.0访问cassandra2.0.3，因为我是cassandra和hive的新手。--哈利 最佳答案 这个Hive处理程序也应该适用于Cassandra2.0，因为它使用的是CQL
hive-site.xml中的以下属性对于Hive访问cassandra是否正确？(我复制了整个HIVE-DEFAULT.XML内容，但仅更改了以下属性)javax.jdo.option.ConnectionURL:cassandra://localhost:9160javax.jdo.option.ConnectionDriverName:org.apache.cassandra.cql.jdbc.CassandraDriverhive.stats.dbclass:jdbc:cassandrahive.stats.jdbcdriver:org.apache.cassandra.cql
我正在尝试使用pig在hadoop-2.2.0中对存储在cassandra中的数据执行mapreduce。我可以在pig本地模式下运行脚本，但无法在mapreduce模式下运行。请帮助我解决它。请查找堆栈跟踪以获取更多信息。引起:java.lang.IncompatibleClassChangeError:Foundinterfaceorg.apache.hadoop.mapreduce.JobContext,butclasswasexpected错误pigstats.SimplePigStats:错误:org.apache.hadoop.yarn.exceptions.Applica
我在2个不同的虚拟机上运行APIM和BAM，在BAM上有一个外部Cassandra。我有一个“执行Hive脚本时出错。查询返回非零代码:9，原因:失败:执行错误，从org.apache.hadoop.hive.ql.exec返回代码2.MapRedTask"执行配置单元脚本时出错(am_stats_analyzer_163)这是完整的错误跟踪:TID:[0][BAM][2014-03-1812:34:07,948]ERROR{org.apache.hadoop.hive.ql.exec.ExecDriver}-EndedJob=job_local_0001witherrors{org.
我们正在运行DatastaxEnterprise4.0.1，在向Cassandra中插入行然后在配置单元中查询COUNT(1)时遇到了一个非常奇怪的问题。设置:DSE4.0.01、Cassandra2.0、Hive、全新集群。向Cassandra中插入10,000行，然后:cqlsh:pageviews>selectcount(1)frompageviews_v1limit100000;count-------10000(1rows)cqlsh:pageviews>但是来自Hive:hive>selectcount(1)frompageviews_v1limit100000;Total
我们正在运行DatastaxEnterprise4.0.1并尝试针对Cassandra中的CF运行不同的M/R作业。我们这样设置了列族:CREATETABLEpageviews(websitetext,datetext,createdtimestamp,browser_idtext,iptext,referertext,user_agenttext,PRIMARYKEY((website,date),created,browser_id))WITHbloom_filter_fp_chance=0.001000ANDcaching='KEYS_ONLY'ANDcomment=''ANDd
我曾经在$HIVE_HOME/conf/hive-site.xml中将hive.cli.print.current.db设置为true，以便在配置单元提示符中自动显示数据库名称。此配置最近停止工作，因此每次启动配置单元时我都必须手动设置它的值。有没有人遇到过同样的问题，你的解决方案是什么？谢谢! 最佳答案 此属性应在配置单元配置目录(/etc/hive/conf)的.hiverc文件中指定(而不是在hive-site.xml中)。创建文件/.hiverc如果不存在以下内容sethive.cli.print.current.db=tr
