草庐IT

CLOUDERA

全部标签

hadoop - Map 任务写入 Hive 临时文件夹时权限被拒绝

我在UbuntuPrecise12.04x64机器上使用ClouderaCDH4.1。我使用ClouderaManager免费版进行了顺利安装(在我自己安装时遇到了一些困难)。但是,我仍然无法让Hive工作。现在我可以向它发出HiveQL命令来创建表,并加载本地数据(示例中的原始表)。但是当我尝试将数据插入另一个表(具有适当的serde和存储的表)时,由于本地文件夹权限而失败。org.apache.hadoop.hive.ql.metadata.HiveException:java.io.IOException:Mkdirsfailedtocreatefile:/home/yaboul

hadoop - 在 cloudera impala 1.2.3 中使用 date_sub() udf 从 View 查询时出现连接重置错误

我已经编写了一个查询来在Impala中创建一个View。该View包含一个字段record_date,它是格式为yyyy-MM-ddhh:mm:ss的字符串数据类型。在尝试执行使用date_sub('2014-01-3000:00:00',1)提取先前日期记录的查询时,我收到如下错误:错误:与impalad通信时出错:TSocket读取0个字节。如果我尝试对创建的表而不是View执行相同的查询,我会得到正确的输出。感谢任何帮助。谢谢 最佳答案 这是一个错误,请升级到最新版本的Impala,因为它似乎从1.2.3开始就已修复,这是很旧

hadoop - 如何将输入模式附加到 pig 中的输出

我写了一个UDF,其中我的输入模式是一袋元组,现在在我的UDF中,我正在处理每个元组并为每个元组附加额外的字段并将其提供给输出包。这很好用,现在在我的下一步中,我尝试创建我的输出包的输出模式,我只想在我的包输入的元组中附加一个字段。我该怎么做?这是我的输入包架构。xx:{(uniqueRS::PreprocUDF::id:long,uniqueRS::PreprocUDF::dominion:chararray,uniqueRS::PreprocUDF::affectedItemGRN:chararray,uniqueDomAndUser:{(PreprocUDF::dominion:

hadoop - java.lang.NoClassDefFoundError : org/apache/hadoop/hdfs/BenchmarkThroughput 错误

我尝试在CDH4.4上运行TestDFSIO,这是我通过命令行(而不是ClouderaManager)启动的。这是我运行的命令:bin/hadoopjarhadoop-test-2.0.0-mr1-cdh4.4.0-SNAPSHOT.jarTestDFSIO-Ddfs.replication=1-write-nrFiles2-fileSize4000这是我得到的错误:java.lang.NoClassDefFoundError:org/apache/hadoop/hdfs/BenchmarkThroughputatorg.apache.hadoop.test.AllTestDriver

logging - cdh4 hadoop 中作业的详细日志在哪里?

我只是在hdfs中找到jobhistory/home/mps/cdh/users/history/done_intermediate/mps/job_1405497023620_0009-1405505656182-mps-simjoin%2D1.0.jar-1405505683781-0-0-FAILED-default.jhist但是这个工作历史信息远非像这样的详细信息:{"type":"TASK_FAILED","event":{"org.apache.hadoop.mapreduce.jobhistory.TaskFailed":{"taskid":"task_14054970

hadoop - 添加 phoenix-4.3.0-server.jar 后 region server 在 cloudera 中失败

我在cloudera的/opt/cloudera/parcels/CDH/lib/hbase/lib中添加了phoenix-4.3.0-server.jar。当我尝试启动服务器(区域和主服务器)时,只有主服务器启动。区域服务器有时会暂时启动并立即关闭。这适用于以前版本的phoenix(4.0.0-incubating)。请帮我解决这个问题。 最佳答案 从4.0.0升级到4.3.0失败的原因是兼容性。由于某种原因,4.3.0不兼容从旧版本的phoenix升级。因此,从4.0.0升级到4.1.0,重新启动HBase服务器,然后通过重新启

hadoop - 如何在 Oozie ssh 操作中传播委托(delegate) token

我有一个oozieshell操作,它执行一堆hadoopfs-getmerge命令,它目前失败是因为:[由GSSException引起:未提供有效凭据(机制级别:无法找到任何Kerberostgt)]在oozie文档中,它说明了如何为Java操作执行此操作:此处重要提示:为了使Java操作在安全集群上成功,它必须像以下代码片段一样传播Hadoop委托(delegate)token(这在非安全集群上是良性的)://将与委托(delegate)相关的Prop从启动器作业传播到MR作业如果(System.getenv("HADOOP_TOKEN_FILE_LOCATION")!=null){

hadoop - MapReduce 工作卡住了

我是hadoop的新手。我在ubuntu12.04上使用cloudera管理器安装了clouderahadoop。当我尝试使用cloudera的“测试安装”文档下给出的命令测试我的安装时,我的mapreduce作业卡在了接受阶段,并且永远不会从那里继续。我必须杀死工作。这是我正在使用的命令:sudo-uhdfshadoopjar/usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jarpi101在hue作业浏览器中,作业状态已被接受。我们将不胜感激任何形式的帮助。提前致谢。 最佳答案

hadoop - 在 Hadoop 中使用外部 Web 服务数据

我计划通过Hadoop框架满足以下要求。我有40%的数据位于SQLServer数据库中我有20%的数据可通过网络服务获取其余40%可通过另一个数据库获得。来自三个来源的数据需要结合在一起形成第四个数据集,我需要将其发送到2个系统-一个通过Web服务调用,另一个通过直接数据库导入。为了实现上述功能,我打算使用我们已有的Hadoop平台。可以通过Sqoop管理数据库拉取和推送。转换是通过Hive编写的SQL查询来管理的。所有这一切都通过Oozie工作流进行编排。在所有事情中,我想获得帮助的是-一个。直接调用Webservice从hadoop中获取数据是不是一种好方法?还是我根本不应该使用h

hadoop - 集群安装卡在cloudera manager中的 "installation in progress"

我已经在ubuntu操作系统中安装了Clouderamanager5.4版本。当我尝试使用cloudera管理器安装集群时,它卡住了“正在安装”,没有任何错误。我只能从/var/log/cloudera-scm-server/cloudera-scm-server.log中看到两个错误2015-05-1219:11:42,715ERRORmain:org.hibernate.engine.jdbc.spi.SqlExceptionHelper:ERROR:relation"cm_version"doesnotexistPosition:212015-05-1219:16:58,585E