草庐IT

CDH4-Installation-Guide

全部标签

hadoop - 在 hadoop 2.3.0-cdh-5.0 上的 Giraph1.1.0 上执行示例显示以下错误

root@pseudo-hadoop:/usr/lib/hadoop#bin/hadoopjar$GIRAPH_HOME/giraph-examples/target/giraph-examples-1.1.0-SNAPSHOT-for-hadoop-1.2.1-jar-with-dependencies.jarorg.apache.giraph.GiraphRunnerorg.apache.giraph.examples.SimpleShortestPathsComputation-viforg.apache.giraph.io.formats.JsonLongDoubleFloat

hadoop - 我收到 CDH4.0 错误 "The method addCacheFile(URI) is undefined for the type Job"

我遇到了错误ThemethodaddCacheFile(URI)isundefinedforthetypeJob使用CDH4.0时尝试调用addCacheFile(URIuri)方法,如下图:importjava.net.URI;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.

hadoop - CDH WebHDFS 请求重定向到 EC2 上的本地地址

我正在尝试设置一个环境,在其中我在本地运行我的一些后端,并从我的本地计算机向EC2实例发送请求。我有CDH4.5安装程序,它工作正常。当我运行以下请求时curl--negotiate-i-L-u:hdfshttp://ec2-xx-xx-xx-xx.eu-west-1.compute.amazonaws.com:50070/webhdfs/v1/tmp/test.txt?op=OPEN这适用于该区域中的任何EC2实例,但在该区域之外不起作用。如果我在本地尝试,它会返回以下错误curl:(6)Couldnotresolvehost:ip-xx-xx-xx-xx.eu-west-1.com

hadoop - pig : Container is running beyond physical memory limits in cdh 5 using oozie

我正在尝试运行一个简单的pig脚本,该脚本在gruntshell中运行f9但不使用oozie,出现如下错误:容器[pid=2617,containerID=container_1438923434512_12103_01_000002]正在超出物理内存限制运行。当前使用情况:已使用1.0GB的1GB物理内存;使用了2.9GB的2.1GB虚拟内存。杀死容器。container_1438923434512_12103_01_000002..的进程树转储..实际上我正在通过oozie调用一个shell脚本,实习生调用pig脚本并得到这样的错误。我怎样才能让它在oozie中可用

hadoop - 如何在CDH5 Hue中设置运行MR作业的配置?

我已经成功安装并启动了CDH5,当我尝试通过Hue运行一个简单的WordCount示例时,我遇到了以下错误。2015-05-1312:58:04,374INFOorg.apache.oozie.command.wf.ActionStartXCommand:SERVER[localhost]USER[hdfs]GROUP[-]TOKEN[]APP[trialWC]JOB[0000000-150513124629466-oozie-oozi-W]ACTION[0000000-150513124629466-oozie-oozi-W@:start:]Startaction[0000000-1

hadoop - CDH 5.7 上的 Streamsets solrcloud 无法连接到 Solr

我在CDH5.7.0版上使用流集从HDFS(源)加载文件并在Solr(目标)上创建记录的示例工作流程。验证失败-SOLR_03-无法连接到Solr实例:org.apache.solr.common.cloud.ZooKeeperException::ZooKeeper连接字符串。但是,从日志中,我看到它能够连接到zookeeper,但是,在调用/live_nodeszookeeperapi后以某种方式关闭了session。2016-06-0316:30:21,336INFOorg.apache.solr.common.cloud.ConnectionManager:Clientisco

configuration - cdh4 hadoop-hbase PriviledgedActionException 为 :hdfs (auth:SIMPLE) cause:java. io.FileNotFoundException

我已经安装了clouderacdh4release我正在尝试在上面运行mapreduce作业。我收到以下错误-->2012-07-0915:41:16ZooKeeperSaslClient[INFO]ClientwillnotSASL-authenticatebecausethedefaultJAASconfigurationsection'Client'couldnotbefound.IfyouarenotusingSASL,youmayignorethis.Ontheotherhand,ifyouexpectedSASLtowork,pleasefixyourJAASconfigu

java - 如何使用 Cloudera CDH4 和 Maven 获取正在运行的 Spring-Data-Hadoop 项目

由于Spring-Data-Hadoop尚未发布,因此很难找到与cloudera一起使用的运行示例配置。我需要选择哪些依赖项才能与CDH4(Hadoop2.0.0-cdh4.1.3)一起运行Spring-Data-Hadoop?通过选择不同的应用程序,我得到了这个异常(exception):空指针Exceptioninthread"SimpleAsyncTaskExecutor-1"java.lang.ExceptionInInitializerErroratorg.springframework.data.hadoop.mapreduce.JobExecutor$2.run(JobE

hadoop - 从 HDFS 导入数据到 HBase (cdh3u2)

我已经安装了hadoop和hbasecdh3u2。在hadoop中,我在路径/home/file.txt中有一个文件。它有这样的数据one,1two,2three,3我想将这个文件导入到hbase中。其中,第一个字段应解析为字符串,第二个字段应解析为整数,然后应将其插入hbase。帮我做这个a提前致谢.... 最佳答案 我喜欢使用ApachePig来摄取HBase,因为它简单、直接且灵活。这是一个Pig脚本,可以在您创建表和列族后为您完成这项工作。要创建表和列族,您需要:$hbaseshell>create'mydata','myc

hadoop - 如何找到cdh版本的hadoop

当连接到Hadoop集群时,如何知道这个集群运行的是哪个版本的Hadoop?在使用Maven编译和打包HadoopJava作业时,这对于正确配置库尤其重要。 最佳答案 如果您可以通过ssh访问hadoop节点,最简单的方法是运行命令$hadoopversion 关于hadoop-如何找到cdh版本的hadoop,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/24601105/