我使用kerberos配置了hadoop，一切正常，我可以浏览hdfs、提交作业等。但是httpweb身份验证失败。我在cdh3u2中使用hadoop-0.20.2，它支持HTTPSPNEGO。core-site.xml中HTTP认证相关配置如下:hadoop.http.filter.initializersorg.apache.hadoop.security.AuthenticationFilterInitializerhadoop.http.authentication.typekerberoshadoop.http.authentication.token.validity360
我正在尝试通过oozie执行shell脚本，但我遇到了一些问题。我有一个这样的属性文件(import.properties):startIndex=2000chunkSize=2000想法是，在每次执行中，startIndex值都会根据block大小进行更新。所以如果我执行它，它应该有startIndex=4000chunkSize=2000我已经单独测试了脚本，它运行良好。这是我的其他相关文件。工作属性nameNode=hdfs://192.168.56.101:8020jobTracker=192.168.56.101:50300wfeRoot=wfequeueName=defau
我尝试在Ubuntu12.04.1LTS上安装使用标准版本的cloudera管理器，当我想添加新主机时，出现下一个错误:Installationfailed.Failedtoreceiveheartbeatfromagent.Ensurethatthehost'shostnameisconfiguredproperly.Ensurethatport7182isaccesibleontheClouderaManagerserver(checkfirewallrules).Ensurethatports9000an9001arefreeonthehostbeingadded.Checkag
所以我有一个带有7个工作节点的cloudera集群。30GB内存4个vCPU以下是我发现的一些配置(来自Google)对于调整我的集群性能很重要。我正在运行:yarn.nodemanager.resource.cpu-vcores=>4yarn.nodemanager.resource.memory-mb=>17GB(为操作系统和其他进程预留)mapreduce.map.memory.mb=>2GBmapreduce.reduce.memory.mb=>2GB运行nproc=>4(可用处理单元数)现在我担心的是，当我查看我的ResourceManager时，我看到可用内存为119GB，
我已经在ubuntu12.04上安装了hadoop2.2.0&hbase-0.94.18。当我尝试运行命令时create't1','c1'在hbaseshell中，我得到以下错误-ERRORclient.HConnectionManager$HConnectionImplementation:Checkthevalueconfiguredin'zookeeper.znode.parent'.Therecouldbeamismatchwiththeoneconfiguredinthemaster.怎么了？ 最佳答案 一些事情没有特别的
我已经安装了clouderacdh4release我正在尝试在上面运行mapreduce作业。我收到以下错误-->2012-07-0915:41:16ZooKeeperSaslClient[INFO]ClientwillnotSASL-authenticatebecausethedefaultJAASconfigurationsection'Client'couldnotbefound.IfyouarenotusingSASL,youmayignorethis.Ontheotherhand,ifyouexpectedSASLtowork,pleasefixyourJAASconfigu
我试图运行一个RubyHadoop流程序，它在“Ruby权威指南”中给出。这是我使用的命令:hadoopjar/usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2+737.jar-inputinput/temperature-outputoutput-mapper/home/cloudera/projects/max_temp/map.rb-reducer/home/cloudera/projects/max_temp/reduce.rb文件路径正确。运行命令后，出现如下错误:packageJobJar:[/var
我已经启动并运行了6个节点的cloudera5.0beta集群但是我无法使用命令查看hadoopHDFS的文件和文件夹sudo-uhdfshadoopfs-ls/在输出中它显示了linux目录的文件和文件夹。尽管namenodeUI正在显示文件和文件夹。在HDFS上创建文件夹时出现错误sudo-uhdfshadoopfs-mkdir/testmkdir:`/test':Input/outputerror由于此错误，hbase未启动并关闭并出现以下错误:Unhandledexception.Startingshutdown.java.io.IOException:Exceptioninm
我有一个“仅映射”(无缩减阶段)程序。输入文件的大小足以创建7个maptask，我已经通过查看生成的输出(part-000到part006)验证了这一点。现在，我的集群有8个节点，每个节点有8个内核和8GB内存，共享文件系统托管在头节点上。我的问题是，我可以选择仅在1个节点中运行所有7个映射任务，还是在7个不同的从属节点中运行7个映射任务(每个节点1个任务)。如果我可以这样做，那么我的代码和配置文件需要做哪些更改。我尝试仅在我的代码中将参数“mapred.tasktracker.map.tasks.maximum”设置为1和7，但我没有发现任何明显的时间差异。在我的配置文件中它设置为1
由于Spring-Data-Hadoop尚未发布，因此很难找到与cloudera一起使用的运行示例配置。我需要选择哪些依赖项才能与CDH4(Hadoop2.0.0-cdh4.1.3)一起运行Spring-Data-Hadoop？通过选择不同的应用程序，我得到了这个异常(exception):空指针Exceptioninthread"SimpleAsyncTaskExecutor-1"java.lang.ExceptionInInitializerErroratorg.springframework.data.hadoop.mapreduce.JobExecutor$2.run(JobE
