我正在使用Ubuntu12.04LTS在4节点集群上安装CDH4。我能够安装cloudera管理器并在主机上启动单节点集群。但是，一旦我添加了一个新主机，CM就会说它运行状况不佳并抛出以下错误:“从Java进程检查时，此主机的主机名和规范名称不一致。”我修改了master和所有主机上的/etc/hosts的内容，以包含IP地址，后跟每台机器的FQDN。我是否还需要设置一个DNS服务器才能完成这项工作？ 最佳答案 您不一定需要设置DNS服务器才能使其正常工作，但正向和反向DNS必须明确匹配Hadoop才能正常运行。Hadoop操作书有
如果有人帮助我在AWSEC2上运行cloudera管理器，我将不胜感激。这是我的第一次安装，我的目标是使用AWS免费套餐启动一些节点，并在Hadoop集群和cloudera分布上进行一些培训。我在AWSEC2上使用RedHatRHEL7.2镜像。我正在按照此处的说明进行操作...ClouderaManagerinstallation我已经安装了clouderamanagerOK，然后进入邀请您使用浏览器登录到clouderamanager服务器的屏幕。但这就是问题的开始。该应用程序似乎未在端口7180上监听，因此无法通过网络从另一台计算机进行连接。我什至无法在服务器上进行本地连接，但该
我已经基于来自CDH5.1.0的hadoop2.3.0设置了带有1个节点管理器、4个本地目录和4个日志目录等的YARNMapReduce迷你集群。它看起来或多或少有效。我未能实现的是来自容器的系统日志记录。我看到容器日志目录、stdout和stderr文件，但没有看到带有MapReduce容器日志记录的syslog。适当的stderr警告我没有log4j配置并且不包含任何其他字符串:log4j:WARNNoappenderscouldbefoundforlogger(org.apache.hadoop.metrics2.impl.MetricsSystemImpl).log4j:WAR
我有两台装有CentOS6.5的PCclient86-101.aihs.net80.94.86.101client86-103.aihs.net80.94.86.103cloudera-manager-server安装在client86-101.aihs.net上。我在检测ClouderaManagerServer时遇到问题(集群安装的第3步。)问题跟踪:BEGINhost-tPTR80.94.86.101101.86.94.80.in-addr.arpadomainnamepointerclient86-101.aihs.net.END(0)usingclient86-101.aih
我一直在使用oozie来安排spark作业。尝试使用Oozie中可用的spark操作在2.x集群中部署spark作业。在我的job.properties中，我有以下内容`nameNode=hdfs://hostname:8020jobTracker=hostname:8050master=yarn-clusterqueueName=defaultoozie.use.system.libpath=true`当我提交oozie作业时，我一直收到此错误错误:错误代码[JA009]，消息[JA009:无法初始化集群。请检查您的mapreduce.framework.name配置和相应的服务器地
我在8节点Hadoop集群上工作，我正在尝试使用指定的配置执行一个简单的流作业。hadoopjar/usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-cdh3u0.jar\-Dmapred.map.max.tacker.failures=10\-Dmared.map.max.attempts=8\-Dmapred.skip.attempts.to.start.skipping=8\-Dmapred.skip.map.max.skip.records=8\-Dmapred.skip.mode.enabled=tru
我正在使用AmazonEMR，并且能够使用CLI工具创建和运行工作流。作业运行良好。但是，当我尝试将数据从S3和名称节点的本地文件系统加载到我的EMR集群的HDFS时遇到了问题。我想从S3填充HDFS。我正在尝试使用S3DistCp工具执行此操作。我正在运行这个命令:elastic-mapreduce--jobflow$JOBFLOWID--jars3://us-east-1.elasticmapreduce/libs/s3distcp/1.0.1/s3distcp.jar--arg--src--arg's3n://my-bucket/src'--arg--dest--arg'hdfs
您好，我试图在Mahout中运行KmeanClusteringExample，但遇到了示例代码中的错误。我在下面的代码片段中遇到错误集群cluster=newCluster(vec,i,newEuclideanDistanceMeasure());报错CannotinstantiatetheTypeCluster(这是一个接口(interface)，我的理解)。我想在我的样本数据集上运行kmeans，任何人都可以指导我吗？我在我的EClipseIDE中包含了以下Jarmahout-math-0.7-cdh4.3.0.jarhadoop-common-2.0.0-cdh4.2.1.jar
我正在尝试使用HbaseTestingUtility测试我的Hbase代码。每次我使用下面的代码片段启动我的迷你集群时，我都会遇到异常。publicvoidstartCluster(){FileworkingDirectory=newFile("./");Configurationconf=newConfiguration();System.setProperty("test.build.data",workingDirectory.getAbsolutePath());conf.set("test.build.data",newFile(workingDirectory,"zooke
我正在尝试通过以下命令向CDHyarn集群提交一个spark作业我尝试了几种组合，但都不行......我现在所有的poijar都位于我的本地/root以及HDFS/user/root/lib中，因此我尝试了以下操作spark-submit--masteryarn-cluster--class"ReadExcelSC"./excel_sc.jar--jars/root/poi-3.12.jars,/root/poi-ooxml-3.12.jar,/root/poi-ooxml-schemas-3.12.jarspark-submit--masteryarn-cluster--class"
