草庐IT

state-management

全部标签

Hadoop,线程 "main"java.lang.IllegalStateException : Job in state DEFINE instead of RUNNING 中的 MapReduce 自定义 Java 计数器异常

错误是:Exceptioninthread"main"java.lang.IllegalStateException:JobinstateDEFINEinsteadofRUNNINGatorg.apache.hadoop.mapreduce.Job.ensureState(Job.java:294)atorg.apache.hadoop.mapreduce.Job.getCounters(Job.java:762)atcom.aamend.hadoop.MapReduce.CountryIncomeConf.main(CountryIncomeConf.java:41)atsun.re

hadoop - Cloudera Manager 和 hdfs-site.xml

使用ClouderaManager时,我可以通过以下方式访问hdfs-site.xml文件:ClouderaManager>Cluster>HDFS>Instances>(NameNode,例如)>Processes配置文件>hdfs-site.xml然后URL指向:http://quickstart.cloudera:7180/cmf/process/8/config?filename=hdfs-site.xml这个文件是否可以通过文件系统直接访问,如果可以,它位于何处 最佳答案 ClouderaManager中设置的配置存储在C

hadoop - Apache Hadoop Windows 10 - Datanode、Resource Manager 和 Yarn 在启动时立即关闭

我已经按照教程为Windows设置了ApacheHadoop,可以找到here.我现在遇到Datanode、ResourceManager和Yarncmd窗口的问题,显示打开后所有3秒都关闭,只有Namenode继续运行。这是我到目前为止尝试过的过程:以管理员身份运行CMD使用命令start-all.cmd(这会打开Namenode、Datanode、Yarn和Resourcemanagercmd窗口)Datanode、Yarn和Resourcemanager几乎都在启动后立即给出关闭消息SHUTDOWN_MSG:正在thood-alienware/...关闭ResourceManag

hadoop - 无法连接到 Cloudera Manager,未监听端口 7180

如果有人帮助我在AWSEC2上运行cloudera管理器,我将不胜感激。这是我的第一次安装,我的目标是使用AWS免费套餐启动一些节点,并在Hadoop集群和cloudera分布上进行一些培训。我在AWSEC2上使用RedHatRHEL7.2镜像。我正在按照此处的说明进行操作...ClouderaManagerinstallation我已经安装了clouderamanagerOK,然后进入邀请您使用浏览器登录到clouderamanager服务器的屏幕。但这就是问题的开始。该应用程序似乎未在端口7180上监听,因此无法通过网络从另一台计算机进行连接。我什至无法在服务器上进行本地连接,但该

hadoop - 致命的 master.HMaster : Unexpected state : . 。无法将其转移到 OFFLINE

我遇到了严重的Hbase崩溃问题。我将HBase0.94.7与一个主服务器和两个区域服务器一起使用。HBasemaster经常崩溃,我什至无法重新启动它。我有如下主日志:DEBUGmaster.AssignmentManager:Handlingtransition=RS_ZK_REGION_CLOSED,server=master,60020,1374506461230,region=46c2333f401964bf877254be19c2cc8cDEBUGhandler.ClosedRegionHandler:HandlingCLOSEDeventfor6423df864603aa

Hadoop Map-Reduce : what you can tell about a state: mappers: 80%, reducer :20%

在采访中有人问我一个问题:关于状态,你能说些什么:映射器:80%,缩减器:20%?我的理解是,进入那种状态是不可能的。因为在reducer开始工作之前,所有映射器都应该完成运行:收集所有键值对并按键分组。我说的对吗? 最佳答案 Reducers为20%意味着后台线程已开始将数据从mapper输出位置复制到reducer输入位置。这就是为什么在映射器输出达到100%之前,reducers进度显示为20%。 关于HadoopMap-Reduce:whatyoucantellaboutasta

hadoop - org.apache.hadoop.hdfs.server.common.InconsistentFSStateException : Directory/tmp/hadoop/dfs/name is in an inconsistent state

我正在运行单节点。NameNode总是在启动集群时开始失败。我收到以下错误。2013-06-2910:37:29,968FATALorg.apache.hadoop.hdfs.server.namenode.NameNode:Exceptioninnamenodejoinorg.apache.hadoop.hdfs.server.common.InconsistentFSStateException:Directory/tmp/hadoop/dfs/nameisinaninconsistentstate:storagedirectorydoesnotexistorisnotaccess

hadoop - Cloudera 经理。未能检测到 Cloudera Manager Server

我有两台装有CentOS6.5的PCclient86-101.aihs.net80.94.86.101client86-103.aihs.net80.94.86.103cloudera-manager-server安装在client86-101.aihs.net上。我在检测ClouderaManagerServer时遇到问题(集群安装的第3步。)问题跟踪:BEGINhost-tPTR80.94.86.101101.86.94.80.in-addr.arpadomainnamepointerclient86-101.aihs.net.END(0)usingclient86-101.aih

hadoop - 创建外部表时Hive报错(state=08S01,code=1)

我试图在Hive中创建一个外部表,但不断收到以下错误:createexternaltablefoobar(aSTRING,bSTRING)rowformatdelimitedfieldsterminatedby"\t"storedastextfilelocation"/tmp/hive_test_1375711405.45852.txt";Error:Errorwhileprocessingstatement:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask(state=08S01,c

hadoop - hdfs数据目录 "is in an inconsistent state: is incompatible with others."

对不起,这让我很紧张......就在我开始通过配置单元加载表时,我开始收到此错误。亲爱的老谷歌也帮不上忙。我的情况-单节点设置。名称节点正常工作。datanode启动失败并显示此消息-ERRORdatanode.DataNode:org.apache.hadoop.hdfs.server.common.InconsistentFSStateException:Directory/xxxxxx/hadoop/hdfs-data-dirisinaninconsistentstate:isincompatiblewithothers.我已经尝试过重新格式化我的名称节点,但没有用。此外,我试图