草庐IT

yarn-error

全部标签

hadoop - HDP 2.0 Oozie 错误 : E0803 : E0803: IO error, E0603

我是ApacheOozie的新手,我正在尝试使用HortonworsHDP2.0平台从Oozie示例运行map-reduce示例。我得到:[jakub@puppetmastermain]$ooziejob-ooziehttp://puppetmaster:11000/oozie-configapps/map-reduce/job.properties-runError:E0803:E0803:IOerror,E0603:SQLerrorinoperation,org.apache.openjpa.persistence.RollbackException:Thetransactionh

斯卡拉 MapReduce : [error] method reduce overrides nothing

我遇到了这个错误,我这样写了我的TableReducer代码:classtreducerextendsTableReducer[Text,IntWritable,ImmutableBytesWritable]{overridedefreduce(key:Text,values:java.lang.Iterable[IntWritable],context:Reducer[Text,IntWritable,ImmutableBytesWritable,Mutation]#Context){vari=0for(v通过这次导入:importorg.apache.hadoop.hbase.HB

c++ - 使用 Visual Studio 2010 的 apache hadoop 源代码中的 "Error: expected a declaration"

我正在单个集群上安装ApacheHadoop,实际上是在我的笔记本电脑上。我已经按照说明书安装好了here,但是,我在安装时遇到错误。solution就是用VS手动编译,我已经做到了。但是在构建代码时,我得到以下行的错误#defineWIDEN_STRING(x)WIDEN_STRING_(x)#defineWIDEN_STRING_(x)L##x#defineSTRINGIFY(x)STRINGIFY_(x)#defineSTRINGIFY_(x)#x#pragmamessage("WSCEconfigis"STRINGIFY(WSCE_CONFIG_DIR)"\\"STRINGIF

spring - YARN 客户端身份验证失败,SIMPLE 身份验证未启用。可用 :[TOKEN]

我设置了一个简单的本地PHD3.0Hadoop集群并按照SpringYarnBasicGettingStartedguide中描述的步骤进行操作针对我的Hadoop集群运行该应用程序可以得到org.apache.hadoop.security.AccessControlException:SIMPLEauthenticationisnotenabled.Available:[TOKEN]以及YARNResourceManager中的以下堆栈跟踪:org.apache.hadoop.security.AccessControlException:SIMPLEauthenticationi

python - Hadoop 模式下的 Mrjob : Error launching job , 输入路径错误:文件不存在

我正在尝试运行Mrjobexample来self笔记本电脑上的HadoopwithPython一书,采用伪分布式模式。(文件salaries.csv可以找到here)所以我可以启动名称节点和数据节点:start-dfs.sh返回:Startingnamenodeson[localhost]localhost:startingnamenode,loggingto/home/me/hadoop-2.7.3/logs/hadoop-me-namenode-me-Notebook-PC.outlocalhost:startingdatanode,loggingto/home/me/hadoop

hadoop - 如何使用 Yarn 在 Cloudera 上添加 Spark 工作节点

我们有cloudera5.2,用户希望开始使用Spark的全部潜力(在分布式模式下,它可以利用HDFS的数据局部性),该服务已经安装并且可以在cloudera管理器状态(在home页面)但是当单击服务然后单击“实例”时,它只显示历史服务器角色,而在其他节点中显示网关服务器角色。根据我对Spark架构的理解,你有一个主节点和工作节点(与HDFS数据节点一起生活)所以在cloudera管理器中我尝试了“添加角色实例”,但只有“网关”角色可用。如何将Sparks工作节点(或执行程序)角色添加到具有HDFS数据节点的主机?还是没有必要(我认为由于yarn,yarn负责创建执行程序和应用程序主机

hadoop - yarn 中的节点状态是什么?

我想使用yarn跟踪我的节点的状态。所以,我做yarnnode-list查看我的节点。然后当我想列出某个状态下的所有节点时,我尝试做yarnnode-list-states.在webUI中我可以点击nodes我可以看到有时我的节点是UNHEALTHY.为什么我不能从命令行做类似的事情并做yarnnode-list-statesUNHEALTHY?或者,是否有人可以给我一个引用,告诉我哪个states我可以使用此命令yarnnode-list-states?我找不到它here 最佳答案 运行错误的命令行yarnnode-list-st

hadoop - 无法查看 yarn 资源管理器的日志

我尝试了各种命令,但在查看yarn日志时仍然存在问题,这是我查看日志所遵循的步骤[root@iop-rm1/]#yarnapplication-list17/04/0313:15:21INFOclient.RMProxy:ConnectingtoResourceManageratiop-rm1.qatc/172.18.0.4:8032Totalnumberofapplications(application-types:[]andstates:[SUBMITTED,ACCEPTED,RUNNING]):1Application-IdApplication-NameApplication

hadoop - 线程 "main"java.lang.NoClassDefFoundError : org/apache/hadoop/yarn/exceptions/YarnRuntimeException 中的异常

我在hadoop-2.7.0上运行了一个mapreduce作业,但是这个mapreduce作业没有完成,我遇到了这个错误:Jobjob_1491881070758_0003failedwithstateFAILEDdueto:Applicationapplication_1491881070758_0003failed2timesduetoAMContainerforappattempt_1491881070758_0003_000002exitedwithexitCode:1Formoredetailedoutput,checkapplicationtrackingpage:http

mysql - 编译语句 : FAILED: SemanticException [Error 10002] 时出错

selectd.order_typefrommigu_td_aaa_order_log_ddwhereexists(select1frommigu_userrwherer.user_id='156210106'andr.user_num=d.serv_number)andd.product_idin('2028594290','2028596512','2028597138')orderbyd.opr_timedesclimit1为什么上面的sql失败,说明:失败:SemanticException[错误10002]:第4:11行无效的列引用“opr_time”但下面的一个有效:sel