草庐IT

Failure-while

全部标签

hadoop - 错误 2997 : Unable to recreate exception from backed error: while using CSVExcelStorage

错误2997:无法从支持的错误中重新创建异常。在这里,我已经解析了apache日志文件,但是当我试图将其导出为csv格式时,会发生此错误。代码和错误:grunt>STORElogsINTO'/home/cloudera/workspace/Test_log.csv'USINGorg.apache.pig.piggybank.storage.CSVExcelStorage(',','NO_MULTILINE','NOCHANGE');2015-12-2410:50:44,821[main]INFOorg.apache.pig.tools.pigstats.ScriptState-Pigf

linux - 预认证失败 : Password read interrupted while getting initial credentials

关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭4年前。Improvethisquestion这是我遇到过的事情,我找到了解决方案。从那里没有任何问题,我会把它作为一个问题发布,我会写下我的解决方案作为答案。环境:操作系统:CentosLinux、MacOS(BigSur)集群:ClouderaHadoopDistribution,工具:Kerberos问题:我通过“ktutil”创建了“user.keytab”文件来更新没有密码的krb票据,正如这里推荐的那样https://kb.

hadoop - Oozie 和 Hue : why am I getting "permission denied" error while playing oozie workflow?

我是Hue和Oozie的新手。我安装了一个带有Hue的Cloudera5集群。我以Thomas的身份登录Hue,并创建了一个仅运行Hive脚本的Oozie仪表板。但是,当我启动仪表板时,出现以下错误,声称无法在inode/tmp/hadoop-yarn上写入:2015-06-1213:36:01,014WARNActionStartXCommand:523-SERVER[cdh-master]USER[thomas]GROUP[-]TOKEN[]APP[My_Workflow]JOB[0000000-150612132534763-oozie-oozi-W]ACTION[0000000

hadoop - hive ,直线 : Peer indicated failure: GSS initiate failed

我正在使用在Kerberos中添加的帐户启动beeline来测试Sentry:beeline-u"jdbc:hive2://IP:10000/;principal=test_table/domain_name@HADOOP.COM"但是JavaHotSpot(TM)64-BitServerVMwarning:ignoringoptionMaxPermSize=512M;supportwasremovedin8.0JavaHotSpot(TM)64-BitServerVMwarning:ignoringoptionMaxPermSize=512M;supportwasremovedin8

hadoop - kinit : Client's credentials have been revoked while getting initial credentials

我的hdp集群配置了带有AD的kerberos。所有HDP服务帐户都生成了主体和key表,包括spark。我知道服务帐户没有密码并设置为未过期。现在在执行kinit-ktspark.keytab-pspark-PRINCIPAL时出现以下错误(请参阅标题)。我在麻省理工学院的网站上读到,这是由于多次登录尝试失败或KDC中默认策略中设置的帐户过期而发生的。可以使用kadmin命令解锁帐户,例如kadmin:modprincispark/principal但我已与AD管理员进行交叉检查。他说我们在使用AD时不使用kdc服务器执行kadmin命令,但说使用ADUI检查时spark帐户处于解锁

hadoop - 错误 : Failed to create Data Storage while running embedded pig in java

我写了一个简单的程序来测试java中的嵌入式pig在mapreduce模式下运行。我运行的服务器hadoop版本是0.20.2-cdh3u4a,pig版本是0.10.0-cdh3u4a。当我尝试在本地模式下运行时,它运行成功。但是当我尝试以mapreduce模式运行时,它给了我错误。我使用以下命令运行我的程序,如http://pig.apache.org/docs/r0.9.1/cont.html#embed-java中所示javac-cppig.jarEmbedPigTest.javajavac-cppig.jar:.:/etc/hadoop/confEmbedPigTest.jav

java - Hadoop "error while writing TokenizerMapper permission denied"

我正在使用GoogleDeveloperConsole运行Hadoop示例“WordCount”。我在运行hadoopcom.sun.tools.javac.MainWordCount.java时遇到的错误是:WordCount.java:26:error:errorwhilewritingTokenizerMapper:WordCount$TokenizerMapper.class(Permissiondenied)publicstaticclassTokenizerMapper有一个箭头指向最后一行的类。echo$HADOOP_CLASSPATH返回/usr/lib/jvm/jav

scala - Spark : Executor Lost Failure (After adding groupBy job)

我正在尝试在Yarn客户端上运行Spark作业。我有两个节点,每个节点都有以下配置。我收到“ExecutorLostFailure(执行程序1丢失)”。我已经尝试了大部分Spark调优配置。我已经减少到一个执行器丢失,因为最初我遇到了6个执行器故障。这些是我的配置(我的spark-submit):HADOOP_USER_NAME=hdfsspark-submit--classgenkvs.CreateFieldMappings--masteryarn-client--driver-memory11g--executor-memory11G--total-executor-cores16

python - Apache Spark : Error while starting PySpark

在Centos机器上,Pythonv2.6.6和ApacheSparkv1.2.1尝试运行./pyspark时出现以下错误似乎是python的一些问题,但无法弄清楚15/06/1808:11:16INFOspark.SparkContext:SuccessfullystoppedSparkContextTraceback(mostrecentcalllast):File"/usr/lib/spark_1.2.1/spark-1.2.1-bin-hadoop2.4/python/pyspark/shell.py",line45,insc=SparkContext(appName="PyS

java - org.apache.maven.plugin.MojoExecutionException : protoc failure

我在使用maven从源代码编译hadoop时遇到了一些问题。这是错误,任何人都可以帮助我吗?谢谢。[ERROR]Failedtoexecutegoalorg.apache.hadoop:hadoop-maven-plugins:3.0.0-SNAPSHOT:protoc(compile-protoc)onprojecthadoop-c[Help1]org.apache.maven.lifecycle.LifecycleExecutionException:Failedtoexecutegoalorg.apache.hadoop:hadoop-maven-plugins:3.0.0-SN