草庐IT

while-equivalent

全部标签

amazon-web-services - 亚马逊 S3 错误代码 : 400 while running mr-job on EMR

在EMR上运行自定义jar时出现此错误。Exceptioninthread"main"com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception:BadRequest(Service:AmazonS3;StatusCode:400;ErrorCode:400BadRequest;RequestID:B042BB0B40A75966),S3ExtendedRequestID:vr/DUr8HD3xjomauyzqvVdGuW3fHBP8PDUmTIAoVLUxrmsxh9H+OS

hadoop - 错误消息 : "offset (0) + length (4) exceed the capacity of the array: 2" while fetching data from HBase

由于上述错误,我基于tomcat的RESTAPI应用程序无法处理请求。我在尝试从HBase检索数据时遇到错误。我使用RESTFul网络服务作为我的界面。我正在使用包含HBase0.98.6的CDH5.3.1。有谁知道如何解决这个问题?在此处输入代码错误详情:错误信息:“偏移量(0)+长度(4)超出数组的容量:2” 最佳答案 也许您需要更改一些架构类型规范?我得到这个错误,除了offset(0)+length(4)exceedthecapacityofthearray:1。这是因为缺少相关列的值,我假设1个字节表示空值。在Java中使

hadoop - PIG 拉丁语 : While loading how to discard the first line in any file?

我从一段时间以来一直在使用PIG,想知道如何在加载文件时不考虑第一行。我有一个包含标题的文件。所以我应该忽略第一行并转到下一行对日期列和所有列进行处理。如何解决这个问题?谢谢 最佳答案 如果你有pig版本0.11,你可以试试这个:input_file=load'input'USINGPigStorage(',')as(row1:chararay,row2:chararray);ranked=rankinput_file;NoHeader=Filterrankedby(rank_input_file>1);New_input_file

hadoop - Cloudera错误-java.lang.NoSuchFieldError : IS_SECURITY_ENABLED while trying to access this field

DoneMyHome工作到处搜索,但没有找到任何解决方案java.lang.NoSuchFieldError:IS_SECURITY_ENABLEDCDH包包含冲突的jar(jsp-api-2.1-6.1.14.jar、jasper-runtime-5.5.23.jar)。jsp-api-2.1-6.1.14.jar和jasper-runtime-5.5.23.jar包含不同版本的org.apache.Constants.java类。jasper-runtime-*jar不包含字段“IS_SECURITY_ENABLED”,因此jetty在尝试访问类org.apache.Constan

hadoop - 错误 2997 : Unable to recreate exception from backed error: while using CSVExcelStorage

错误2997:无法从支持的错误中重新创建异常。在这里,我已经解析了apache日志文件,但是当我试图将其导出为csv格式时,会发生此错误。代码和错误:grunt>STORElogsINTO'/home/cloudera/workspace/Test_log.csv'USINGorg.apache.pig.piggybank.storage.CSVExcelStorage(',','NO_MULTILINE','NOCHANGE');2015-12-2410:50:44,821[main]INFOorg.apache.pig.tools.pigstats.ScriptState-Pigf

linux - 预认证失败 : Password read interrupted while getting initial credentials

关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭4年前。Improvethisquestion这是我遇到过的事情,我找到了解决方案。从那里没有任何问题,我会把它作为一个问题发布,我会写下我的解决方案作为答案。环境:操作系统:CentosLinux、MacOS(BigSur)集群:ClouderaHadoopDistribution,工具:Kerberos问题:我通过“ktutil”创建了“user.keytab”文件来更新没有密码的krb票据,正如这里推荐的那样https://kb.

hadoop - Oozie 和 Hue : why am I getting "permission denied" error while playing oozie workflow?

我是Hue和Oozie的新手。我安装了一个带有Hue的Cloudera5集群。我以Thomas的身份登录Hue,并创建了一个仅运行Hive脚本的Oozie仪表板。但是,当我启动仪表板时,出现以下错误,声称无法在inode/tmp/hadoop-yarn上写入:2015-06-1213:36:01,014WARNActionStartXCommand:523-SERVER[cdh-master]USER[thomas]GROUP[-]TOKEN[]APP[My_Workflow]JOB[0000000-150612132534763-oozie-oozi-W]ACTION[0000000

hadoop - kinit : Client's credentials have been revoked while getting initial credentials

我的hdp集群配置了带有AD的kerberos。所有HDP服务帐户都生成了主体和key表,包括spark。我知道服务帐户没有密码并设置为未过期。现在在执行kinit-ktspark.keytab-pspark-PRINCIPAL时出现以下错误(请参阅标题)。我在麻省理工学院的网站上读到,这是由于多次登录尝试失败或KDC中默认策略中设置的帐户过期而发生的。可以使用kadmin命令解锁帐户,例如kadmin:modprincispark/principal但我已与AD管理员进行交叉检查。他说我们在使用AD时不使用kdc服务器执行kadmin命令,但说使用ADUI检查时spark帐户处于解锁

hadoop - 错误 : Failed to create Data Storage while running embedded pig in java

我写了一个简单的程序来测试java中的嵌入式pig在mapreduce模式下运行。我运行的服务器hadoop版本是0.20.2-cdh3u4a,pig版本是0.10.0-cdh3u4a。当我尝试在本地模式下运行时,它运行成功。但是当我尝试以mapreduce模式运行时,它给了我错误。我使用以下命令运行我的程序,如http://pig.apache.org/docs/r0.9.1/cont.html#embed-java中所示javac-cppig.jarEmbedPigTest.javajavac-cppig.jar:.:/etc/hadoop/confEmbedPigTest.jav

java - Hadoop "error while writing TokenizerMapper permission denied"

我正在使用GoogleDeveloperConsole运行Hadoop示例“WordCount”。我在运行hadoopcom.sun.tools.javac.MainWordCount.java时遇到的错误是:WordCount.java:26:error:errorwhilewritingTokenizerMapper:WordCount$TokenizerMapper.class(Permissiondenied)publicstaticclassTokenizerMapper有一个箭头指向最后一行的类。echo$HADOOP_CLASSPATH返回/usr/lib/jvm/jav