草庐IT

shell - Oozie 和 Hue : Permission Denied while running shell script

我在HDFS/user/user中有一个shell脚本sample_shell.sh,如下所示:source/user/user/params_new.cfgecho"HELLOWORLD"echo$layerparams_new.cfg也位于HDFS/user/user目录中,其内容为:layer="S"我是Oozie的新手,正在尝试在Hue中设置一个Oozie工作流程,它将执行sample_shell.sh脚本。属性如下:${jobTracker}${nameNode}/user/user/sample_shell.sh/user/user/sample_shell.sh#samp

java - hadoop java.io.IOException : while running namenode -format on OSX 错误

我在格式化namenode时遇到以下错误,我已经尝试使用sudosu,正如其他一些堆栈溢出解决方案中提到的那样,但我仍然遇到此错误,请协助。14/01/1616:10:41INFOutil.GSet:ComputingcapacityformapINodeMap14/01/1616:10:41INFOutil.GSet:VMtype=64-bit14/01/1616:10:41INFOutil.GSet:1.0%maxmemory=889MB14/01/1616:10:41INFOutil.GSet:capacity=2^20=1048576entries14/01/1616:10:4

json - 风筝SDK : Getting error while Json-import

我在使用kitesdk导入json时遇到问题。使用命令生成avro模式:./kite-datasetjson-schema/vagrant/satyam/kite/restaurant-sample.json-osample.avsc--record-nameHGW然后通过命令在hdfs文件系统中创建数据集:./kite-datasetcreatedataset:hdfs:/user/falcon/datasets/hgw--schemasample.avsc要导入JSON文件,我正在运行以下命令:./kite-dataset-vjson-import/vagrant/satyam/k

vector - java.lang.OutOfMemoryError : Java heap space error while running seq2sparse in mahout 错误

我正在尝试在mahout中使用k-means对一些手工制作的日期进行聚类。我创建了6个文件,每个文件中几乎没有1或2个单词的文本。使用./mahoutseqdirectory从它们中创建一个序列文件。在尝试使用./mahoutseq2sparse命令将序列文件转换为向量时,出现java.lang.OutOfMemoryError:Javaheapspace错误。序列文件大小为0.215KB。命令:./mahoutseq2sparse-imokha/output-omokha/vector-ow错误日志:SLF4J:ClasspathcontainsmultipleSLF4Jbindin

hadoop - 画面 : Error while using Impala to connect to Cloudera Hadoop

我正在研究如何使用Tableau连接到ClouderaHadoop。我提供服务器和端口详细信息并使用“Impala”进行连接。我能够成功连接,选择默认模式并选择所需的表。在此之后,当我将维度或度量拖放到“网格”上的行/列时,出现以下错误:[Cloudera][Hardy](22)来自ThriftHiveClient的错误:查询返回非零代码:10025,原因:失败:SemanticException[错误10025]:第1:7行表达式不在GROUPBY键中''.但是,如果我尝试使用与“HiveServer”(而不是“Impala”)相同的连接类型,它工作正常。我们不确定哪里出错了。非常感

eclipse 中的 java.lang.NoSuchFieldError : IBM_JAVA error while running hadoop 2. 2.0

Exceptioninthread"main"java.lang.NoSuchFieldError:IBM_JAVAatorg.apache.hadoop.security.UserGroupInformation.getOSLoginModuleName(UserGroupInformation.java:303)atorg.apache.hadoop.security.UserGroupInformation.(UserGroupInformation.java:348)atorg.apache.hadoop.fs.FileSystem$Cache$Key.(FileSystem.

amazon-web-services - 亚马逊 S3 错误代码 : 400 while running mr-job on EMR

在EMR上运行自定义jar时出现此错误。Exceptioninthread"main"com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception:BadRequest(Service:AmazonS3;StatusCode:400;ErrorCode:400BadRequest;RequestID:B042BB0B40A75966),S3ExtendedRequestID:vr/DUr8HD3xjomauyzqvVdGuW3fHBP8PDUmTIAoVLUxrmsxh9H+OS

hadoop - 错误消息 : "offset (0) + length (4) exceed the capacity of the array: 2" while fetching data from HBase

由于上述错误,我基于tomcat的RESTAPI应用程序无法处理请求。我在尝试从HBase检索数据时遇到错误。我使用RESTFul网络服务作为我的界面。我正在使用包含HBase0.98.6的CDH5.3.1。有谁知道如何解决这个问题?在此处输入代码错误详情:错误信息:“偏移量(0)+长度(4)超出数组的容量:2” 最佳答案 也许您需要更改一些架构类型规范?我得到这个错误,除了offset(0)+length(4)exceedthecapacityofthearray:1。这是因为缺少相关列的值,我假设1个字节表示空值。在Java中使

hadoop - PIG 拉丁语 : While loading how to discard the first line in any file?

我从一段时间以来一直在使用PIG,想知道如何在加载文件时不考虑第一行。我有一个包含标题的文件。所以我应该忽略第一行并转到下一行对日期列和所有列进行处理。如何解决这个问题?谢谢 最佳答案 如果你有pig版本0.11,你可以试试这个:input_file=load'input'USINGPigStorage(',')as(row1:chararay,row2:chararray);ranked=rankinput_file;NoHeader=Filterrankedby(rank_input_file>1);New_input_file

hadoop - Cloudera错误-java.lang.NoSuchFieldError : IS_SECURITY_ENABLED while trying to access this field

DoneMyHome工作到处搜索,但没有找到任何解决方案java.lang.NoSuchFieldError:IS_SECURITY_ENABLEDCDH包包含冲突的jar(jsp-api-2.1-6.1.14.jar、jasper-runtime-5.5.23.jar)。jsp-api-2.1-6.1.14.jar和jasper-runtime-5.5.23.jar包含不同版本的org.apache.Constants.java类。jasper-runtime-*jar不包含字段“IS_SECURITY_ENABLED”,因此jetty在尝试访问类org.apache.Constan