草庐IT

matches_stage

全部标签

xml - 配置单元-site.xml : The element type "configuration" must be terminated by the matching end-tag "</configuration>"

为了练习/学习,我正在尝试在Ubuntu系统上安装Hive。我正在遵循一组预先编写的说明。它说通过转到$HIVE_HOME并运行bin/hive来测试Hive安装。当我这样做时,我得到了相当大的文本转储,但我认为最重要的一点如下:**[FatalError]hive-site.xml:2787:3:Theelementtype"configuration"mustbeterminatedbythematchingend-tag"".17/05/0610:46:12FATALconf.Configuration:errorparsingconffile:/usr/local/hive/c

hadoop - 运行hadoop example,遇到 ".staging/job_1541144755485_0002/job.splitmetainfo does not exist",怎么办?

我的配置如下:Hadoop实验我用了两台机器,分别是pc720(10.10.1.1)和pc719(10.10.1.2)。jdk(版本1.8.0_181)由apt-get安装。Hadoop2.7.1下载自https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/,并放入/opt/第一步:我配置了/etc/bash.bashrc,添加了exportJAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64exportPATH=${JAVA_HOME}/bin:${PATH}exportHADOOP_HO

java - S3DistCp 作业失败 : -- dest doesn't match

我正在尝试使用s3DistCp将1个S3文件夹中的一些小文件合并到另一个S3文件夹中。脚本类似于以下内容:elastic-mapreduce--jobflowj-33EDUGSQCN0PZ--jar\/home/hadoop/lib/emr-s3distcp-1.0.jar\--args'--src,s3://li-test/data,\--dest,s3://li-test/result,\--groupBy,[0-9]*,\--targetSize,128'但我收到如下java.lang.RuntimeException错误。需要帮助。谢谢!线程“main”中的异常java.lan

hadoop - Apache pig -错误 2229 : Couldn't find matching uid -1 for project

运行Pig脚本时出现以下异常。ERROR2229:Couldn'tfindmatchinguid-1forproject(Name:ProjectType:bytearrayUid:-1Input:0Column:12)org.apache.pig.impl.logicalLayer.FrontendException:ERROR2000:ErrorprocessingruleColumnMapKeyPrune.Try-tColumnMapKeyPruneatorg.apache.pig.newplan.optimizer.PlanOptimizer.optimize(PlanOpti

hadoop - 在 Pig 中使用带 MATCHES 的双引号

我正在尝试根据其中包含双引号的字符串模式过滤我在pig中的输入。例如,假设input.txt有field1="value1"field2="value2"field1="value1"field2="val2"Iwanttofilteroutlineswhichhasfield2="value2".So,IrunthefollowingscriptA=LOAD'input.txt'ASline:chararray;B=FILTERABYlineMATCHES'.*field2="value2".*';DUMPB;上面的代码片段抛出0条记录。如果我不给出结尾的双引号,它就可以工作B=FI

hadoop - Hive 负载数据 :No files matching path file:/home/hive/sample. 日志

我正在尝试加载HDP-sandbox上的sample.log文件我最初的努力LOADDATALOCALINPATH'sample.log'OVERWRITEINTOTABLElogs;好像路径不匹配Error:Errorwhilecompilingstatement:FAILED:SemanticExceptionLine1:23Invalidpath''sample.log'':Nofilesmatchingpathfile:/home/hive/sample.log(state=42000,code=40000)我注销,移动到/root,然后进入hive0:jdbc:hive2:/

hadoop - 创建配置单元表 : no files matching path file. .. 但文件存在于路径中

我正在尝试使用存储在hdfs中的文件创建一个hiveorc表。我有一个表“partsupp.tbl”文件,其中每一行都具有以下格式:1|25002|8076|993.49|venideas.quicklyevenpackagesprint.pendingmultipliersmusthavetoarefluff|我像这样创建一个配置单元表:createtableifnotexistspartsupp(PS_PARTKEYBIGINT,PS_SUPPKEYBIGINT,PS_AVAILQTYINT,PS_SUPPLYCOSTDOUBLE,PS_COMMENTSTRING)STOREDAS

hadoop - MapReduce 作业作为用户在/user/yarn/.staging 目录上获得权限错误运行

我有一个运行Hive操作的Oozie工作流。配置单元操作非常简单,它只是从一个表中读取副本到另一个表。该作业具有以下属性:user.name=yarnmapreduce.job.user.name=cloudfeeds作业失败并出现以下错误:15/07/1618:45:25INFOmapreduce.Job:Jobjob_1435680786374_0060failedwithstateFAILEDdueto:Applicationapplication_1435680786374_0060failed2timesduetoAMContainerforappattempt_143568

sql - hive 查询 : Ambiguous column reference acct_nbr in stage

我收到“不明确的列引用”查询:SELECTstage.acct_nbrFROM(SELECT*FROMmemstageJOIN(SELECTacct_nbr,corp_ent_cd,sub_seq_nbr,mem_nbr,Max(cdc_src_last_updt_ts)AScdc_src_last_updt_tsFROMmemWHEREfile_nm='DLTV.FULL.MES3191.D180423'GROUPBYacct_nbr,corp_ent_cd,sub_seq_nbr,mem_nbr)cONc.corp_ent_cd=stage.corp_ent_cdANDc.acct

sql - Hive Query : Trying to string match using WHERE, LIKE on map<string, string>

我是Hive的新手,正在尝试进行类似于以下内容的搜索:SELECT*FROMtable1WHEREcol1LIKE"%abcd%";但是,当我这样做时,出现以下错误:Errorwhilecompilingstatement:FAILED:SemanticException[Error10014]:Line1:30Wrongarguments'"%abcd%"':Nomatchingmethodforclassorg.apache.hadoop.hive.ql.udf.UDFLikewith(map,string).Possiblechoices:FUNC(string,string)看