草庐IT

main_table

全部标签

hadoop - 启动器错误,原因 : Main class [org. apache.oozie.action.hadoop.HiveMain],退出代码 [12]

在oozie中运行配置单元操作时出现以下错误:015-12-2019:48:40,368WARNHiveActionExecutor:523-SERVER[sandbox.hortonworks.com]USER[root]GROUP[-]TOKEN[]APP[oozie_hive_root]JOB[0000013-151220142557945-oozie-oozi-W]ACTION[0000013-151220142557945-oozie-oozi-W@oozie_hive_root]LauncherERROR,reason:Mainclass[org.apache.oozie.

python - 从发送到 spark-submit 的外部 __main__ 文件修改 SparkContext

我正在尝试打包python依赖项,以便使用spark-submit发送到hadoop集群,我希望尽可能以DRYest方式执行此操作。我希望我的my_spark_app.py看起来像这样:frompysparkimportSparkContext,SparkConfconf=SparkConf().setAppName('MyApp').setMaster('yarn-client')sc=SparkContext(conf=conf)sc.addPyFile('/path/to/dependencies.py')fromdependenciesimportDependencyManag

linux - 转瞬即逝 + hive : CLUSTERED TABLE

我在HIVE中有聚簇表。所有查询都在hive-client中工作。但是我不能用这个表运行任何查询:Query...failed:Hivetableiscorrupt.Itisdeclaredasbeingbucketed,butthefilesdonotmatchthebucketingdeclaration.Thenumberoffilesinthedirectory(0)doesnotmatchthedeclaredbucketcount(8)forpartition:在设置hive.enforce.bucketing=true;之后错误:Query...failed:Hiveta

hadoop - 使用参数化位置的 Hive CREATE EXTERNAL TABLE

这按预期工作:DROPTABLEmytable;CREATEEXTERNALTABLEmytable(Dim1STRING,Dim2STRING,Dim3STRING)LOCATION'hdfs:///user/myuser/data';但这不是:setrootpath='hdfs:///user/myuser/data';DROPTABLEmytable;CREATEEXTERNALTABLEmytable(Dim1STRING,Dim2STRING,Dim3STRING)LOCATION'${hiveconf:rootpath}';失败并出现以下错误(Hive0.9.0):FAIL

Hadoop:格式化名称节点时出错 - 'Could not find or load main class namenodes'

在我安装了上传hadoop所需的一切之后(win-7-64位上的unix),我得到了这个错误(粗体):roeygol@roeygol-PC/etc/hadoop-2.5.1/bin$./hdfsnamenodes-formatError:Couldnotfindorloadmainclassnamenodes我按要求定义了所需的节点和所有其他配置,我该如何解决这个问题? 最佳答案 hdfsnamenode-formatits"namenode"not"namenodes" 关于Hadoo

java - mapreduce 程序中的错误 : Exception in thread "main" java. lang.VerifyError

我是mapreduce程序的初学者,在运行该程序时出现以下错误:Exceptioninthread"main"java.lang.VerifyError:(class:com/google/common/collect/Interners,method:newWeakInternersignature:()Lcom/google/common/collect/Interner;)Incompatibleargumenttofunction错误是什么以及要包含哪个jar文件? 最佳答案 另一个原因是同时使用google-collect

hadoop - datastax cqlsh alter table add column,但在配置单元中看不到该列,怎么办?

cqlsh:test>altertableexampleaddtint;then,bash$dsehivehive>usetest;descexample;OKkintfromdeserializervstringfromdeserializer在配置单元中看不到新列t。dse版本是3.1.3。我需要做什么? 最佳答案 您不需要删除任何键空间或重新启动DSE或Hive,只需删除Hive表并让DSE通过发出use命令重新创建它。hive>descex;OKkintfromdeserializervstringfromdeseriali

java - 线程 "main"java.lang.VerifyError : Bad type on operand stack 中的异常

此错误已发生在map-reduce程序中,用于在给定的input.txt文件中查找最高温度。我写了两列,分别是年份和温度。Exceptioninthread"main"java.lang.VerifyError:BadtypeonoperandstackExceptionDetails:Location:org/apache/hadoop/mapred/JobTrackerInstrumentation.create(Lorg/apache/hadoop/mapred/JobTracker;Lorg/apache/hadoop/mapred/JobConf;)Lorg/apache/h

hadoop - 为什么 Hive "create external table"在 S3 上将数据存储在子文件夹 "-ext-10000"下?

下面的Hive代码突然开始在一个额外的子文件夹下存储数据;DROPTABLEIFEXISTSfolder_test;CREATEEXTERNALTABLEIFNOTEXISTSfolder_test(col1STRING,col2INT,col3INT)ROWFORMATDELIMITEDFIELDSTERMINATEDBY","LOCATION's3n://bucket_name/folder_name';insertoverwritetablefolder_testselectcol1,col2,col3fromdata_tablelimit10;因此,数据不是存储在“s3n://

sql - 错误 :Invalid table alias or column reference while using map in Hive

我正在执行以下配置单元查询:createorreplaceviewtest.hospasselectp.hosp_id,p.hosp_name,max(casewhen`p.my_map[1].id`isNULLthen1else0end)ashos_main_idfromarch.hospitalgroupbyp.hosp_id,p.hosp_name,p.my_map[1].id;Error:Invalidtablealiasorcolumnreference'p.my_map[1].id'.有map名称my_map>,那为什么我仍然收到错误消息:Error:Invalidtabl