草庐IT

dtrace_execute_ex

全部标签

hadoop - Hive 存档分区(动态)失败 : Execution Error, 从 org.apache.hadoop.hive.ql.exec.DDLTask 返回代码 1

我正在尝试从我的表中归档一些旧数据。使用ALTERTABLETABLE_NAMEARCHIVEPARTITION(part_col)查询。Hadoopversion-2.7.3Hiveversion-1.2.1表结构如下,hive>descclicks_fact;OKtimetimestampuser_idvarchar(32)advertiser_idintbuy_idintad_idintcreative_idintcreative_versionsmallintcreative_sizevarchar(10)site_idintpage_idintkeywordvarchar(4

hadoop - 组织.apache.ignite.IgniteException : For input string: "30s" in ignite hadoop execution

我想在apacheignite上执行Hadoop的字数统计示例。我在ignite中使用IGFS作为HDFS配置的缓存,但是在通过Hadoop提交作业以在ignite上执行后,我遇到了以下错误。提前感谢任何可以帮助我的人!Usingconfiguration:examples/config/filesystem/example-igfs-hdfs.xml[00:47:13]__________________________[00:47:13]/_/___/|//_/___/__/[00:47:13]_///(77//////_/[00:47:13]/___/\___/_/|_/___/

postgresql - Put 请求失败 : INSERT INTO "PARTITION_PARAMS" when executing an insert. .select 包含数百个字段的查询

在带有hive3的HortonworksHDP3集群上通过Tez执行插入..选择查询,我收到以下错误:java.sql.SQLException:Errorwhileprocessingstatement:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.MoveTask.MetaException(message:Putrequestfailed:INSERTINTO"PARTITION_PARAMS"("PARAM_VALUE","PART_ID","PARAM_KEY")VALUES(?,?,?

java - (Hadoop) : reduce method is not getting executed/called while running mapreduce job

我在执行我的mapreduce作业时遇到问题。作为我的mapreduce任务的一部分,我正在使用mapreduce连接,其中包括多个map方法和单个reducer方法。我的两个map方法都被执行了,但是我的reducer没有被我的驱动程序类执行/调用。因此,最终输出只有在我的map阶段收集的数据。我是否在reduce阶段使用了错误的输入和输出值?map和reduce阶段是否存在输入输出不匹配?在这方面帮助我。这是我的代码..publicclassCompareInputTestextendsConfiguredimplementsTool{publicstaticclassFirstF

hadoop - Hadoop 中的 AccessControlException for access=EXECUTE

我有一个小应用程序,它从我的本地机器读取文件并将数据写入hdfs。现在我想列出hdfs文件夹中的文件,比如HadoopTest。当我尝试这样做时,出现以下异常:org.apache.hadoop.security.AccessControlException:Permissiondenied:user=rpoornima,access=EXECUTE,inode="/hbase/HadoopTest/Hadoop_File_1.txt":rpoornima:hbase:-rw-r--r--atorg.apache.hadoop.hdfs.server.namenode.FSPermis

hadoop - 从 org.apache.hadoop.hive.ql.exec.DDLTask 创建配置单元表 : FAILED: Execution Error, 返回代码 1 时出错。元异常

我有一个多节点hadoop集群,现在我在namenode上安装了hive。我试图从存储在hdfs中的文件创建一些配置单元表,但我收到了这个奇怪的错误:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException(message:hdfs://namenode-VirtualBox:9000/data/posts/posts.tblisnotadirectoryorunabletocreateone)hive>但是,然后我尝试从存储在hdfs中的文件创建一个表,只有2kb

hadoop - 失败 : Execution Error, 从 org.apache.hadoop.hive.ql.exec.DDLTask 返回代码 1。组织/apache/hadoop/hive/serde2/SerDe

我正在将Twitter数据处理到Hive外部表,但在创建Hive外部表时出现错误。请查看下面的我的代码。添加了jar文件以移动hive/lib位置。使用以下命令添加到jar文件配置单元我在配置单元库目录中添加了流动的jar:ADDJAR/usr/local/hive/lib/hive-serdes-1.0-SNAPSHOT.jar;请找到外部配置单元表:CREATEEXTERNALTABLEMytweets_raw(idBIGINT,created_atSTRING,sourceSTRING,favoritedBOOLEAN,retweet_countINT,retweeted_sta

java.lang.NumberFormatException : For input string: "100" while executing MapReduce 异常

我正在编写一个MapReduce作业,用于在facebook上寻找共同的friend。这是我的映射器的输入:100,200300400500600200,100300400300,100200400500400,100200300500,100300600,100这是我的映射器代码的一部分:map{Stringline=value.toString();String[]LineSplits=line.split(",");String[]friends=LineSplits[1].trim().split("");for(inti=0;i当我执行此操作时,我在friend2中获得了正确

hadoop - 失败 : Execution Error, 从 org.apache.hadoop.hive.ql.exec.spark.SparkTask 返回代码 2

我在跑apache-hive-1.2.1-binhadoop-2.7.1spark-1.5.1-bin-hadoop2.6我能够在Spark上配置配置单元,但是当我尝试执行查询时,它会给我以下错误消息。hive>SELECTCOUNT(*)ASrcount,yomFromserviceGROUPBYyom;QueryID=hduser_20160110105649_4c90528a-76ba-4127-8849-54f2152be817Totaljobs=1LaunchingJob1outof1Inordertochangetheaverageloadforareducer(inbyt

java - 错误 : org. apache.hadoop.security.AccessControlException : Permission denied: user=root, access=READ_EXECUTE,

我在CentOS6机器上使用的是hadoop-1.2.1版本,并且已经配置好,它运行成功,我还在Eclipsekepler中安装了hadoop的插件,但不幸的是我得到了一个权限被拒绝的错误,我有如图所示,我试图通过阅读许多博客来解决这个问题,但我仍然被困在那里..有人可以解决这个问题吗? 最佳答案 我从您的问题中了解到,我想您正在使用操作系统的“root”登录以启动Hadoop。我建议重新启动您的系统并从“Hadoop”(在用户列表中给出,例如root、Guest、Hadoop)登录,然后启动Hadoop。然后它就会工作。