草庐IT

hive-overwrite

全部标签

hadoop - 如何在配置单元中进行数据库备份?我的意思是 Hive 数据库备份

请任何人建议我如何进行配置单元数据库备份。我们正在使用mapr。问候苏尼尔库马尔 最佳答案 目前,我已经使用Import/Exporthive提供的实用程序对HiveDB进行了备份。它将备份元数据(hive结构信息)和实际数据。EXPORTTABLEtablename[PARTITION(part_column="value"[,...])]TO'export_target_path'[FORreplication('eventid')]IMPORT[[EXTERNAL]TABLEnew_or_original_tablename[

hadoop - 带有子查询的查询的 Hive JOIN 需要永远

最近我一直在玩Hive。大多数事情都进展顺利,但是,当我尝试转换类似2015-04-01device1trafficotherstart2015-04-01device1trafficviolationdeny2015-04-01device1trafficviolationdeny2015-04-02device1trafficotherstart2015-04-03device1trafficotherstart2015-04-03device1trafficotherstart进入2015-04-01122015-04-0212015-04-032我尝试使用以下查询,但出于某种原

hadoop - 使用Oozie在hbase上创建hive表导致libthrift出错?

我在cloudera(cdh4)上使用ooziehive操作来创建hbasehive表。在我的本地开发工具箱上运行createtable命令没有错误。当我通过集群中的oozie配置单元操作执行相同的命令时,出现此错误:FailingOozieLauncher,Mainclass[org.apache.oozie.action.hadoop.HiveMain],main()threwexception,org.apache.thrift.EncodingUtils.setBit(BIZ)Bjava.lang.NoSuchMethodError:org.apache.thrift.Enco

hadoop - 在 hive 表下看不到 HDFS 文件中的数据

我必须从oracle表中的数据创建一个配置单元表。我正在做一个sqoop,从而将oracle数据转换为HDFS文件。然后我在HDFS文件上创建一个配置单元表。sqoop成功完成,文件也在HDFS目标目录中生成。然后我在配置单元中运行创建表脚本。表被创建。但它是一个空表,hive表中没有看到任何数据。有人遇到过类似的问题吗? 最佳答案 Hive默认分隔符是ctrlA,如果你没有指定任何分隔符,它将采用默认分隔符。在您的配置单元脚本中添加以下行。以'\t'结尾的行格式分隔字段 关于hadoo

hadoop - DSE 4.7 中奇怪的 dse hive 集成

我正在尝试对现有的C*表运行Hive查询。这是我的C*表定义:droptableIFEXISTSmydata.site_users;CREATETABLEIFNOTEXISTSappdata.site_users(user_idtext,user_test_uuiduuid,--fortestingpurposes,ifwecanuseitinqueries,therecouldbesomeserdeproblems?user_nametext,PRIMARYKEY(user_id));这是我的外部配置单元表定义:CREATEEXTERNALTABLEc_site_users(user

hadoop - 将数据加载到 HIVE 中的问题

我们在AWS中启动了两个EMR,并在一个EMR中安装了hadoop和hive-0.11.0,在另一个EMR中安装了hive-0.13.1。一切似乎都工作正常,但在尝试将数据加载到TABLE时,它给出了以下错误,并且它发生在两个Hive服务器中。错误信息:AnerroroccurredwhenexecutingtheSQLcommand:loaddatainpath's3://buckername/export/employee_1/'intotableemployee_2Queryreturnednon-zerocode:10028,cause:FAILED:SemanticExcep

sql - 将两列合并为一列并格式化内容以在 Hive 中形成准确的日期时间格式?

这些是2列(月,年)。我想从它们中创建一个具有准确日期时间格式('YYYY-MM-DDHH:MM:SS')的列,并将其添加为表中的新列。Monthyear12/32013at8:40pm12/32013at8:39pm12/32013at8:39pm12/32013at8:38pm12/32013at8:37pm最好的hive查询可能是什么?我无法为形成准确的正则表达式。 最佳答案 我假设12是month,而3是day,因为您没有指定。此外,您说您想要HH:MM:SS但您的示例中没有秒,所以我不知道您将如何将它们放在那里。我还在您的

csv - Hive 外部表未从 CSV 源读取整个字符串

对于Hadoop世界来说相对较新,所以如果这很简单,我深表歉意,但我还没有在SO或其他地方找到任何关于此的内容。简而言之,我在Hive中创建了一个外部表,它从HDFS中的CSV文件文件夹中读取数据。问题在于,虽然第一列具有字符串数据类型,但它并未读取包含连字符的值的整个值。例如:Hive表定义:CREATEEXTERNALTABLEBG(`Id`string,`Someint`int,)ROWFORMATDELIMITEDFIELDSTERMINATEDBY','LOCATION'/Path/To/Folder'TBLPROPERTIES("skip.header.line.count

hadoop - 具有 Hadoop 高可用性的 Hive

我想了解hive如何知道哪个hadoopnamenode处于事件状态以及当事件namenode发生故障时会发生什么 最佳答案 Hive通过metatool配置为指向为HAHDFS配置的dfs.nameservices。参见https://cwiki.apache.org/confluence/display/Hive/Hive+MetaTool.dfs.nameservices是一个逻辑地址,而实际的namenodes是用dfs.ha.namenodes.[id]配置的。至于哪个Namenode处于事件状态,状态存储在Zookeep

hadoop - HIVE:应用定界符直到指定的列

我正在尝试将数据从文件移动到配置单元表中。文件中的数据看起来像这样:-StringAStringBStringCStringDStringE其中每个字符串由空格分隔。问题是我想要单独的列用于StringA、StringB和StringC,而一列用于StringD,即StringD和StringE应该属于同一列。如果我使用ROWDELIMITEDBYFIELDSTERMINATEDBY'',Hive将为StringD和StringE生成单独的列。(StringD和StringE本身包含空格,而其他字符串本身不包含空格)hive中是否有任何特殊语法来实现此目的,或者我是否需要以某种方式预处