草庐IT

hadoop - 无法通过 Hive 1.2 中的 alter table 恢复分区

我无法在配置单元1.2上运行ALTERTABLEMY_EXTERNAL_TABLERECOVERPARTITIONS;,但是当我运行替代方案时MSCKREPAIRTABLEMY_EXTERNAL_TABLE它只是列出了分区'在HiveMetaStore中并且没有添加它。根据hive-exec的源代码,我可以在org/apache/hadoop/hive/ql/parse/HiveParser.g:1001:1下看到语法中没有用于RECOVER的标记匹配分区。如果有办法在Hive1.2上创建外部表后恢复所有分区,请告诉我。ALTERTABLEMY_EXTERNAL_TABLERECOVE

mysql - 如何获得 hive 中时间戳的平均差异

我有下面的表格,其中包含两列hive>select*fromhivetable;a2016-09-16T03:01:12.367782Zb2016-09-16T03:01:12.300514Zc2016-09-16T03:01:12.241532Za2016-09-16T03:01:12.138016Zc2016-09-16T03:01:12.136986Zb2016-09-16T03:01:10.512201Zc2016-09-16T03:01:12.235671ZTimetaken:0.457seconds,Fetched:7row(s)现在我想从第一列中找到唯一值和时间戳差异,或

hadoop - 从 HIVE 中的 REST API 访问数据

有没有办法创建一个配置单元表,其中该配置单元表的位置将是一个httpJSONRESTAPI?我不想每次都在HDFS中导入数据。 最佳答案 几年前我在一个项目中遇到过类似的情况。这是一种将数据从Restful摄取到HDFS的低调方式,然后您使用Hive分析来实现业务逻辑。我希望您熟悉核心Java,MapReduce(如果不是,您可以查看HortonworksDataFlow,HDF是Hortonworks的产品)。第1步:您的数据摄取工作流不应绑定(bind)到包含业务逻辑的Hive工作流。这应该根据您的要求(数据流的数量和速度)及时

sql-server - Sqoop Hive 字符串数据类型到 MS SQL Server 类型

我正在使用Sqoop将数据从SQLServer导入Hive,然后将该数据从Hive导出到另一个SQLServer。SqoopImport工作正常并将VCHAR/NVARCHAR数据类型转换为字符串。我的问题是在Target表上定义的最佳列类型是什么,因为Hive目前将数据类型保存为字符串?我最初将Target表上的大部分列定义为VARCHAR(100)并且它一直在工作,但现在一些String在导出过程中失败了,我得到:SQLState:22001,errorcode:8152"java.sql.BatchUpdateException:Stringorbinarydatawouldbe

Hive实战:词频统计

文章目录一、实战概述二、提出任务三、完成任务(一)准备数据文件1、在虚拟机上创建文本文件2、将文本文件上传到HDFS指定目录(二)实现步骤1、启动HiveMetastore服务2、启动Hive客户端3、基于HDFS文件创建外部表4、查询单词表,所有单词成一列5、基于查询结果创建视图6、基于视图进行分组统计7、基于嵌套查询一步搞定四、总结一、实战概述在大数据实战中,我们利用Hive对存储在HDFS的文本数据进行词频统计。首先,我们在master虚拟机创建test.txt文件,并将其上传至HDFS的/hivewc/input目录作为输入源。随后启动HiveMetastore服务和客户端,创建名为t

hadoop - 配置单元:dfs copyToLocal 给出 "org.apache.hive.service.cli.HiveSQLException: Error while processing statement: null"

我正在尝试从.hql文件执行“copyToLocal”,如下所示:dfs-copyToLocalhdfs://nameservice1/HDFS_FOLDER1/HDFS_FOLDER2/file_name.dat/LOCAL_FOLDER1/LOCAL_FOLDER2/;但是我得到了下面提到的异常:Error:Errorwhileprocessingstatement:null(state=,code=1)org.apache.hive.service.cli.HiveSQLException:Errorwhileprocessingstatement:nullatorg.apach

json - 将数据集写入 Hive 时出现异常

我正在尝试使用SparkJava将DataSet写入Hive数据库,但在此过程中出现异常。这是我的代码:Datasetdata=spark.read().json(rdd).select("event.event_name");data.write().mode("overwrite").saveAsTable("telecom.t2");这里,rdd是流式传输的json数据,我可以通过以下命令打印结果data。data.show();但是当我尝试将此结果写入Hive数据库时,我没有收到任何异常,但当我尝试打印这些值时,我在Hive命令行中收到异常。例如:select*fromtele

xml - 在 Hive 中使用横向 View 时出现异常

我正在使用以下代码在Hive中解析xml数据。在我的xml数据中,一些标签在重复,所以我使用brickhousejar和横向View来解析标签并放置在Hive表中。但是当我执行我的代码时,我收到了一个错误。请帮忙,因为我无法理解我做错了什么。代码:addjar/home/cloudera/brickhouse-0.5.5.jar;CREATETEMPORARYFUNCTIONnumeric_rangeAS'brickhouse.udf.collect.NumericRange';CREATETEMPORARYFUNCTIONarray_indexAS'brickhouse.udf.co

hadoop - hdfs 和 hive 有什么关系?

我有psudeo分布式hadoop环境,使用sqoop和hive进行数据导入和分析。我使用sqoop将数据从mysql导入到hive并且它工作正常,我在我的hive位置获取了数据,即/user/hive/warehouse/我可以看到hive中的数据表。我的疑问是:当我从mysql导入到hive(构建在hadoop之上)时,数据会存储在hadoop中吗?为什么它在我的hdfs中创建/user/hive/warehouse?Hive如何处理数据?如果我在mysql中更新数据,我可以使用sqoop增量导入来更新hdfs中的数据,但如果我直接使用hive导入,它将反射(reflect)在hi

hadoop - Hive - 在不知道列名的情况下更改所有列的列类型

给定格式表:hive>describetableA;OKidinttstimestampvarfloat......我想使用类似于theone的解决方案由@interskh讨论在不知道并显式引用列名称的情况下将所有列转换为字符串。在语法行上:ALTERTABLEtableACHANGE>string 最佳答案 据我所知,您必须逐一更改列的数据类型。根据官方文档,您不能在单个查询中更改所有列的名称或数据类型。请引用this我最近回答的问题。 关于hadoop-Hive-在不知道列名的情况下