草庐IT

hadoop - HBase - 如何在表中嵌套实体两(+)层?

我正在审查这个slideshow[幻灯片134](HBaseCon2012上的IanVarely/salesforce.com)他指出您可以将实体嵌套两层深。这是他给出的嵌套实体一层深的示例:实体:乐队、演出;Band1:M显示的位置。Table:BandCF:"CF"Qualifiers:"Name":"Genre":"Show_":venue__date__start_time__cover_price_但是,他没有举例说明如何嵌套两层。幻灯片134中我最好的嘉宾是下面这样的人......实体:客户、session、与会者;其中客户1:Msession和session1:M与会者。

hadoop - 在 Hive 表中插入覆盖分区 - 值重复

我创建了一个包含非分区表的Hive表,并使用选择查询将数据插入到分区Hive表中。Referedsite通过上面的链接,我的分区表包含重复值。以下是设置这是我的示例员工数据集:link1我尝试了以下查询:link2但是在更新Hive表中的值之后,将EmployeeID为19的Steven的薪水更新为50000。INSERTOVERWRITETABLEUnm_Parti_TrailPARTITION(Department='A')SELECTemployeeid,firstname,designation,CASEWHENemployeeid=19THEN50000ELSEsalaryE

date - 有两个不同的字符串代表两个不同的配置单元表中的日期,我想用它们来加入

所以我在Hadoop集群中的Hive中有两个外部表。一个表有一个(日期字符串)列,格式为'2019-05-2411:16:31.0'另一个有(dateSTRING)列,格式为'23/May/2019:22:15:04',它们都是字符串。我需要将它们转换为相同类型的日期格式并使用它们来连接这两个表。您将如何解决这个问题并在Hive中解决所有问题?可能吗?我是Hadoop的菜鸟,对Hive的可能性还不是很了解。Ps:我的hive版本不支持!hive--version命令来检查我正在使用的版本,所以我不太确定如何理解我正在使用的版本。不是我的集群,我也不是根用户。

hadoop - 在 hdfs 文件上运行 mapreduce 并将 reducer 结果存储在 hbase 表中的示例

有人可以为mapreduce和Hbase提供一个很好的示例链接吗?我的要求是在hdfs文件上运行mapreduce并将reducer输出存储到hbase表。映射器输入将是hdfs文件,输出将是Text,IntWritable键值对。Reducers输出将是Put对象,即添加reducerIterableIntWritable值并存储在hbase表中。 最佳答案 这是解决你问题的代码司机HBaseConfigurationconf=HBaseConfiguration.create();Jobjob=newJob(conf,"JOB_

hadoop - 如何将多个文件加载到 Hive 表中?

我有很多10MB的日志,我需要将其加载到HIVE中。稍后我需要向现有表中添加更多日志文件。谁能帮我解决这个问题? 最佳答案 只需使用标准的Hive语法:LOADDATAINPATH'filepath'INTOTABLEtablename这里的文件路径可以引用:相对路径,例如project/data1绝对路径,例如/user/hive/project/data1带有方案和(可选)权限的完整URI,例如hdfs://namenode:9000/user/hive/project/data1文件路径可以是一个目录,该目录下的所有文件都会被

csv - 将 .tar.gz 文件中的大型 .csv 文件加载到 Hive 表中

我有一个很大的.csv文件存储在.tar.gz文件中,我想将其内容放入Hive表中。不幸的是,没有足够的磁盘空间让我解压.csv文件。我尝试了以下方法(以及以下方法的变体):SetHive.exec.compress.output=true;Setio.seqfile.compression.type=block;DROPTABLEIFEXISTSdb.test;CREATETABLEdb.test(var1STRING,...varnSTRING)ROWFORMATDELIMITEDFIELDSTERMINATEDBY','FIELDSTERMINATEDBY'\n';createt

csv - 将 csv 文件的全部内容加载到 Hive 表中的单个列中

在Hive相关问题上需要一些帮助。我正在尝试将整个csv文件加载到单列Hive表中。文件中的每个条目都应该是Hive表中的一行。我试图更改ROWFORMAT-特别是尝试更改为LINESTERMINATEDBY','而不是'\n'。但是,目前仅支持'\n'字符。目前这是一个JIRA问题(https://issues.apache.org/jira/browse/HIVE-11996)。我目前唯一的想法是通过linux命令用\n替换文件中的逗号,但是我想看看是否有人可以提出一些其他值得考虑的解决方案。提前致谢! 最佳答案 您可以在Hiv

hadoop - Spark(2.3) 无法识别通过 Hive Alter Table 命令添加的 Parquet 表中的新列

我有一个使用Spark2.3APIdf.saveAstable创建的HiveParquet表。有一个单独的Hive进程可以更改同一个Parquet表以添加列(根据要求)。但是,下次当我尝试将同一个parquet表读入Spark数据帧时,使用HiveAlterTable命令添加到parquet表的新列不会显示在df.printSchema输出中。根据初步分析,似乎可能存在一些冲突,Spark使用自己的模式而不是读取Hive元存储。因此,我尝试了以下选项:更改Spark设置:spark.sql.hive.convertMetastoreParquet=false并刷新spark目录:spa

sql - Hive 相对于同一表中的其他数组列对数组列进行排序

我在hive中有一个表,其中2列为col1array和col2array.输出如下图col1col2[1,2,3,4,5][0.43,0.01,0.45,0.22,0.001]我想按升序对col2进行排序,并且col1也应该相应地更改其索引,例如col1col2[5,2,4,3,1][0.001,0.01,0.22,0.43,0.45] 最佳答案 分解两个数组,排序,然后再次聚合数组。在collect_list之前的子查询中使用sort对数组进行排序:withyour_dataas(selectarray(1,2,3,4,5)asc

java - 使用 MapReduce 将 CSV 文件加载到 Hbase 表中

我需要将csv文件的数据加载到hbase表中。我有上述格式的csv文件Csv文件:读取Detachcard.csvyearclassdaysmm1964920.58.819641013.64.219641111.84.71964127.70.1196517.30.8196526.50.11965310.81.41965413.23.51965516.17.01965619.09.21965718.710.71965819.910.91965916.68.2在上面的文件中,顶部第一行是列限定符名称,从第二行开始是列限定符的值。现在我需要使用mapreducing程序将这些数据加载到hba