草庐IT

base_table

全部标签

shell - 如何在HBase shell中使用describe 'table_name'创建表。

我必须在不同的集群中创建一个表,我只有hbase表的描述很方便。我如何在不同的集群中创建新的hbase表? 最佳答案 输入Hbaseshell进入hbaseshell在你的新集群的终端,然后给出命令create‘’,’’给你表名和列族名,你已经从describe'tablename'来自之前的集群。更多信息:https://www.tutorialspoint.com/hbase/hbase_create_table.htmhttps://www.tutorialspoint.com/hbase/hbase_describe_and

hadoop - 错误配置单元(使用 Derby): Source tables cannot be empty

我刚开始使用Hive,遇到一个错误需要您的帮助。在等待一段时间后,当我尝试创建一个新数据库时,它发生了:hive>CREATEDATABASETest;(编辑:我对“SHOWTABLES”有同样的看法)我明白了:Exceptioninthread"main"java.lang.AssertionError:Sourcetablescannotbeemptyatorg.apache.hadoop.hive.ql.hooks.EnforceReadOnlyTables.(EnforceReadOnlyTables.java:46)atjava.lang.Class.forName0(Nat

hadoop - 如何使用hive根据lookup table返回匹配记录

假设我们有一个查找表(table_A)和另一个表(table_B),如下所示:而我们要从Table_A中搜索Table_B的字符串,返回化学类型和表格Table_C,如下:在hadoop环境下如何使用hive查询来实现呢?具有挑战性的部分是在同一字符串中搜索多个关键字并为每个匹配的记录创建新行。谢谢! 最佳答案 我认为您应该以不同的方式构造Table_A(或者保留当前结构但用逗号分隔并在配置单元中使用explode),如下所示:----------------------------|TableA|-----------------

Hadoop hive : Generate Table Name and Attribute Name using Bash script

在我们的环境中,我们无法访问Hive元存储来直接查询。我需要为一组表动态生成表名、列名对。我试图通过对所有表的文件运行“describeextended$tablename”并从文件中选取表名和列名对来实现这一点。除了这种方式,还有其他更简单的方法吗?想要的输出是这样的table1|col1table1|col2table1|col3table2|col1table2|col2table3|col1 最佳答案 此脚本将为单个表以所需格式打印列。AWK从describe命令解析字符串,只接受column_name,用“|”连接和tab

hadoop - HIVE 中 ALTER TABLE 命令中的 CONCATENATE 如何工作

我想了解HIVE中的ALTERTABLECONCATENATE究竟是如何工作的。我看到了这个链接HowdoesHive'altertableconcatenate'work?但我从这个链接得到的只是对于ORC文件,合并发生在strip级别。我正在寻找有关CONCATENATE工作原理的详细说明。例如,我最初在HDFS中有500个小的ORC文件。我运行了HiveALTERTABLECONCATENATE并将文件合并为27个更大的文件。随后运行的CONCATENATE将文件数量减少到16个,最后我得到了两个大文件。(使用版本Hive0.12)所以我想了解CONCATENATE的具体工作原理

sql - Hive-我如何使用原始表中的分区 "create table as select.."?

我需要从我们的配置单元dlk创建一个“工作表”。虽然我可以使用:createtablemy_tableasselect*fromdlk.big_table很好,我在从原始“big_table”继承分区(属性day、month和year)或只是创建来自这些属性的新属性。搜索网络并没有真正帮助我回答这个问题-所有“教程”或解决方案都涉及createasselect或创建分区,而不是两者。这里有人可以帮忙吗? 最佳答案 不支持创建分区表作为选择。您可以分两步完成:像dlk.big_table一样创建表my_table;这将创建具有相同架构

Hadoop 配置单元 SQL : Create External Table from an oddly formatted file

目前我有一个初始系统在工作,它读取一个文件,每行格式如下所示:REVISION1230364918Anarchism2005-12-06T17:44:47ZRJII141644使用此代码:CREATEEXTERNALTABLEmytable(typeSTRING,aidBIGINT,ridBIGINT,titleSTRING,tsSTRING,unameSTRING,uidSTRING)ROWFORMATDELIMITEDFIELDSTERMINATEDBY''STOREDASTEXTFILELOCATION'/my/local/path/to/file';但是现在我有一个文件,每一行

hadoop - PIG 拉丁语 : Output Path based on Field Value

我有一个日志文件,其中包含来自多个域的日志。现在我想对它们进行一些分析并将输出存储在一个名为域的目录中。我在日志中将域作为字段值:STOREoutputlogsINTO'testpath/DOMAIN/logsUSING....这可能吗?或者我只能将输出存储在硬编码文件路径中吗? 最佳答案 如果域的名称是outputlogs中的一个字段,那么您可以使用MultiStorage从存钱jar。像这样的东西:STOREoutputlogsINTO'testpath/DOMAIN/logs'USINGMultiStorage('testpa

hadoop - 在 Cassandra 中将一张大 table 分成多个小 table ?

来自MongoDB的背景,我们倾向于基于周将数据的摄取分成多个集合(其中包含相同类型的数据)。这完全取决于我们索引的性能。考虑在Cassandra中对同一概念建模,是否值得做同样的事情并根据时间段创建多个表?所以也许每周一次。是否有任何性能提升?由于我对Hadoop集成的研究,我也问这个问题,我可能只想映射/减少特定几周内有值(value)的数据,而不是所有数据,据我所知,这是最好的方法隔离我们要映射的数据。在此先感谢您对此的任何意见。 最佳答案 这不是必须的。但是,请务必注意,您不应在Cassandra中使用二级索引,您应该对数据

hadoop - Apache pig : filter based on tupple member content

我正在学习ApachePig,在实现我的愿望时遇到了问题。我有这个对象(在执行GROUPBY之后):MLSET_1:{groupchararray,MLSET:{(key:chararray,text:chararray)}}我只想在某个模式(PATTERN_A)出现在文本中并且另一个模式(PATTERN_B)未出现在一个键的文本字段中时才生成key。我知道我可以使用MLSET.text获取特定键的所有文本值的元组,但是关于如何从元组中筛选项目列表,我仍然遇到同样的问题。这是一个例子:(key_A,{(key_A,start),(key_A,stop),(key_A,unknown),