草庐IT

master_table

全部标签

hadoop - Kite SDK 数据集与 Hive Table 的区别

我正在阅读KiteSDK的文档。我无法理解Kite数据集和Hive表之间的区别例如,如果你想在Hive中创建产品数据集,你可以使用这个URI。数据集:hive:产品这是否意味着,使用hivecli我们可以访问同一个表products 最佳答案 KiteSDK创建的数据集和通过hivecli查看的表没有区别。之所以如此,是因为当您使用KiteSDK在Hive中创建数据集时,您创建的是Hive中的表。混淆在于术语。Kite文档中称为数据集的内容在Hive中称为表。从名为“数据集、View和存储库URI”(http://kitesdk.o

java - 使用Java远程访问HBase Table List

importjava.io.IOException;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.HTableDescriptor;importorg.apache.hadoop.hbase.MasterNotRunningException;importorg.apache.hadoop.hbase.client.Connection;importorg.apache.hadoop.hba

mysql - 使用 create-hive-table 在 Hive 中创建表时如何使用自定义分隔符

我正在尝试将数据从RDBMS表导入HDFS。然后我使用create-hive-table将架构复制到配置单元,然后将数据加载到该配置单元表。用于导入HDFS的命令sqoopimport--connectjdbc:mysql://localhost/sqoop--usernamesqoop--passwordsqoop--tablecustomers--warehouse-dirtestingsqoop-m1--fields-terminated-by','--enclosed-by"\'"--lines-terminated-by"\n"用于创建配置单元表的命令:sqoopcreate

hadoop - hbase.master 与使用 Java API 的 HBase 连接中的 zookeeper 详细信息

两者都有什么好处hbase.masterhbase.zookeeper.quorum&hbase.zookeeper.property.clientPort使用JavaAPI创建与HBase的连接?示例代码:ConfigurationhBaseConfig=HBaseConfiguration.create();hBaseConfig.set("hbase.master",hbaseHost+":"+port);hBaseConfig.set("hbase.zookeeper.quorum",zookeeperHost);hBaseConfig.set("hbase.zookeeper

hadoop - 是否可以从 hive create external table 命令导出/创建外部表文件到远程服务器

是否可以从hivecreateexternaltable命令导出/创建外部表文件到远程服务器。createexternaltableSOME_TABLE(MY_Coulmns)rowformatdelimitedfieldsterminatedby','linesterminatedby'\n'storedastextfilelocation'';要求:我必须将这个文件/数据从hive导出到Cassandra(在不同的服务器上)。 最佳答案 通过Hive使用带有用户名和密码的IP进行外部存储不是一个好的做法,因为它可能会成为一个安全

shell - 如何在HBase shell中使用describe 'table_name'创建表。

我必须在不同的集群中创建一个表,我只有hbase表的描述很方便。我如何在不同的集群中创建新的hbase表? 最佳答案 输入Hbaseshell进入hbaseshell在你的新集群的终端,然后给出命令create‘’,’’给你表名和列族名,你已经从describe'tablename'来自之前的集群。更多信息:https://www.tutorialspoint.com/hbase/hbase_create_table.htmhttps://www.tutorialspoint.com/hbase/hbase_describe_and

java - 在 master :8088 中找到 hadoop 2.7.2 中每个任务的容器

在hadoop2.7.2上用两个slave跑完一个job后,我想知道每个tasks的容器。在master:8088我们可以看到最大和最小分配。当我点击applicatio....004时,它显示了这张图片,其中显示了memmory0和vcore0。我想知道如何找到容器的属性。 最佳答案 由于您的应用程序已完成,上面的第二个屏幕显示了聚合资源分配。要在运行时查看容器状态,请在“URL:8042/node/allContainers”打开Web浏览器,其中URL是集群的公共(public)DNS。您将看到所有正在运行的应用程序的容器。单

hadoop - thrift 在我的 HBase master 上运行吗?如何与Happybase连接?

我正在以伪分布式模式运行krejcmat/hadoop-hbasedocker。那就是主从在同一台机器上的不同容器中运行。启动Hadoop集群和HBase后,我在主节点上启动thrift服务器:hbasethriftstart-threadpool我还公开了节点9090(以--expose=9090开头的默认Thrift端口)。我想使用Happybase库通过ThriftAPI从我的主机连接到Hadoop集群中运行的Hbase。这是我使用的命令:connection=happybase.Connection('hadoop-hbase-master',9090)但我收到错误:TTran

hadoop - 错误配置单元(使用 Derby): Source tables cannot be empty

我刚开始使用Hive,遇到一个错误需要您的帮助。在等待一段时间后,当我尝试创建一个新数据库时,它发生了:hive>CREATEDATABASETest;(编辑:我对“SHOWTABLES”有同样的看法)我明白了:Exceptioninthread"main"java.lang.AssertionError:Sourcetablescannotbeemptyatorg.apache.hadoop.hive.ql.hooks.EnforceReadOnlyTables.(EnforceReadOnlyTables.java:46)atjava.lang.Class.forName0(Nat

hadoop - 如何使用hive根据lookup table返回匹配记录

假设我们有一个查找表(table_A)和另一个表(table_B),如下所示:而我们要从Table_A中搜索Table_B的字符串,返回化学类型和表格Table_C,如下:在hadoop环境下如何使用hive查询来实现呢?具有挑战性的部分是在同一字符串中搜索多个关键字并为每个匹配的记录创建新行。谢谢! 最佳答案 我认为您应该以不同的方式构造Table_A(或者保留当前结构但用逗号分隔并在配置单元中使用explode),如下所示:----------------------------|TableA|-----------------