草庐IT

HBase-Hive

全部标签

java - 如何使 HBase 主服务器和区域服务器进程绑定(bind)到公共(public) IP?

在主服务器和区域服务器上使用netstat时,我可以看到主服务器正在监听私有(private)ips:16000,而区域服务器正在监听私有(private)ip:16020。有没有办法强制这些进程绑定(bind)到公共(public)IP? 最佳答案 摘自《Hbase权威指南》一书(我自己没试过):HBase使用本地主机名来self报告其IP地址。正向和反向DNS解析都应该有效。您可以通过运行以下命令来验证设置是否正确用于正向DNS查找:$ping-c1$(hostname)您需要确保它报告服务器的公共(public)IP地址而不是

sql - HIVE SQL 创建语句

CREATETABLEIFNOTEXISTSuser.name_visits(date1TIMESTAMP,MVString,visits_by_MVint)COMMENT‘visits_at_MV’ROWFORMATDELIMITEDFIELDSTERMINATEDBY‘\t’LINESTERMINATEDBY‘\n’;BY附近报错 最佳答案 下面的查询对我有用..如果不存在则创建表user.name_visits(日期1时间戳,MV字符串,visits_by_MVINT)评论'visits_at_MV'行格式分隔由'\t'终止的

Hadoop 2.7、Spark、Hive、JasperReports、Sqoop - 架构

首先,这不是一个寻求帮助以逐步部署以下组件的问题。我要问的是关于应该如何设计架构的建议。我打算做的是使用现有数据开发一个报告平台。以下是我通过研究收集的数据。我有一个包含大量记录的现有RDBMS。所以我正在使用Scoop-将数据从RDBMS提取到HadoopHadoop-存储平台Hive-数据仓库Spark-因为Hive更像是批处理Hive上的Spark会加快速度JasperReports-生成报告。我所知道的是部署了一个Hadoop2集群,如下所示192.168.X.A-名称节点192.168.X.B-第二个名称节点192.168.X.C-从站1192.168.X.D-从站2192.

hadoop - Pig 或 Hive 用于文件操作

我有一个文件组成如下:&009:6534KKll90JJKK87LLOO%(..)?.I$£.....&013:3536KKll90TTYY87LLPP%%(.9)?'&025:6655KKll88ZZYY87MMQQ%&(.9)?%%??-_'我想获取一个文件:&009:6534KKll90JJKK87LLOO%(..)?.I$£.....&013:3536KKll90TTYY87LLPP%%(.9)?'.......&025:6655KKll88ZZYY87MMQQ%&(.9)?%%??-_'.......我使用hortonworks,我想知道使用Hive还是PIG更好,我如何使用

json - Hive 表的 JSON 文件的条目分隔符

我们正在通过RESTAPI调用收集JSON数据(尤其是公共(public)社交媒体帖子),我们计划将其转储到HDFS中,然后使用SerDe在其之上抽象一个Hive表。我想知道文件中每个JSON条目的适当分隔符是什么?是新行(“\n”)吗?所以它看起来像这样:{id:entry1...post:}{id:entry2...post:}...{id:entryn...post:}如果我们在JSON数据本身中遇到换行符,例如在post中怎么办? 最佳答案 最好的方法是每行一条记录,完全按照您的猜测用“\n”分隔。这也意味着您应该小心转义可

hadoop - hive不能在cloudera中创建角色和显示角色?

我在配置单元终端中输入命令showroles;后出现错误。请帮助我,我在hive-site.xml中添加了一些属性。我在cloudera-quickstart-5.4.2.0-vmware中工作。hive.security.authorization.enabledtrueenableordisablethehiveclientauthorizationhive.security.authorization.createtable.owner.grantsALLtheprivilegesautomaticallygrantedtotheownerwheneveratablegetscr

hadoop - hive中外键关系的实现

我试图创建一个与另一个表具有外键关系的配置单元表,但我遇到了错误。不是可以在hive表中实现外键关系吗? 最佳答案 hive没有实现外键引用HadoopTutorials描述如下:LikeanyotherSQLengines,wedon'thaveanyprimarykeysandforeignkeysinHiveashiveisnotmeanttoruncomplexrelationalqueries.It'susedtogetdataineasyandefficientmanner.Sowhiledesigninghivesch

hadoop - Hive:如何构建 UDTF?

我根据教程制作了自己的UDTF函数,并将jar加载到配置单元中。现在我想创建自己的函数来调用UDTF。statement.executeUpdate("ADDJAR/home/hfu/myjar.jar;");statement.executeUpdate("CREATETEMPORARYFUNCTIONmy_functionAS'com.effectivemeasure.hive.UDFT'");当我运行最后一个CodeSnippet时出现异常:Exceptioninthread"main"java.sql.SQLException:Errorwhileprocessingstate

hadoop - 在java代码中找到hive-site.xml的位置

我想在我的java程序中传递hive-site.xml文件的位置。在java代码中自动找出此文件位置的最佳方法是什么?我不想硬编码到/etc/hive/conf/hive-site.xml的路径以用于cloudera分发 最佳答案 默认情况下,HadoopConfiguration构造函数会在CLASSPATH中的目录中搜索“blahblah-site.xml”配置文件。如果它没有找到它们,那么它将恢复为硬编码的“默认”值,没有任何警告(!)。因此请确保CLASSPATH在前面包含适当的目录,例如/etc/hadoop/conf/:

mysql - 没有在 swing UI 中获取 Hive 数据库详细信息

我正在创建一个javaswingui,它将连接到Hive数据库和表,并为我提供有关UI本身的详细信息。我能够生成UI,但所有Hive数据库和表的详细信息都不会出现,“默认”数据库除外。但是在“默认”数据库中,我也无法获取其中的表。这里是获取Hive数据库的代码HiveConfhconf=newHiveConf();HiveMetaStoreClientmsClient=newHiveMetaStoreClient(hconf);Listdbs=msClient.getAllDatabases();System.out.println(AllDatabases:"+dbs);//AllD