草庐IT

HiveServer2-Handler-Pool

全部标签

hadoop - Hive:对于通过 HiveServer2 具有超过 5000 行的表,select * from table 失败

我在Hive中有一个表sdh,它有100000行。当我执行命令时select*fromsdh在CLI上,显示所有行但是当我在直线上通过HiveServer2运行它时,相同的命令只是挂起所有其他具有1000奇数行的表都可以通过CLI或直线运行。还有其他人遇到过类似的问题吗?我从日志中得到错误org.apache.thrift.TApplicationException:InternalerrorprocessingFetchResultsatorg.apache.thrift.TApplicationException.read(TApplicationException.java:10

RDJDBC::dbConnect 无法连接到 HiveServer2 (kerberos +sasl)

我正在尝试使用RJDBC连接到Hive2,但失败并显示“GSS启动失败”。但是,使用直线客户端同样可以正常工作。知道在具有相同凭据的同一节点上运行时可能导致不同行为的原因是什么吗?drv以下仅用于说明目的,因为我想展示我使用的所有参数作为JDBCurl。connlog4j:WARN找不到记录器(org.apache.hive.jdbc.Utils)的附加程序。log4j:WARN请正确初始化log4j系统。log4j:警告见http://logging.apache.org/log4j/1.2/faq.html#noconfig获取更多信息。.jcall(drv@jdrv,"Ljava

hadoop - hiveserver2 启动然后很快停止

我在我的MacSierra上运行hive,客户端hive基本上可以正常工作。但是,当我启动hiveserver2时,它会运行一点然后退出。我通过两种方法启动hiveserver2,要么hive--servicehiveserver2或者$HIVE_HOME/bin/hiveserver2两种情况下的结果和输出是一样的:SLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file:/usr/local/Cellar/hive/2.1.0/libexec/lib/log4j-slf4j-impl-2.4

hadoop - hiveserver2 在 hadoop 集群中频繁关闭

现在很长一段时间以来都面临着这个问题,但无法追踪它发生的原因。每当我们使用命令启动hiveserver2->./hiveserver2&它启动并保持一段时间,然后关闭。在配置单元日志中,当配置单元服务器启动并运行时,它确实显示以下错误。2018-03-1204:44:57,029ERROR[HiveServer2-Handler-Pool:Thread-33]:server.TThreadPoolServer(TThreadPoolServer.java:run(296))-Erroroccurredduringprocessingofmessage.java.lang.Runtime

java - HiveServer2 无法识别 hive.aux.jars.path

我的hive-site.xml中列出了几个jar文件。我有一个使用特殊FileInputFormat的表格。当我运行hive时,我可以做类似的事情:describemy-table。工作正常。当我运行hiveServer2并从直线连接时。我可以看到表格,但是当我执行describemy-table时,我得到:Error:Errorwhileprocessingstatement:FAILED:RuntimeExceptionjava.lang.ClassNotFoundException:package.file.input.format.class.name(state=42000,

hadoop - HiveServer2在hdfs/tmp/hive/hive中生成了很多目录

我们使用Hiveserver2(在HortonworksHDP2.2发行版上)创建新集群。一段时间后,我们在hdfs上的/tmp/hive/hive中有超过1048576个目录,因为hive服务器在这个位置生成它。有人遇到过类似的问题吗?来自hive服务器的日志:2015-08-3106:48:15,828WARN[HiveServer2-Handler-Pool:Thread-1104]:conf.HiveConf(HiveConf.java:initialize(2499))-HiveConfofnamehive.heapsizedoesnotexist2015-08-3106:4

java - 停止 hiveserver2 的正确方法是什么?

我已经在hadoop2.6.0之上安装了hive0.14。设置主要涉及提取tar.bin文件。我按照本指南进行了设置。http://www.ishaanguliani.com/content/hive-0140-setup-ubuntu我用命令行启动hiveserver2:($HIVE_HOME/bin/hiveserver2&>hiveserver.log&)现在,我想知道停止hiveserver2的正确方法是什么。我可以杀死它,但我怀疑它是否提供了一个优雅的退出。 最佳答案 编写一个小的shell脚本来找到hiveserver2

python - 如何使用 Python 3.4.5 连接 Hiveserver2

我需要从Python3.4.5连接到Hiveserver2,代码正在hadoop集群本身上执行。通常,我从命令行执行hive-e"somequery"。从其他服务器,我们使用仅提供IP和端口的用户名机制连接到Hiveserver2。但是,这不是必需的,因为我在同一台服务器上运行代码。我尝试了以下方法:AccessHiveDataUsingPythonhttps://github.com/cloudera/impyla/issues/165HowtoconnecttoHadoopHivethroughpythonviapyhs2?https://pypi.python.org/pypi/

sql - 'pool_name' 在 CREATE TABLE 语句中意味着什么?

在CREATETABLE-statement末尾的Impala中您可以按照我的理解设置复制因子:CREATE[EXTERNAL]TABLE[IFNOTEXISTS][db_name.]table_name...[CACHEDIN'pool_name'[WITHREPLICATION=integer]|UNCACHED]无论如何,我有点不明白pool_name指的是什么。这是HDFS中存放数据的路径吗? 最佳答案 不完全是,它实际上是指使用hdfscacheadmin-addPool...命令定义的HDFS池,参见hdfscomman

hadoop - 无法从 ZooKeeper 读取 HiveServer2 配置

我使用HDP3.1。而我用Ambari来部署hadoop集群和hive。部署后,我可以在shell中成功运行配置单元。然后我部署了ApacheKylin2.6,它可以同步hive表。但是当我构建立方体时,出现以下错误:java.io.IOException:OScommanderrorexitwithreturncode:1,errormessage:SLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file:/usr/hdp/3.1.0.0-78/hive/lib/log4j-slf4j-imp