草庐IT

python - 从 Python 连接 Hive 远程服务器

我无法通过我的python脚本连接到远程服务器上运行的配置单元。我正在使用相同的脚本(当然具有不同的服务器详细信息)连接到在我的本地主机上运行的配置单元并且能够连接。我正在使用命令从命令行在本地主机上启动服务器:hive—servicehiveserver2启动服务器并运行python脚本连接到本地主机上运行的Hive的脚本:importpyhs2conn=pyhs2.connect(host='localhost',port=10000,authMechanism='PLAIN',user='hive',password='',database='default')withconn.

hadoop - 如何在 Hive 中找到最近的邻居?有开窗功能吗?

给定一个表$catdata.csvID,State,City,Price,Flag1,CA,A,95,02,CA,A,96,13,CA,A,195,14,NY,B,124,05,NY,B,128,16,NY,C,24,07,NY,C,27,18,NY,C,29,09,NY,C,39,1预期结果:ID0,ID11,24,56,78,7对于上面Flag=0的每个ID,我们希望从Flag=1中找到另一个ID,具有相同的“State”和“City”,以及最接近的Price。我有两个粗略愚蠢的想法:方法一。Usealeftouterjoinwiththetableitselfon(a.State

hadoop - RuntimeException MetaException(消息 :org. apache.hadoop.hive.serde2.SerDeException org.apache.hadoop.hive.hbase.HBaseSerDe

在HDP集群上,我正在尝试创建Hive表并将其与现有Hbase表集成。它创建配置单元表。但是当我尝试查询配置单元表时,它会抛出以下异常尤其是当列数超过200时。我检查了hbase和hive中的列数相同。没有得到适当的解决方案来调试它。hive>select*fromhbase_hive.lead;FAILED:RuntimeExceptionMetaException(message:org.apache.hadoop.hive.serde2.SerDeExceptionorg.apache.hadoop.hive.hbase.HBaseSerDe:columnshas273eleme

hadoop - 使用 Hive TableView 映射与 Hbase 表 : java. lang.NoSuchMethodError : org. apache.hadoop.hive.serde2.lazy 在 spark 上运行 Hive 的问题

我正在尝试通过Spark引擎从配置单元映射来访问Hbase表。来自hive:当我在使用Hbase映射的HiveView上运行查询时,我可以获得所有想要的结果。来自星火:当我运行查询以从配置单元表中获取数据时,我可以得到它,但是当我对hbase映射的配置单元表执行相同的操作时,出现以下错误。Error:java.lang.NoSuchMethodError:org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe.initSerdeParams(Lorg/apache/hadoop/conf/Configuration;Ljava/util/P

hadoop - 我们如何在 Hive 中实现货币转换?

我想将所有员工的工资转换成美元假设我有一个Hive表'emp'idnamecurrency_codesalary_as_per_currency_code100SurenderEUR10101RajaINR100102AjayUSD5我需要写一个选择查询来得到下面的结果我的预期输出是idnamecurrency_codesalary_as_per_currency_codesalary_in_USD100SurenderEUR10$10.92101RajaINR100$1.496102AjayUSD5$5我的表格有更多Currency_code,例如NZD、CAD、JPY等等。hive

regex - 使用正则表达式匹配日志文件行时的可选字段

我正在尝试使用RegexSerDe通过正则表达式解析网络日志.它通过将每个正则表达式组与表中的列匹配来工作,如果正则表达式组为空,它会为该列分配一个空值。我在匹配缺少字段的日志行时遇到问题。此日志中有两种行:2016-10-23T23:59:59Zcache-iad2134fastly[502801]:52.55.94.131"-""-"Sun,23Oct201623:59:59GMTGET/apps/events/2016/10/11/3062653/?REC_ID=3062653&id=02002016-10-23T23:59:59Zcache-dfw1835fastly[5028

Hadoop 3.0.0的集群搭建和Hive 3.1.3的安装

Hi,朋友们,我们又见面了,这一次我给大家带来的是Hadoop集群搭建及Hive的安装。说明一下,网上有很多的教程,为什么我还要水?第一,大多数的安装都是很顺利的,没有疑难解答。第二,版本问题,网上的搭建在3以前的比较多。第三,我想给出一个更简洁的安装教程,把道理说明白,让读者就算在安装的过程中遇到问题也知道问题出在哪,应该朝哪个方向去要解决方案。Hadoop-3.0.0的集群搭建hadoop集群的安装,关键在主节点,主节点配置好以后,将主节点复制到其他做数据节点的服务器上就不用管了。我有三台服务器,ip分别是192.168.12.71,192.168.12.200,192.168.12.20

csv - 配置单元查询 - 失败的 SemanticException 无效路径

这是我的问题:我刚刚将最初的Azure订阅转换为现收现付订阅(最初是30天试用期),因为当我用完第一组免费积分时它被关闭了。现在一切都再次正常工作-我仍然有相同的旧资源组,我在其下建立了一个新集群。带有我的CSV数据的文件仍然存在于我上次创建的容器中(不是默认容器,而是之前建立的容器)。我唯一需要重新创建的是将数据加载到其中所需的Hive表。我也能再次建立那张table。但是,当我随后尝试运行Hive查询以实际将数据从CSV文件加载到Hive表时,如下所示...LOADDATAINPATH'/container1/HdiSamples/user/data-file.csv'OVERWR

maven - org.datanucleus.exceptions.NucleusUserException : Error : Could not find API definition for name "JDO"

我试图通过hcatalog访问mapreduce中的配置单元表并面临以下异常:我用谷歌搜索并试图找到根本原因,但没有成功,所以我在这里发布我的查询。2016-12-0115:48:35,855INFO[main]metastore.HiveMetaStore(HiveMetaStore.java:newRawStore(564))-0:Openingrawstorewithimplementationclass:org.apache.hadoop.hive.metastore.ObjectStore2016-12-0115:48:35,857INFO[main]metastore.Ob

performance - 使用 Hive 日期函数而不是硬编码日期字符串时,Hive 查询性能很慢?

我有一个每天更新的事务表table_A。每天我都会使用file_date字段从外部table_B将新数据插入table_A以从外部table_B过滤必要的数据>插入到table_A。但是,如果我使用硬编码日期与使用Hive日期函数,则性能会有很大差异:--Fastversion(~20minutes)SETdate_ingest='2016-12-07';SEThive.exec.dynamic.partition.mode=nonstrict;SEThive.exec.dynamic.partition=TRUE;INSERTINTOTABLEtable_APARTITION(FIL