草庐IT

hive-overwrite

全部标签

java - 将 R 连接到远程服务器上的 Hive

我正在尝试将RStudio连接到我通过远程服务器上的Hue访问的Hive中的数据。这是我当前的代码:options(java.parameters="-Xmx20g")library("DBI")Sys.setenv(JAVA_HOME='C:\\ProgramFiles\\Java\\jre1.8.0_131')library("rJava")library("RJDBC")drv我将HiveJAR文件下载到我的table​​面,xxx是正确的文件路径。到这里为止的一切在RStudio中运行良好。但是,当我运行以下行时:conn其中IP地址、用户名和密码都正确,我遇到如下错误:Err

sql - 如何在创建 Hive 表时向使用 serde 创建的表添加列?

表格描述信息hive>desclog23;OKcol_namedata_typecomment17/05/2510:49:12INFOmapred.FileInputFormat:Totalinputfilestoprocess:1hoststringfromdeserializerremote_hoststringfromdeserializerremote_lognamestringfromdeserializerremote_userstringfromdeserializerrequest_timestringfromdeserializerrequest_methodstri

apache - Hive 版本模式

我正在浏览Hive发行版本,观察到Hive版本的模式似乎有点连线。在2015年6月27日发布1.2.1之后,下一个版本是2016年2月15日的2.0,并且版本继续。同样在2017年4月7日,即最近Hive再次发布了1.2.2版本。我不明白为什么又是1.2.2而不是2.x.y。有人能解释一下吗。提前致谢。 最佳答案 您在附上的屏幕截图中有答案。有2条产品线。Hive1.x适用于Hadoop1.x.y和Hadoop2.x.yHive2.x仅适用于Hadoop2.x.yhttps://hive.apache.org/downloads.h

hadoop - aqua studio 上的 HIVe sql

我想返回所有有两个连字符的电话号码,例如:999-999-9999SELECTINSTR(phonenumber,'-',1,2),phonenumberFromphonetableWherelength(phonenumber)=11AndINSTR(phonenumber,'-')=1我想要返回电话号码,例如999-999-9999 最佳答案 select*fromphonetablewherephonenumberlike'___-___-____'或select*fromphonetablewherephonenumberr

mysql - 使用 --create-hive-table 直接在 hive 中导入 mysql 表(sqoop)

我正在为HDPCD考试进行self培训,因此我正在测试使用MySQL到Hive的所有可能的导入和导出。在这个例子中,我想从MySQL导入一个表,并使用参数--create-hive-table在hive中从头开始创建同一个表。尽管在[documentation][1]中包含它,但我找到了一个正确的示例来执行此操作。我已经试过了,但它不起作用sqoopimport--connectjdbc:mysql://master/poc--usernameroot--tabledept--where'id_dept>2'--hive-import--hive-databasepoc--hive-t

hadoop - 是否可以保存 Hive UDTF 生成的值?

我创建了Hive自定义UDTF。我的新UDTF根据输入的2列返回新的3列。但是,我无法使用生成的值进行任何INSERT操作。例如,INSERTOVERWRITEDIRECTORY'generated_data.csv'SELECTudtf(one,two)FROMtable_orig;INSERTOVERWRITETABLEtest_tableSELECTudtf(one,two)FROMtable_orig;INSERT查询都返回NullPointerException,如下所示:2017-05-30T08:02:45,209ERROR[main([])]:exec.Task(:()

hadoop - 尝试用 HQL 中的变量替换 HIVE 字符串文字

您好,我有一个简单的创建表语句...setlocation_stage=${env:HDFS_STAGING_DIR};CREATEEXTERNALTABLEIFNOTEXISTSstage.test(TEST_IDINT,TEST_NAMESTRING)ROWFORMATSERDE'org.apache.hadoop.hive.serde2.OpenCSVSerde'WITHSERDEPROPERTIES("separatorChar"=",","quoteChar"="\"","escapeChar"="\\")STOREDASTEXTFILELOCATION"${hivevar:

hadoop - 启动 hive 时出错

我不知道在Ubuntu17.04的终端中启动配置单元时发生了什么,我在终端上遇到了一些错误。我是Hive的新手,面临一些问题,任何人都可以帮助我解决这个问题。我有(安装并在.bashrc文件中指定):哈多普:2.8.0hive:2.1.1java:1.8.0_131SLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file:/usr/local/src/hive-2.1.1/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBin

performance - Hive 联合所有效率和最佳实践

我有一个hive效率问题。我有2个大量查询需要过滤、与映射表连接和联合。两个表的所有连接都是相同的。在将连接应用到组合表之前将它们合并,或者将连接分别应用到每个大规模查询然后合并结果会更有效吗?这有什么不同吗?我尝试了第二种方式,查询运行了24小时后才终止它。我觉得我已尽我所能来优化它,除了可能会重新排列union语句。一方面,我觉得这应该无关紧要,因为映射表连接的数量或行是相同的,而且由于所有内容都是颚化的,因此应该花费大致相同的时间。另一方面,也许通过先做联合,它应该保证在运行连接之前为两个大查询提供完整的系统资源。话又说回来,这可能意味着一次只有2个作业在运行,因此系统没有得到充

sql - 在数据中查找指定模式--Hive

我的表有如下数据Column--------1122521122621122821122121122221122442我需要在模式Hive中找到那些在MIDDLE中有空格的数字的计数。如果可能的话,请帮我解释一下计数。 最佳答案 使用like和count(*):selectcount(*)fromtwherecolumnlike'%%'; 关于sql-在数据中查找指定模式--Hive,我们在StackOverflow上找到一个类似的问题: https://st