草庐IT

hive-overwrite

全部标签

hadoop - 使用 yarn 的 hive 问题

我在yarn上运行hivesql,它在连接条件下抛出错误,我能够创建外部表和内部表但是在使用命令时无法创建表createtableasASSELECTnamefromstudent.当通过hivecli运行相同的查询时它工作正常但是使用springjog它会抛出错误2016-03-2804:26:50,692[Thread-17]WARNorg.apache.hadoop.hive.shims.HadoopShimsSecure-Can'tfetchtasklog:TaskLogServletisnotsupportedinMR2mode.Taskwiththemostfailures

hadoop - Hive - 以分钟为单位的时差为负

我需要以分钟为单位获取时差,以便在Hive查询中进行分析。我正在使用unix_timestamp()将日期转换为秒,然后减去以秒为单位的差异,然后乘以60以分钟为单位。我的问题是我最近的约会-较早的日期差异变为负值。这是我的查询和结果Hivequeryandresultscreenshotprocessed_tscreate_tsprocessed_unix_timestampcreate_unix_timestampminiueDiff2017-03-123:01:062017-03-122:58:3614893128651489316315-57.52017-03-123:01:3

hadoop - 如何在写入文件时禁用 Hive 中的日志

我有一个用例,我正在执行配置单元查询并将输出存储到文件中。hive-S-e"SELECT*fromtest.employeewhereempid=1">/mapr/Piyush/test/output.txt查询执行正常,但我也收到日志以及文件中的数据。我猜这是因为log4j属性。这里的问题是我无权访问log4j配置文件,因此我无法对其进行任何更改。我尝试设置几个配置。sethive.root.logger=ERROR,console和sethive.root.logger=INFO,console和sethive.server2.logging.operation.enabled=f

hadoop - 缺少 Hive 执行 Jar :/usr/local/apache-hive-2. 1.0-bin/lib/hive-exec-*.jar

运行hive时出现以下错误MissingHiveExecutionJar:/usr/local/apache-hive-2.1.0-bin/lib/hive-exec-*.jar查看所有相关帖子,例如MissingHiveExecutionJar:/usr/local/hadoop/hive/lib/hive-exec-*.jar但没有帮助..!!几乎什么都试过了按照这里的步骤安装http://www.bogotobogo.com/Hadoop/BigData_hadoop_Hive_Install_On_Ubuntu_16_04.php这是我的所有设置#HADOOPVARIABLES

python - 在 hive 或 pyspark 中透视日志

我有很多这种格式的文件日志:[Windowsuser]Pâmela[Hostname]DV6000[Localtime]14:25:07[Systemtime]17:25:07[ASCWebBrowserinfo]1.1.1[LastWriteTime]07/19/201614:01[HDInfo]Volumename:,Serial:1713925408,FileSystem:NTFS,MaxComponentLength:255[NetworkInfo[Index]48[Type]1[Description]TAP-Win32AdapterOAS#6[Name]{343D77F2-

arrays - Hive:数组列上的聚合函数

我想知道是否可以对具有as数据类型数组的列运行聚合函数。该表按以下方式创建:CREATEEXTERNALTABLEtmp_table(start_datearray,customer_idstring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t'LOCATION''start_date包含一组以逗号分隔的日期。我想使用MIN函数找到这些日期中的最小值:SELECTcustomer_id,MIN(start_date)FROMtmp_tableGROUPBYcustomer_id如果MIN不适用于数组结构,有什么替代解决方案?谢谢!

amazon-web-services - 如何使用 "s3a://"方案让 Hive 2.2.1 成功与 AWS S3 集成

我遵循了各种已发布的文档,了解如何使用s3a://方案将ApacheHive2.1.1与AWSS3集成,配置fs.s3a.access.key和fs.s3a.secret.key用于hadoop/etc/hadoop/core-site.xml和hive/conf/hive-site.xml.我现在可以让hdfsdfs-lss3a://[bucket-name]/正常工作(它返回那个桶的s3ls)。所以我知道我的信用、存储桶访问和整体Hadoop设置是有效的。hdfsdfs-lss3a://[bucket-name]/drwxrwxrwx-hdfshdfs02017-06-2722:4

scala - 如何使用 spark 在 Hive 中正确加载数据?

我想输入看起来像-"58;""management"";""married"";""tertiary"";""no"";2143;""yes"";""no"";""unknown"";5;""may"";261;1;-1;0;""unknown"";""no""""44;""technician"";""single"";""secondary"";""no"";29;""yes"";""no"";""unknown"";5;""may"";151;1;-1;0;""unknown"";""no""""33;""entrepreneur"";""married"";""secondar

hadoop - 过滤 hive 复杂数据类型

我使用配置单元创建了一个表我想过滤数据createtablestudent(idbigint,namestring,coursearray)ROWFORMATDELIMiTEDfieldsterminatedby'\t'collectionitemsterminatedby','STOREDASTEXTFILE;和类似的数据100student1java,.net,hadoop101student2.net,hadoop102student3java,hadoop103student4.net,hadoop104student5java,.net105student6java,.net

hadoop - 分区 hive 数据复杂数据类型,同时插入数据它显示错误

我使用hive创建了一个表,我想根据位置对数据进行分区createtablestudent(idbigint,namestring,locationstring,coursearray)ROWFORMATDELIMiTEDfieldsterminatedby'\t'collectionitemsterminatedby','storedastextfile;和类似的数据100student1ongolejava,.net,hadoop101student2hyderabad.net,hadoop102student3vizagjava,hadoop103student4ongole.n