我正在使用hdinsight集群(hive版本.13)来运行一些hive查询。在mapjoin期间启动本地任务的查询之一(来自TPCH套件的查询7)由于内存不足而失败(hive中止它，因为哈希表已达到配置的限制)。Hive似乎正在为本地任务分配1GB，这个大小是从哪里获取的，我该如何增加它？2015-05-0305:38:19Startingtolaunchlocaltasktoprocessmapjoin;maximummemory=932184064我假设本地任务应该使用与映射器相同的堆大小，但事实并非如此。感谢您的帮助。 最佳答案
我需要提取“/”右侧的所有字符作为选择语句的一部分。cityAmerica/ChicagoEurope/London预期输出是citynameChicagoLondon这是我的查询，它不起作用selectsubstring(city,charindex('/',city)+1,length(city))ascitynamefromtable; 最佳答案 您可以使用正则表达式来提取城市名称。使用正则表达式，您的查询将是这样的。selectregexp_extract(city,'([a-zA-Z]+)',1)fromtable_nam
我正在尝试使用HortonworksSandboxHDP2.2作为单节点系统在Hive14.0上设置授予权限。这个问题类似于3月份未回答的问题:grantpermissionsinhivedoesnotworkonhdp2.2.我遵循了aHive-Wiki的配置步骤.登录到hiveshell(使用root的ssh)后，我尝试了:CREATEROLEtesting;FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.Failedtoretrieverolesforroot:Metastor
我有一个日志系统，日志以时间戳命名。例如:logs/2015/05/08/21logs/2015/05/08/22logs/2015/05/08/23logs/2015/05/09/00logs/2015/05/09/01logs/2015/05/09/02logs/2015/05/09/04logs/2015/05/09/05现在我需要选择一系列目录作为我任务的输入。例如(注意05/09/03少了，这是正常的)logs/2015/05/08/22logs/2015/05/08/23logs/2015/05/09/00logs/2015/05/09/01logs/2015/05/09/
自从升级到Hive2后，我查询中的这一行失败了FAILED:ParseExceptionline41:50cannotrecognizeinputnear'over''(''partition'inexpressionspecificationselecttempTable.*,(tempTable.rowrank-1)/(max(tempTable.tableRowRank))over(partitionbytempTable.column1)percent这在HiveServer1中工作正常???????? 最佳答案 刚刚解决了
我有3个RDD需要加入。valevent1001RDD:schemaRDD=[eventtype,id,location,date1][1001,4929102,LOC01,2015-01-2010:44:39][1001,4929103,LOC02,2015-01-2010:44:39][1001,4929104,LOC03,2015-01-2010:44:39]valevent2009RDD:schemaRDD=[eventtype,id,celltype,date1](不按id分组，因为我需要4个日期，具体取决于celltype)[2009,4929101,R01,2015-01
我的日志文件在DateTime.Ticks(635677577653488758)中有一个列，我正在尝试将其转换为HadoopHive中的日期。首先，我在MySql上尝试了下面的代码块，它成功了。但是相同的代码在Hive中不起作用，因为date_add函数适用于INT。SELECTDATE_ADD('2001-01-0100:00:00',INTERVAL(MAX(f.date)-631139040000000000)/10MICROSECOND);然后我会这样格式化...SELECTDATE_FORMAT(MyDateFromTicks,'%Y-%m-%dT%T.%fZ');我怎样才
目前我正在使用MahoutRowSimilarityJob进行一些文档相似性分析。这可以通过从控制台运行命令“mahoutrowsimilarity...”轻松完成。但是我注意到这个作业也支持在Spark引擎上运行。我想知道如何在Spark引擎上运行这个作业。 最佳答案 您可以在spark中使用MLlib替代mahout。MLlib中的所有库都以分布式模式处理(Hadoop中的Map-reduce)。在Mahout0.10中，使用spark提供作业执行。更多细节链接http://mahout.apache.org/users/spa
我在创建外部表以将数据从Hive推送到ElasticSearch时遇到错误。到目前为止我做了什么:1)ElasticSearch-1.4.4设置成功并运行。2)Hadoop1.2.1搭建成功，所有守护进程都启动并运行。3)成功设置Hive-0.10.0。4)在Hadoop/lib和Hive/lib中配置elasticsearch-hadoop-1.2.0.jar。p>5)在Hive中成功创建了几个内部表。执行以下命令时出现错误:CREATEEXTERNALTABLEdrivers_external(idBIGINT,firstnameSTRING,lastnameSTRING,vehi
我们数据中的一个字段是非英语语言(泰语)。我们可以将数据加载到HDFS中，运行时系统会正确显示非英文字段:hadoopfs-cat/datafile.txt但是，当我们使用Spark加载显示数据时，所有非英文数据都显示????????????????我们在运行Spark时添加了以下内容:System.setProperty("file.encoding","UTF-8")有没有人看过这个？在Spark中使用非英文数据需要做什么？我们在Ubuntu14.04上运行Spark1.3.0、Scala2.10.4。我们运行测试的命令是:valtextFile=sc.textFile(input
