我在我的集​​群上使用Cloudera发行版和Hive的第13版。我遇到了一个问题，在写入日志行后作业没有取得任何进展-“由于没有reduce运算符，reduce任务数设置为0”下面是相同的日志，你能帮我看看这是什么类型的问题，因为这不是代码问题，就好像我重新运行它成功完成的相同作业一样。Logginginitializedusingconfigurationinjar:file:/opt/cloudera/parcels/CDH-5.2.1-1.cdh5.2.1.p0.12/jars/hive-common-0.13.1-cdh5.2.1.jar!/hive-log4j.proper

我知道我可以通过设置JVM参数来控制map(或reduce)任务的最大内存。但我想知道是否有办法查看任务的当前内存使用情况？ 最佳答案 启用远程HPROF分析。HPROF是JDK附带的分析工具，虽然很基础，但可以提供有关程序的CPU和堆使用情况的有值(value)信息。要使用它，您可以在代码中尝试这样做:conf.setBoolean("mapred.task.profile",true);conf.set("mapred.task.profile.params","-agentlib:hprof=cpu=samples,"+"he

在我设置好hadoop多节点集群后，我确实运行了著名的wordcountmapreduce示例。但是我没有得到任何输出，而是卡住了任务。这是我得到的..12/09/1213:01:29INFOinput.FileInputFormat:Totalinputpathstoprocess:312/09/1213:01:29INFOutil.NativeCodeLoader:Loadedthenative-hadooplibrary12/09/1213:01:29WARNsnappy.LoadSnappy:Snappynativelibrarynotloaded12/09/1213:01:3

在运行只有映射器的map-reduce作业时，我有一个计数器来计算失败文档的数量。在完成所有映射器之后，如果失败文档的总数是高于固定分数。(我最后需要它，因为我最初不知道文档总数)。如何在不为此实现reduce的情况下实现这一目标？我知道有任务级别的清理方法。但是是否有任何作业级别的清理方法可用于在所有任务完成后执行此操作？ 最佳答案 这很容易做到。这就是最新的mapreduceAPI的美妙之处。可以在Mapper类中覆盖run方法的帮助下控制mapper的执行，对于reducer也是如此。我不知道你期待的最终结果。但是，我为你准备

我在3台装有UbuntuServer14.04的机器上运行Hadoop2.5.2一个是namenode和resourcemanager，ip是192.168.3.1其他的是运行datanode和nodemanager的slave，ip分别是192.168.3.102和192.168.3.104。我可以毫无错误地运行start-hdfs.sh和start-yarn.sh。HDFS和YARN的网站运行良好，我可以在浏览器上访问这两个网站并查看两个从站的状态。但是当我尝试通过yarnjarhadoop-mapreduce-examples-2.5.2.jarpi14在~/hadoop/sha

我有很多包含大约60.000.000行的文件。我所有文件的格式都是{timestamp}#{producer}#{messageId}#{data_bytes}\n我一个一个地浏览我的文件，还想为每个输入文件构建一个输出文件。因为有些台词依赖于以前的台词，所以我将它们按制作人分组。每当一行依赖于一个或多个先前的行时，它们的生产者总是相同的。对所有行进行分组后，我将它们交给我的Java解析器。然后，解析器会将所有已解析的数据对象包含在内存中，然后将其输出为JSON。为了可视化我认为我的作业是如何处理的，我拼凑了以下“流程图”。请注意，我没有可视化groupByKey-Shuffeling

我想做什么我是hadoop的新手，我尝试使用不同数量的映射器和缩减器多次执行MapReduce，并比较执行时间。文件大小约为1GB，我没有指定拆分大小，因此它应该是64MB。我正在使用一台有4个内核的机器。我做了什么mapper和reducer是用python写的。所以，我正在使用hadoop流媒体。我通过使用'-Dmapred.map.tasks=1-Dmapred.reduce.tasks=1'指定了map任务和reduce任务的数量问题因为我指定使用1个map任务和1个reduce任务，我预计只会看到一次尝试，但实际上我有38次map尝试和1个reduce任务。我阅读了与此问题类

我是Hue和Oozie的新手。我安装了一个带有Hue的Cloudera5集群。我以Thomas的身份登录Hue，并创建了一个仅运行Hive脚本的Oozie仪表板。但是，当我启动仪表板时，出现以下错误，声称无法在inode/tmp/hadoop-yarn上写入:2015-06-1213:36:01,014WARNActionStartXCommand:523-SERVER[cdh-master]USER[thomas]GROUP[-]TOKEN[]APP[My_Workflow]JOB[0000000-150612132534763-oozie-oozi-W]ACTION[0000000

我的hdp集群配置了带有AD的kerberos。所有HDP服务帐户都生成了主体和key表，包括spark。我知道服务帐户没有密码并设置为未过期。现在在执行kinit-ktspark.keytab-pspark-PRINCIPAL时出现以下错误(请参阅标题)。我在麻省理工学院的网站上读到，这是由于多次登录尝试失败或KDC中默认策略中设置的帐户过期而发生的。可以使用kadmin命令解锁帐户，例如kadmin:modprincispark/principal但我已与AD管理员进行交叉检查。他说我们在使用AD时不使用kdc服务器执行kadmin命令，但说使用ADUI检查时spark帐户处于解锁

我的设置:运行NixOSLinux的GoogleCloudPlatform中的4节点集群(1个主节点，3个工作节点)。我一直在使用TPC-DS工具包来生成数据和查询都是标准的。在较小的数据集/更简单的查询上，它们工作得很好。我从这里获取的查询:https://github.com/hortonworks/hive-testbench/tree/hdp3/sample-queries-tpcds这是第一个，query1.sql:WITHcustomer_total_returnAS(SELECTsr_customer_skASctr_customer_sk,sr_store_skASct