我有以下PIG脚本，它花费大量时间来处理342个文件，分割大小为256MB(仅测试)。任何人都可以提出改进建议:SPLITfilteredalnumcdrsintosplitalnumcdrs_1IF((SUBSTRING(aparty,2,3)=='-')),splitalnumcdrs_2OTHERWISE;tmpsplitalnumcdrs_1=FOREACHsplitalnumcdrs_1GENERATEaparty,srcgt,destgt,SUBSTRING(aparty,0,2)assplitaparty,bparty,smscgt,status,prepost;grou
我们已经编写了一个mapreduce作业来处理日志文件。到目前为止，我们有大约52GB的输入文件，但处理数据大约需要一个小时。它默认只创建一个reducer作业。我们经常会看到reduce任务中出现超时错误，然后它会重新启动并完成.以下是成功完成工作的统计数据。请告诉我们如何改进性能。FileSystemCountersFILE:Numberofbytesread=876100387FILE:Numberofbyteswritten=1767603407FILE:Numberofreadoperations=0FILE:Numberoflargereadoperations=0FILE
我在Tableau中设计可视化，我的数据在Hive/hadoop中，数据量很大，当我尝试设计可视化时，查询运行非常非常慢，因为每次它尝试从hadoop中提取数据。所以对于任何可视化，简单的拖放通常需要4分钟，而可视化可能需要10秒的拖放，所以我最终要花很多时间等待。我尝试使用数据提取选项，但是它永远需要数据提取(38分钟并且仍在继续)问题:有没有办法我只能提取1000条记录，这样我就可以处理这1000条记录来创建可视化，然后在设计完成后切换到实时连接。我试图查看画面社区的帮助，但到目前为止没有运气 最佳答案 复制XL中的所有数据并将
我正在使用Spark(在Scala中)读取一个包含用户和他们共享的页面列表的文件，我想通过他们共享的页面找到与给定用户一定距离的所有用户。程序运行很差，我经常得到GCoverheadlimitexceeded错误。我在具有8GB内存的MacOSX上本地运行Spark。使用spark-submit提交程序带参数--driver-memory5g和通过设置分配的8个核心spark.cores.max.输入集是一个1.15GB的文件。有没有人指出哪个操作效率很低，是否有更好的替代操作？提前致谢。此处简要介绍了代码。每个用户条目都包含他/她在标签后共享的页面，每个条目由两个换行符分隔，如下所示
我在通过sqoop导出将数据从Hive导出到Netezza时遇到性能问题。有没有办法提高sqoop的性能？详情如下:columnspresentinthetable(sourceanddestination):282formatoffile:textnoofsplits:99datatobeexported:1000MB 最佳答案 在sqoopexport命令中使用-batch。还有要进一步改善数据加载，您可以使用--direct。限制:此模式不支持二进制和大对象类型。 关于perfor
关于我的个人资料-我正在为集群上运行的一些BDEInformatica摄取作业提供L3支持。我们的目标是帮助应用程序团队满足SLA。我们支持在Hadoop层(Hive)之上运行的作业流。问题陈述-我们观察到，在某些日子里，BDEInformatica摄取作业运行得非常缓慢，而在其他日子里，它们会在3小时内完成其周期。如果作业花费了太多时间，我们通常会终止并重新运行这对我们有帮助，但这并不能帮助我们解决根本原因。我们个人资料的局限性-不幸的是，我没有应用程序代码或Informatica工具，但我必须联系开发团队并询问相关问题，以便我们缩小根本原因的范围。后续步骤-什么样的情况会导致这种延
我们有一个问题，Hadoop是否适合不需要运行应用程序但需要非常快速地读取和写入少量数据的简单任务。要求是能够以每秒30次的速度写入带有几个索引的大约100-200字节长的消息，同时能够以大约每秒10次的速度读取(通过这两个索引进行搜索)秒。读取查询必须非常快-每个查询最多100-200毫秒并返回少量匹配记录。总数据量预计将达到50-100GB，并通过删除较旧的记录来维持此速度(类似于删除超过14天的记录的日常任务)如您所见，总数据量并没有那么大，但我们担心Hadoop的搜索速度无论如何都可能比我们需要的慢。Hadoop是解决这个问题的方法吗？谢谢尼克 最佳
我有100个映射器和1个reducer在工作中运行。如何提高工作绩效？据我了解:combiner的使用可以在很大程度上提高性能。但是我们还需要配置什么来提高作业性能？ 最佳答案 由于此问题中的数据有限(输入文件大小、HDFSblock大小、平均map处理时间、集群中的Mapper槽数和Reduce槽数等)，我们无法提供提示。但是有一些通用准则可以提高性能。如果每项任务花费的时间少于30-40秒，则reducetask数量如果作业的输入超过1TB，请考虑将输入数据集的block大小增加到256M甚至512M，这样任务的数量就会变少.只
我们有许多需要花费大量时间的配置单元查询。我们正在使用tez和其他良好实践，例如CBO，使用orc文件等。有没有办法像某些命令一样检查/分析数据偏差？解释计划会有帮助吗？如果有帮助，我应该寻找哪个参数？ 最佳答案 解释计划对此无济于事，您应该检查数据。如果是join，从join涉及的所有表中选top100joinkeyvalue，如果是解析函数，partitionbykey也一样，看是否偏斜。例子:selectkey,count(*)cntfromtablegroupbykeyhavingcount(*)>1000--checkal
我在我的应用程序服务器(-cumweb服务器)中使用HBase客户端和HBase使用CDH3u4(HBase-0.90)的6个节点的集群设置。HBase/Hadoop服务在集群上运行的是:NODENAME--ROLENode1--NameNodeNode2--RegionServer,SecondaryNameNode,DataNode,MasterNode3--RegionServer,DataNode,ZookeeperNode4--RegionServer,DataNode,ZookeeperNode5--RegionServer,DataNode,ZookeeperNode6-
